通常,一个数据治理项目的范围会包括几个模块:组织建设、数据安全、数据开发、数据质量、元数据管理、数据价值等。当然,基于每个公司的数据治理目标不同,每个公司的数据治理实施的关键路径也会有所不同。作为数据治理工作,元数据管理是重中之重。我们应该在数据治理项目中做些什么?
1.元数据范围
首先,确定元数据的来源范围。在实际工作中,并非所有数据都需要进行元数据管理。通常情况下,我们会选择业务数据进行元数据管理,非业务数据(如备份数据和系统日志)不会纳入管理范围,主要是因为元数据管理是为了让业务和开发人员快速掌握业务数据。
在确定规则后,需要根据公司的实际情况梳理哪些业务系统、数据库、数据库用户和表需要元数据管理。当然,它也可以支持非结构化数据的元数据提取,例如word和pdf。
2.元数据访问
在访问元数据的地方,通常是从源系统访问元数据。如果公司已经有几个仓库或者实时性要求不高,为了节省开发工作量,将从几个仓库中访问已有的元数据,未访问的元数据将从源系统中访问。
然而,这一方案存在风险。如果几个仓库的数据与源系统不一致,将导致元数据错误。目前,大多数元数据提取都是通过配置自动化进行的。
3.元数据标准
在梳理过程中,一些数据库或一些数据定义可能不规范,导致元数据管理失败。然后,需要建立元数据管理标准,对前端的源数据进行逆向整改,主要是保证元数据的完整性和一致性。
根据不同类型公司的要求,元数据将向不同的人群开放。因此,为了管理元数据权限,需要在规范中定义权限的管理流程:元数据权限分层、元数据权限申请流程、元数据发布流程、元数据审查流程等。
4.元数据维护
元数据维护主要是对发布的元数据进行维护和管理。如果需要调整和优化已发布的元数据,则需要返回元数据发布流程,不允许直接修改元数据。出于安全考虑,所有元数据操作都应记录在元数据操作日志中。
您可以为元数据创建一个目录,将不同的元数据挂在相应的目录中,并根据业务流程、业务主题领域和开发流程设计相应的目录,主要是根据公司要求。
5.元数据搜索、分析和报告
有一个单独的页面支持元数据的模糊或快速搜索,输入关键信息即可找到相应的元数据。一些公司将元数据视为一种数据资产,因此需要制作元数据资产报告,从中可以快速了解元数据的访问热度、数据价值、数据成本、数据分布等相关信息。