如何在数据仓库中实现数据质量和验证规则?

这可能有助于将其视为几个独立的系统协同工作,而不是一个“大引擎”负责所有事情。

当涉及到“业务指标”时,请看 KPIs (关键绩效指标)。分析引擎( MS-SSAS ,请 Pentaho-Mondrian 等)允许对关键绩效指标进行简单的定义和表示(仪表盘)。如果你自己开发,你可能仍然会对这个概念有一个概念。

数据质量主要是“操作系统”的责任,也就是收集数据的地方。如果垃圾到达DW,就太晚了。使用 data profiling tools 要了解源数据的外观,必须在源数据上强制实施数据质量。

在DW加载过程中,您可以使用逐步的ECCD(提取、清理、符合、交付)方法来实现某些“数据标准”。ETL工具 MS-SSIS , Pentaho-Kettle ,请 Oracle Data Itegrator 等等)旨在帮助解决这一问题。

关于规则引擎,请看 inrule , ILOG , Fico , Corticon ,请 Jboss Drools 等等。这些是“独立的系统”,当与操作系统协调时,可以用来强制执行业务规则。执行业务规则通常会提高数据质量。你可以下载口水,并开始修补相当快,其他供应商也允许一些免费下载。