ZT:数据仓库常见名词浅释
Data Warehouse本世纪80年代中期,"数据仓库之父"William H.Inmon先生在其《建立数据仓库》一书中定义了数据仓库的概念,随后又给出了更为精确的定义:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修正的数据集合。与其他数据库使用不同的是,数据仓库更像一种过程,对分布在企业内部各处的业务数据的整合、加工和分析的过程。而不是一种可以购置的产品。Data mart数据集市,或者叫做"小数据仓库"。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集,他次要面向部门级业务,并且只是面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。
OLAP联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需求,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需求对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念,即OLAP。
Codd提出OLAP的12条准绳来描述OLAP系统:
准绳1 OLAP模型必须提供多维概念视图
准绳2 通明性准绳
准绳3 存取能力推测
准绳4 稳定的报表能力
准绳5 客户/服务器体系结构
准绳6 维的等同性准绳
准绳7 动态的稀疏矩阵处理准绳
准绳8 多用户支持能力准绳
准绳9 非受限的跨维操作
准绳10 直观的数据操纵
准绳11 灵活的报表生成
准绳12 不受限的维与聚集层次ROLAP
基于Codd的12条准绳,各个软件开发厂家见仁见智,其中一个流派,认为可以沿用关系型数据库来存储多维数据,于是,基于稀疏矩阵表示方法的星型结构(star schema)就出现了。后来又演化出雪花结构。为了与多维数据库相区别,则把基于关系型数据库的OLAP称为Relational OLAP,简称ROLAP。代表产品有Informix Metacube、Microsoft SQL Server OLAP Services。
MOLAPArbor Software严厉遵照Codd的定义,自行建立了多维数据库,来存放联机分析系统数据,开创了多维数据存储的先河,后来的很多家公司纷纷采用多维数据存储。被人们称为Muiltdimension OLAP,简称MOLAP,代表产品有Hyperion(原Arbor Software) Essbase、Showcase Strategy等。Client OLAP绝对于Server OLAP而言。部分分析工具厂家建议把部分数据下载到本地,为用户提供本地的多维分析。代表产品有Brio Designer,Business Object。
DSS决策支持系统(Decision Support System),相当于基于数据仓库的使用。决策支持就是在收集所有有关数据和信息,经过加工整理,来为企业决策管理层提供信息,为决策者的决策提供依据。
ETL数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照事后定义好的数据仓库模型,将数据加载到数据仓库中去。
Ad hoc query即席查询,数据库使用最普遍的一种查询,利用数据仓库技术,可以让用户随时可以面对数据库,获取所希望的数据。
EIS领导信息系统(Executive Information System),指为了满足无法专注于计算机技术的领导人员的信息查询需求,而特意制定的以简单的图形界面访问数据仓库的一种使用。
BPR业务流程重整(Business Process Reengineering),指利用数据仓库技术,发现并纠正企业业务流程中的弊端的一项任务,数据仓库的重要作用之一。
BI商业智能(Business Intelligence),指数据仓库相关技术与使用的通称。指利用各种智能技术,来提升企业的商业竞争力。
Data Mining数据挖掘,Data Mining是一种决策支持过程,它次要基于AI、机器学习、统计学等技术,高度自动化地分析企业原有的数据,做出归纳性的推理,从中挖掘出潜在的模式,预测客户的行为,协助企业的决策者调整市场策略,减少风险,做出正确的决策
CRM客户关系管理(Customer Relationship Management),数据仓库是以数据库技术为基础但又与传统的数据库使用有着本质区别的新技术,CRM就是基于数据仓库技术的一种新使用。但是,从商业运作的角度来讲,CRM其实应该算是一个陈旧的"使用"了。比如,酒店对客人信息的管理,如果某个客人是某酒店的老主顾,那么该酒店很自然地会知道这位客人的某些习惯和喜好,如能否喜欢靠路边,能否吸烟,能否喜欢大床,喜欢什么样的早餐,等等。当客人再次光临时,不用客人本人提出来,酒店就会提供客人所喜欢的房间和服务。这就是一种CRM。
Meta Data元数据,关于数据仓库的数据,指在数据仓库建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息,所有这些信息都该当妥善保存,并很好地管理。为数据仓库的发展和使用提供方便。