同业务多版本统一表结构讨论

目前整一数据仓库项目,先建立基础数据平台,这个基础数据要统一多个业务系统业务数据,俺觉得难度大,但还是要做
在此列出些问题
问题:
   1,原系统各个字段应该都有意义,不可能整合所有源系统所有字段,如何取舍
   2,原系统表主外键各不相同,如何统一
   3,原系统各属性字段内容定义不同,如何统一
   4,原系统各业务定义方式不同,如何统一
   5,还有未上线原系统呢
----------------------------------------
感觉基础层模型统一相当困难,不但要业务环节的熟悉,对源系统也要有个整体把控,标准啊,统一啊,咋整呢,就算建好模,ETL也会整死,数据量也大,时间要求也紧,想听听大家意见,纯粹理论书本知识或角度站的太高,不着边际的,也可以谈

作者: piliskys   发布时间: 2011-04-07

这种多源数据的基础数据建模,你要想开头简单点的话,就做multi-layer data modeling
1. Extraction layer -- 单个系统的相关数据表模型拷贝
2. Single Source Transformation -- 单个系统的数据建模,把有关于目标DWH的数据转换到相应的表中
3. Consolidation layer -- 根据你的DWH,把各个系统的相关数据做结合
4. Target layer -- 最终的DWH

关于你说的业务定义不统一,这个是你们项目BA需要做的事,把展现的业务逻辑统一,也是MDM的一部分

总之先要根据你们的需求把DWH的模型做出来,再想各个源系统的统一问题
个人经验,你可以一个datamart的来,这样一开始也不会太难,也能先出来先东西,给你们领导有个启发

好了,砖抛完了, 闪人

作者: markgigi   发布时间: 2011-04-07