数据仓库ETL方案

发布 2022-02-04 04:59:28 阅读 4839

要求:1、需要业务系统生产库的一个用户账号,权限是能够查询业务系统生产库的数据,提供这个用户的连接串,这个需要在方案实施前一天提供。

2、需要在业务系统生产库上新建一个表空间,用户存储物化视图日志表,大小至少是业务系统生产库10天的数据量占用的空间大小。

3、数据仓库的服务器应该至少是业务系统生产库大小的6倍,数据库要求oracle10g

说明:1、本次测试选择10数据块做测试。

2、时间点选择业务系统生产库用户少的时候。

3、试验物化视图日志对业务系统生产库的各种性能压力测试。

4、试验业务系统生产库增量数据抽取对业务系统生产库的压力测试及效率问题。

5、试验业务系统生产库存量数据抽取时对业务系统生产库空间的要求、抽取时间、以及效率计算等。

实施步骤:1、查看测试库是否正常,是否能符合数据仓库要求。

2、在测试库上新建表空间、用户。

3、把现在开发库上odm,ods,dw,dm,etl用户下的数据表(系统参数表),存储过程,视图,序列,数据库链等移植到新的测试库上。

4、由业务系统生产库的dba新建用户,权限是能够查询业务系统生产库的数据,并创建表空间用于存放物化视图日志,然后告知营销分析系统项目组(前一天完成)

5、根据业务系统生产库,营销分析系统项目组生成10块物化试图日志脚本、物化试图,ods脚本,dw脚本(前一天完成)

6、在odm库上创建业务系统生产库的dblink,检测是否能够查询数据(前一天完成)

7、营销分析系统项目组提供创建物化试图日志脚本,由业务系统生产库dba审核并在业务系统生产库上创建。

8、营销分析系统项目组在数据仓库测试机上odm库创建物化试图,时间根据业务系统生产库和测试库存储来计算,初步估计在1到2小时。

说明:odm上创建物化视图的过程既存量数据抽取过程,第七第八步骤需要业务系统生产库停机操作,否则会产生数据仓库的数据不准确)

9、营销分析系统项目组在odm库创建物化试图的物化试图日志。

10、营销分析系统项目组分别ods库、dw库上用前面生成的脚本创建库。

11、检查各个用户下的数据库链,存储过程、序列等是否正常。

12、启用etl调度开始抽取数据。

数据仓库建设方案

经过多年it的建设,信息对于xxx的日常管理已经日益重要,并逐渐成为重要的信息资产,信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好xxx内部纷繁的数据也越来越成为信息管理的一项重要工作。在过去相当一段时间内,xxx业务系统的构建主要围绕着业务的数据展开,应用的构建多是自下而上构...

数据仓库建设方案

专家系统接收增购项目车辆tcms或其他子系统通过车地通信传输的实时或离线数据,经过一系列综合诊断分析,以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施,为车辆的故障根因修复提供必要的支持。根据专家系统数据仓库建设目标,结合系统数据业务规范,包括数据采集频率...

数据仓库建设方案

商务智能 business intelligence 用于支持制定业务决策的技能 流程 技术 应用和实践。核心是通过数据提取 整理 分析,最终通过分析结果制定有关策略 规划,帮助企业了解新的趋势 抓住新的市场机会 发现潜在的威胁,达到资源的合理配置,节约成本提高效益。数据仓库是商业智能的基础,它为o...