内容发布更新时间 : 2024/11/1 7:03:29星期一 下面是文章的全部内容请认真阅读。

大数据平台数据治理项目建设方案V6.0

大数据平台数据治理项目

建 设 方 案

大数据平台数据治理项目建设方案V6.0

目 录

第1章 方案总述 .......................................................................................................... 1

1.1 前言 .......................................................................................................................... 1 1.2 项目背景 ................................................................................................................... 1 1.3 项目目标 ................................................................................................................... 2 1.4 项目建设原则 ............................................................................................................ 3

第2章 系统建设规划....................................................................................................... 4

2.1 项目建设目标的理解 ................................................................................................. 4

2.1.1 项目建设范围 .................................................................................................. 5

2.1.1.1 业务范围 ............................................................................................................... 5 2.1.1.2 组织范围 ............................................................................................................... 5 2.1.1.3 数据范围 ............................................................................................................... 5

2.1.2 项目建设内容 .................................................................................................. 5

2.1.2.1 基础数据平台 ....................................................................................................... 5 2.1.2.2 集团级指标体系 .................................................................................................... 7 2.1.2.3 统一报表平台 ....................................................................................................... 7

2.2 集团数据平台的建设目标 ......................................................................................... 7

2.2.1 集团数据平台一期建设目标 ............................................................................ 7 2.2.2 集团数据平台二期建设目标 ............................................................................ 8

第3章 整体设计方案....................................................................................................... 9

3.1 系统设计方法论 ........................................................................................................ 9

大数据平台数据治理项目建设方案V6.0

3.1.1 方法论 ............................................................................................................. 9 3.1.2 设计原则 ....................................................................................................... 11

3.1.2.1 标准规范 ............................................................................................................. 11 3.1.2.2 开放性 ................................................................................................................ 12 3.1.2.3 可扩展性 ............................................................................................................. 13 3.1.2.4 高性能 ................................................................................................................ 14 3.1.2.5 可管理性 ............................................................................................................. 14 3.1.2.6 高可用性 ............................................................................................................. 15 3.1.2.7 安全性 ................................................................................................................ 16 3.1.2.8 可重用性 ............................................................................................................. 17

3.2 数据平台技术体系 .................................................................................................. 18

3.2.1 数据平台逻辑架构 ......................................................................................... 18

3.2.1.1 数据集成区 ......................................................................................................... 19 3.2.1.2 集团分析型数据区 .............................................................................................. 19 3.2.1.3 管理平台区 ......................................................................................................... 20 3.2.1.4 统一报表展现平台 .............................................................................................. 20 3.2.1.5 ETL设计关键技术点说明 .................................................................................... 21

3.2.1.5.1.1 ETL处理策略 .................................................................................... 21 3.2.1.5.1.2 ETL处理流程 .................................................................................... 21 3.2.1.5.2 质量检核 ................................................................................................... 22 3.2.1.5.2.1 ETL处理原则 .................................................................................... 22 3.2.1.5.2.2 ETL处理方法 .................................................................................... 22

3.2.2 数据采集设计 ................................................................................................ 22

3.2.2.1 T+1数据采集 ...................................................................................................... 23 3.2.2.2 数据补录 ............................................................................................................. 24 3.2.2.2.1 检核规则管理 ............................................................................................ 25