科技大数据平台数据仓库开发指南

【适用范围】 本标准规定了科技大数据平台数据仓库开发过程中各环节应遵循的流程及标准。 本标准适用于广东省科技厅基于数据仓库的信息中心负责人及相应开发/运维厂商共同使用。 【主要技术内容】 本标准总体思路是规定了科技厅数据仓库开发过程中各环节的要求和规范,包括数据仓库的架构、设计、开发、运维以及交付等阶段所应遵循的流程及标准，确保数据仓库开发的正常进行。 1、范围 本标准主要涉及数据仓库实施流程中数据仓库设计中技术设计相关工作、数据仓库开发、及数据仓库运维与开发相关的内容。本标准主要包含如下内容：数据仓库开发组织架构及对应人员职责；数据仓库实施各阶段的流程及标准。 2、总则 科技厅数据仓库是科技厅企业级数据平台，整合科技厅相关业务系统源数据的基础上，为从属的数据集市及分析统计、数据挖掘等应用提供基础数据支持，因此数据仓库是展示科技厅数据资产及开展数据服务的基础核心。 数据仓库建设成功与否主要体现在是否能有一个全面、稳定、集中的数据环境，继承各种数据源系统的数据视图，向上提供各种分析应用，是表达及沟通业务及其规则的媒介。因为构建统一标准的数据仓库是数据仓库建设必须遵循的基本原则之一。为了指导及规范数据仓库的建设，加强数据管理，特设计数据仓库的开发规范，用于约束数据仓库实施方（开发/运维）的具体开发行为，保障数据仓库的技术环境统一。 3、目标 形成一套统一的科技厅数据仓库开发标准，指导各数据仓库相关实施方此基础上完善和扩展数据仓库建设，为科技厅数据仓库统一建设提供进一步技术保障；通过设计数据仓库开发标准，规范及增强数据仓库管控力度，保障数据仓库的管控人员管控到位，为数据仓库统一建设以及今后数据服务开展奠定基础，保障数据仓库建设工作具有可持续发展的能力。 4、数据仓库架构 本章对于数据仓库架构中的层次和相应的实施流程进行了相应的规定，详细的规划了各个层次的工作。 5、数据仓库设计 本章对于数据仓库的设计阶段进行了相应的规划，对于设计中的概念模型、逻辑模型、物理模型及其命名规范形成了相应的规范。 6、 数据仓库开发 本章对于数据仓库的开发阶段所涉及的代码标准、测试标准、迁移部署以及相应的命名标准进行了详细的说明，确保开发的正确性，提高开发的效率，保证设计与程序的一致性。 7、数据仓库运维 本章就数据仓库的开发阶段所需的需求变更和异常处理进行了规范，保证数据仓库的运行和维护的正常有序进行，对系统的稳定性提供有力保障。 8、数据仓库交付 本章对数据仓库交付阶段所需的文件和材料进行了总结和归纳，规定了各开发小组对接的交付文档。