2024年最全一篇文章搞懂数据仓库：数据仓库规范设计

3.3 临时表

3.4 维度表

四、开发规范

五、流程规范

一、为什么要进行规范设计？

=============

无规矩、不方圆。规范设计是在具体开发工作之前制定的，过程中不断进行完善。目的在于约束N个人对齐认知，按照一个标准或流程进行开发，以保证数据一致性，流程清晰且稳定。

一个良好的规范设计，应当起到以下作用：**提高开发效率，**提升质量，降低沟通对齐成本，降低运维成本等。

下面小编将带领大家盘一盘数据仓库有哪些规范，从中挑选几个重点细说：

• 设计规范

  逻辑架构、技术架构、分层设计、主题划分、方法论

  • 命名规范

    各层级命名、任务命名、表命名、字段命名、指标命名等

    • 模型规范

      建模方法、建模工具、血缘关系、维度退化、一致性维度、元数据管理

      • 开发规范

        脚本注释、字段别名、编码规范、脚本格式、数据类型、缩写规范

        • 流程规范

          需求流程、工程流程、上线流程、调度流、调度和表生命周期管理

          二、设计规范 - 指标

          ===========

          • Step1：面向主题域管理

            为了提高指标管理的效率，你需要按照业务线、主题域和业务过程三级目录方式管理指标。

            • Step2：划分原子指标和派生指标

              原子指标 + 原子指标  = 派生指标

              • Step3：进行指标命名规范

                需要遵循两个原则：易懂与统一

                • 易懂，就是看到指标的名称，就可以基本判断这个指标归属于哪个业务过程；

                • 统一，就是要确保派生指标和它继承的原子指标命名是一致的。

                  对于原子指标，标名称适合用“动作 + 度量”的命名方式（比如注册用户数、购买用户数）

                  对于派生指标，应该严格遵循“时间周期 + 统计粒度 + 修饰词 + 原子指标”的命名方式。（比如30天内黑卡会员购买用户数）

                  • Step4：分级管理

                    指标确实是多，如果一视同仁去管理其实很难，所以可以按照下面的原则进行等级划分：

                    • 一级指标：数据中台直接产出，核心指标（提供给公司高层看的）、原子指标以及跨部门的派生指标。

                    • 二级指标：基于中台提供的原子指标，业务部门创建的派生指标。

                      三、命名规范 - 表命名

                      ============

                      3.1 常规表

                      ---

                      常规表是我们需要固化的表，是正式使用的表，是目前一段时间内需要去维护去完善的表。

                      规范：分层前缀[dwd|dws|ads|bi]_业务域_主题域_XXX_更新评率|全量/增量。

                      业务域、主题域我们都可以用词根的方式枚举清楚，不断完善，粒度也是同样的，主要的是时间粒度、日、月、年、周等，使用词根定义好简称。

                      例如:  dwd_xxx_xxx_da

                      • di ：每日增量

                      • da：每日全量

                      • mi：每月增量

                        

                        

                        网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

                        需要这份系统化资料的朋友，可以戳这里获取

                        一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

                        的技术提升。**

                        需要这份系统化资料的朋友，可以戳这里获取

                        一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！