数据管理的四大支柱：揭秘数据中台、数据堆栈、数据治理和主数据

数据中台、数据堆栈、数据治理和主数据这些概念对于很多人来说仍显得抽象。用一些普通的语言和生活中的比喻，深入解析这些关键概念。
一、数据中台：数据的“中心厨房”


想象一下，你是一家大型餐厅的厨师长，天天需要处理从不同供应商那里采购的多种食材。为了确保食材的新鲜、卫生与高效利用，建立一个中心厨房就显得尤为重要。这个中心厨房的脚色就是数据中台在企业中扮演的脚色。

数据中台整合来自不同业务部分、系统和渠道的数据，对其进行清洗、加工和标准化处理，然后再将处理后的数据提供给业务部分利用。就像中心厨房确保食材的质量和同等性，数据中台则确保数据的质量、同等性和可用性，从而更好地支持企业的决议和运营。
数据中台不即是大数据平台，数据中台的核心工作也并不是将企业的数据全部网络起来做汇总就够了。数据中台的使命是利用大数据技术、通过全局规划来治理好企业的数据资产，让数据利用者能随时随地获取到可靠的数据。因此，数据中台一旦建成并得以持续运营，其代价将随着时间的推移将呈指数级增长。

数据中台建设是一个宏大的工程，涉及团体规划、构造搭建、中台落地与运营等方方面面的工作，本节重点从物理形态上讲述企业的数据中台应该如何搭建。一般来讲，企业的数据中台在物理形态上分为三个大层：工具平台层、数据资产层和数据应用层。 1.1 工具平台层工具平台层是数据中台的载体，包含大数据处理的基础能力技术，如集数据采集、数据存储、数据盘算、数据安全即是一体的大数据平台；还包含建设数据中台的一系列工具，如离线或实时数据研发 工具、数据联通工具、标签盘算工具、算法平台工具、数据服务工具及自助分析工具。
以上工具集基本覆盖了数据中台的数据加工过程。 1.2 数据资产层数据资产层是数据中台的核心层，总体来讲，可以划分为主题域模型区、标签模型区和算法模型区。

①主题域模型主题域模型是指面向业务分析，将业务过程或维度进行抽象的集合。业务过程可以概括为一个个不可拆分的行为事件，如订单、合同、营销等。 为了保障整个体系的生命力，主题域即数据域需要抽象提炼，并且恒久维护和更新，但是不轻易变动。在划分数据域时，既要涵盖当前所有业务的需求，又要保证新业务能够无影响地被包含进已有的数据域中大概很轻易扩展新的数据域. ②标签模型标签模型的设计与主题域模型方法大同小异，同样需要结合业务过程进行设计，需要充分理解业务过程。 标签一般会涉及企业经营过程中的实体对象，如会员、商品、门店、经销商等。这些主体一般来说都穿插在各个业务流程中，比如会员一般都穿插在关注、注册、欣赏、下单、评价、服务等环节。那么在设计标签的时候就需要充分理解这些业务流程，在流程中发现标签的应用点，结合这些应用点来搭建企业的标签体系。标签模型按盘算模式一般分为客观标签和主观标签。 设计标签模型时非常关键的要素是标签模型一定要具有可扩展性。究竟标签这种数据资产是需要持续运营的，也是有生命周期的，在运营的过程中随时大概增加新的标签。 ③算法模型算法模型更加贴近业务场景。在设盘算法模型的时候要反复推演算法模型利用的场景，包罗模型的冷启动等题目。整个模型搭建过程包含定场景、数据源准备、特征工程、模型设计、模型练习、正式上线、参数调整7个环节。 以新零售企业为例，常用的机器学习算法有决议树、神经网络、关联规则、聚类、贝叶斯、支持向量机等。这些算法已经非常成熟，可以用来实现商品个性化推荐、销量猜测、流失猜测、商品组货优化等新零售场景的算法模型。 1.3 数据应用层数据应用层严格来说不属于数据中台的范畴，但数据中台的使命就是为业务赋能，险些所有企业在建设数据中台的同时都已规划好数据应用。数据应用可按数据利用场景来划分为以下多个利用领域：分析与决议应用、标签应用、智能应用。
参考：54页PPT | 数据中台建设方案汇报质料
二、数据堆栈：数据的“图书馆”


假设你是一位图书馆管理员，天天的职责是管理和维护图书馆中的成千上万本书。你必须确保每本书按照种别、作者、出版日期整齐有序地摆放，以方便读者查找和借阅。数据堆栈在企业中的作用就像这个图书馆。它存储了大量历史数据和结构化数据，并按照一定的规则和格式进行构造。与数据中台不同，数据堆栈更注重数据的恒久保存和查询分析，提供强盛的数据查询和分析能力，帮助企业深入了解市场、客户和业务流程，从而发现潜在的时机和风险。

一般来说，数据堆栈是一个面向主题的、集成的、相对稳定的，并反映历史变化的数据集合，它主要用于支持管理人员的决议过程。

• “面向主题”：意味着数据堆栈是围绕企业的具体业务需求进行构建的，旨在提升管理服从；
  
• “集成”：则是指它能够将来自不同平台的数据进行汇总，打破数据孤岛，同时在整合过程中实现数据治理和编码的标准化；
  
• “相对稳定”：强调的是数据堆栈不会直接毗连到业务系统，而是通过从业务系统中提取数据来工作，以避免对业务系统性能造成影响；
  
• “反映历史变化”：则指的是数据堆栈能够存储并反映业务系统的历史数据，为将来的大数据发掘与分析提供重要依据。
  

接下来，我们明确“数仓”的概念：

数仓，即数据堆栈，是企业决议支持体系中的核心组成部分。它从管理需求出发，整合各业务系统的数据资源，通过数据处理工具天生数据堆栈，并应用于企业的各个业务领域。数据堆栈的运用主要聚焦于优化企业的业务流程、监控时间、本钱、质量等关键指标，从而助力企业实现更高效、更精准的管理决议。
参考：数据堆栈建设规范方案
三、数据治理：数据的“交警”


城市交通中，交警的职责是维护交通秩序，确保车辆和行人遵照交通规则，防止交通拥堵和事故发生。在数据世界中，数据治理就好比这样的交警。数据治理是对数据进行全面管理和规范的过程，确保数据的准确性、同等性、安全性和可用性，同时防止数据滥用和泄漏。数据治理还负责制定数据管理的规章制度，监视数据的采集、存储、处理和利用过程，确保数据在整个生命周期中都得到妥善管理。

数据治理体系内容从两个维度来看：
1）数据治理难点痛点：数据脉络不清楚、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。
2）数据治理5个核心：理、聚、管、治、用。

数据治理是企业对数据资产管理行使权力和控制的运动集合（包罗计划、监视和执行)，它是管理企业数据资源的一种方式、方法，旨在确保数据的质量、安全、合规和有效性。数据治理是企业实现数据战略的基础，是一个管理体系，包罗构造、制度、流程和工具。

数据治理是一套复杂的管理体系，它无法通过单一的工具或产物来实现。数据的生命周期包含了源头、处理和消费这三个阶段，数据的题目也大概会出如今这三个环节中。

例如在数据源头环节，用户录入数据的规范性存在题目，导致了最终数据消费环节的数据质量低。这些表象题目标根源，大概来自于业务系统用户交互设计，以致是底层数据库表结构设计上的缺陷。想要办理这些表象的题目，就需要办理深层次的信息化业务系统开辟以及数据库表束缚设计等题目。

例如为了保证用户录入数据的准确性，有三种方式去设计业务系统：其一是设计前端的检验验证，避免用户做出相同的选择；其二是通过步伐编写过滤判断的逻辑，筛撤除前端误入的数据，作为第二层验证；其三是通过建立束缚条件，例如唯一性束缚、检测束缚等等来控制数据录入准确性。

因此，企业的数据治理远非利用一款单一的工具或产物就可以实现的，它是需要回到源头，对企业的构造、流程制度、业务系统、底层架构等多个方面进行排查和重构的，它是一套复杂的管理体系。

参考：53页PPT | 企业数据治理平台规划建设方案
四、主数据：数据的“身份证”


最后，我们来谈谈主数据。每个人都有本身的身份证，它是个人身份的证明。在数据世界中，主数据就像是数据的“身份证”。主数据是企业内部最关键、最核心的数据，描述了企业的核心业务实体，如客户、产物、供应商等。主数据具有唯一性和权势巨子性，是企业内部各部分和系统之间共享和交换数据的基础。通过管理和维护好主数据，企业可以确保数据的同等性和准确性，从而进步业务处理服从和决议质量。

主数据是指满意跨部分业务协同需要的，反映核心业务实体状态属性的基础信息。举个例子，公司的员工信息，存在于很多业务系统里，比如人力系统、财务系统、OA系统，以及考勤系统等，但每个系统所需要的信息大概不一样，财务系统需要员工开放信息，比如从哪个银行开户，账号是什么，这样方便打款；人力系统大概只是需要员工的一些入职信息。
参考：主数据治理项目落地方案

这样的员工信息就属于主数据，它在很多企业业务系统被利用，同时还能反映这个员工本身的一些属性。类比下，还有产物、物料、客商、客户、供应商等主数据。
哪些数据是主数据？
一家企业不但有主数据，还有一些其他数据，这里有一个金字塔结构的企业数据模型，包罗关键的基础数据、主数据、业务数据、报表数据。

基础数据可以理解为基本不会发生什么变化的，比如国家钱币计量单元，其他维表数据等，其数据就是一些取值范围，也称其为参考数据；主数据就是恒久稳定的，能被多个系统利用的，比如构造机构人员、客商等；业务数据是指一些业务交易系统所产生的数据，包罗订单的记录、还有一些考勤记录等，与主数据捆绑的比较紧；报表数据是基于下面三类数据做的一些分析出现，报表数据的主要作用是通过效果出现来做猜测工作。
主数据、业务数据与元数据的区别

如图所示，表头就是元数据，这些字段本身描述了字段的一些属性信息；而主数据其实就是这样的一条记录，这条记录可以划分为两部分，一部分是主数据，描述核心业务实体属性的数据，别的一部分就是主数据在业务交易过程中由系统产生的数据，比如这块的订单数据就是业务数据。总的来说，所有这些数据作为企业的一部分，只要能产生代价，它都可以称之为数据资产，能去支持企业上层的生产、财务、项目管理等。
主数据的4个特性
（1）唯一性：在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的辨认标志（代码、名称、特征描述等），用以明确区分业务对象、业务范围和业务的具体细节。
（2）共享性：主数据特征会被作为业务流程的判断条件和数据分析的具体维度层次，因此需保证主数据的关键特征在不同应用、不同系统中的高度同等共享，形成统一规范 。
（3）稳定性：主数据作为用来描述业务操作对象的关键信息，在业务过程中其辨认信息和关键的特征会被交易过程中产生的数据继续、引用、复制，但主数据本身的属性通常不会随交易的过程所被修改。
（4）有效性：只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有意义，则该主数据就需要在系统中继续保持其有效性，通常贯穿该业务对象在市场上的整个生命周期甚至更长。
因此：
对于大数据平台来说，主数据是非常重要的一类数据，险些出如今所有的数据处理和分析中，具体到批处理和实时处理又有所不同。

• 对于批处理来说：
  

主数据可以同步自主数据管理系统的数据库，在数仓（数据堆栈）体系下，险些所有的主数据都是维度数据，需要建立相应的维度表以支持业务查询和分析；

• 对于实时处理来说：
  

在各种流式盘算的过程中也需要获取主数据进行关联处理，而实时处理要求主数据的获取也必须是实时的，这对系统的架构设计提出了挑战。如果原始的主数据管理系统对外提供了获取主数据的 API，对于平常的应用系统这是很有利的条件，它们可直接通过API 实时获得主数据。但是对于大数据系统来说，情况就不那么乐观了，因为大数据处理过程中的巨大吞吐量和流盘算处理中对主数据的利用频率都远远凌驾一般的应用系统。如果大数据平台通过主数据管理系统的API 获取主数据，无论是从并发压力还是从响应的及时性上都大概无法满意要求，还有大概给主数据管理系统带来过大的负载，导致其响应缓慢甚至宥机。
为满意实时盘算对主数据的需求，有两种可选的技术方案。
（1）方案一：
如果主数据体量不大，变动也不频繁，可以考虑将这些数据通过 API 读取到大数据工作节点的内存中，在数据处理过程中直接利用，然后周期性地从主数据管理系统同步最新状态的主数据。
（2）方案二：
改造主数据管理系统，引入内存数据库，如Redis, 针对所有主数据，除常规 持久化的业务数据库外，再配备一个内存数据库的副本，将这个内存数据库开放给大数据平台利用。
方案一的优点是架构简单，易于实现，但是对主数据有预设条件，不能成为一种广泛利用的方案。方案二是一套很完备的技术方案，可以满意各种主数据获取需求，代价是架构比较复杂，如果企业正在构建的是一整套大数据平台，方案二是值得一试的， 从技术上讲，主数据管理系统是一个相对传统的Web 应用，负责维护主数据的增删查改，同时对外提供获取主数据的 API, 对于大数据平台，最好提供以内存数据库为依托的数据读取服务。综合这些因素，企业在建设大数据平台时应该结合现状机动地选择方案。
五、定位与差异：协同作战的团队成员


通过以上的比喻，我们可以更好地理解这些概念的定位和差异。数据中台作为数据的“中心厨房”，负责数据的整合和加工；数据堆栈作为数据的“图书馆”，负责数据的存储和查询分析；数据治理作为数据的“交警”，确保数据的规范和安全；而主数据作为数据的“身份证”，确保数据的权势巨子性和同等性。
这些概念在企业中相互协作，共同构成完整的数据管理体系。就像一支协同作战的团队，数据中台负责调度和整合数据资源，数据堆栈提供数据存储和查询支持，数据治理确保数据的安全和规范，而主数据确保数据的准确性和同等性。这个团队共同为企业提供了强盛的数据支持，帮助企业更好地应对市场挑战和捉住机遇。参考：
1、数据AI指北，《数据管理的四大支柱：揭秘数据中台、数据堆栈、数据治理和主数据》2、数据集成与治理，《我花10个小时，写出了小白也能看懂的数仓搭建方案》3、亿信华辰Pro，《企业主数据建设方法论与实践案例》
泉源：数据学堂
版权声明：本公众号所载文章为本公众号原创或根据网络搜集编辑整理，文章版权归原作者所有。文章仅用于学习分享，不涉及任何贸易用途。若文章涉及作品内容、版权或其他题目，请跟我们接洽，会及时处理，本公众号拥有对此声明的最终表明权。谢谢！

欢迎各人加入数据工匠知识星球获取更多资讯
接洽我们
微信：SZH9543邮箱：[email protected]QQ：2286075659热门文章
数据治理“三字经”，伴君摘得“满天星”

工业企业数据治理的现状、挑战及建议思考

数据治理：一文讲透元数据

一文读懂：数据要素、数据资源、数据资产、数字资产、数据管理、数据治理、数据产权、数字资产入表

【数据治理】快速从0~1搭建数据治理体系十步骤

揭秘数据治理系统的数据流程图

数据资产盘点及治理路径

企业数据治理落地实行方案（PPT）

【重磅】《蓝宝书》新版来袭-《数据治理》（第2版）干货通读

宝钢集团数据治理规划（2022-2025）

案例(二十一)：多元化企业数据治理实践案例

一图展示数据中台的数据流图

数据治理效果如何评价，如何考核？

数据治理：企业如何走出数据孤岛？

数据治理：数据战略从制定到落实的8个要素

【新书荐读】-24张架构图把数据治理核心内容讲透了

什么是时序数据？如何治理？有哪些应用场景？终于有人讲明确了

数据治理治什么？在哪治？怎么治？
成功的大数据治理项目须对峙“六个导向”和“三个相结合原则”及“四个对峙和五个避免” ( 推荐收藏)

小数据治理靠“人工”，大数据治理靠“智能”

浅谈数据治理、数据管理、数据资源与数据资产管理内涵及差异点(建议收藏)

“一平台、两体系、三性特征、四个统一、五个逾越、六类服务 ”一篇读懂数据治理、共享和应用（值得收藏）

“九步实行法则”保驾护航助力数据治理项目成功（上）

“九步实行法则”保驾护航助力数据治理项目成功(下)

案例(八):强化数据管控，助力业务转型 -新兴际华集团数据治理体系建设实践与思考

我们的使命：发展数据治理行业、普及数据治理知识、改变企业数据管理现状、进步企业数据质量、推动企业走进大数据时代。
我们的愿景：打造数据治理专家、数据治理平台、数据治理生态圈。
我们的代价观：凝聚行业力量、打造数据治理全链条平台、改变数据治理生态圈。
了解更多精彩内容
数据工匠俱乐部

专注数据治理，推动大数据发展。