读数据架构知识体系指南01关系数据仓库(上)

[复制链接]
发表于 2026-9-19 05:28:31 | 显示全部楼层 |阅读模式

1. 关系数据仓库

1.1. 关系数据仓库(RDW)是一个集中存储和管理来自多个数据源的大量结构化数据的地方,用于生成历史和趋势分析报表,为公司的商业决议提供帮助
1.2. 被称为关系(数据仓库)​,是由于它是基于关系模型的,这是一种广泛应用于数据库的数据表示和组织的方法
1.3. 在关系模型中,数据被组织成表(也称为关系,由此得名)

  • 1.3.1. 表由行和列组成,其中每行表示一个实体(如客户或产物)​,每列表示该实体的一个属性(如名称、价格或数量)​
1.4. 被称为数据仓库,是由于它从事务数据库、应用程序体系和外部数据源等各种来源网络、存储和管理大量结构化数据
1.5. 并非所有的数据仓库都是基于关系模型的

  • 1.5.1. 非关系数据仓库包括列式数据仓库、NoSQL数据库和图数据仓库等
1.6. 关系数据仓库更受欢迎并被广泛采用,主要是由于关系数据库几十年来一直是占主导职位的数据管理模式
1.7. 关系模型非常得当结构化数据,而这种数据在商业应用中很常见
1.8. 关系数据仓库的流行还得益于SQL的广泛使用,SQL多年来一直是关系数据仓库的标准语言
1.9. 关系数据仓库作为多个学科领域的中央仓库,包含真实数据的单一事实版本(SVOT)

  • 1.9.1. SVOT是数据仓库的一个关键概念,它指的是对组织数据创建统一的、一致的版本
  • 1.9.2. 意味着数据仓库中的所有数据都以标准化、结构化的格式存储,并且以唯一的、准确无误的版本维护信息
  • 1.9.3. 确保所有用户都可以访问相同的信息,消除任何差异或不一致性,并消除数据孤岛
  • 1.9.4. 有助于改善整个组织的决议能力、团队协作和工作效率
  • 1.9.5. 降低了由于使用不同的、不一致的数据源而产生错误和误解的风险
1.10. 将所有数据集中在一个中央位置意味着数据仓库是唯一的“原形”来源,任何关于报表数据的题目都可以由数据仓库解答
1.11. 对于期望充分挖掘数据潜能的组织而言,创建SVOT至关重要
1.12. 整个公司使用的数据仓库(DW),通常被称为企业数据仓库(EDW)

  • 1.12.1. 这是数据仓库的更全面、更健壮的版本,旨在支持整个组织的需求
  • 1.12.2. 标准DW只能支持几个业务部门,那么整个企业就需要很多这样的数据仓库
  • 1.12.3. EDW可以使用更广泛的数据源和数据类型来支持所有业务部门
  • 1.12.4. EDW提供了组织所有数据的单一的、统一的版本
1.13. 关系数据仓库通过为数据存储和检索提供一个集中的存储库,使数据管理和分析更加高效,彻底改变了企业和组织管理数据的方式
2. 非数据仓库案例

2.1. 不应该被视为数据仓库的解决方案
2.2. DW前缀

  • 2.2.1. 数据仓库不只是操纵体系中源数据库的副本,并在文件名中添加了DW前缀
  • 2.2.2. 导致为操纵数据而设计数据仓库,而不是为分析数据设计数据仓库
  • 2.2.3. 为分析数据设计数据仓库,可以获得更好的读取性能,并且可以创建数据模型,从而使最终用户更容易生成报表
2.3. 联合视图

  • 2.3.1. 据仓库不是把来自不同源体系的多个表通过SQL视图联合在一起
  • 2.3.2. 联合是通过SQL UNION语句完成的,它将两个或多个SELECT语句的结果归并成一个结果集
  • 2.3.3. 应该将多个表中的数据复制到数据仓库的一个表中,这就需要额外创建得当所有多个表的数据模型
2.4. 倾倒场

  • 2.4.1. 数据仓库并不是一个数据表的倾倒场
  • 2.4.2. 很多数据仓库一开始是为几个用户提供的一次性解决方案,然后演变成面向整个公司的长期但设计糟糕的数据仓库
3. 自顶向下的方法

3.1. 使用关系数据仓库,开发人员需要预先做大量的工作,将数据放在合适的位置,以便使用它们创建报表
3.2. 预先完成所有这些工作的的设计和实现方法,被称为自顶向下的方法
3.3. 适用于生成历史类型的报表,这种报表试图确定发生了什么(描述性分析)以及为什么发生(诊断性分析)​
3.4. 在自顶向下的方法中,首先创建数据仓库的整体规划、设计和体系结构,然后开发特定的组件
3.5. 必须先明白企业的整体愿景,并深入相识组织的战略目标和信息需求
3.6. 描述性分析和诊断性分析是商业领域常用的两种重要的数据分析方法

  • 3.6.1. 描述性分析
  • 3.6.1.1. 通过使用汇总统计或数据可视化的方法,分析数据来描述过去或当前变乱
  • 3.6.1.2. 适用于相识过去发生的事情,在数据中辨认有助于决议的模式或趋势
  • 3.6.2. 诊断性分析
  • 3.6.2.1. 主要用于探究过去变乱的原因,通常是通过分析不同变量或因素之间的关系来实现的
  • 3.6.2.2. 可以找出题目的根本原因或诊断出可能影响谋划业绩的因素
3.7. 步骤

  • 3.7.1. 预判
  • 3.7.1.1. 首先对公司战略有一个清晰的认识,然后明白想通过数据得到什么信息
  • 3.7.2. 定义业务需求
  • 3.7.2.1. 确定组织的目标、宗旨和关键绩效指标(KPI),网络和分析各部门和用户的信息需求
  • 3.7.2.2. 可以将此步骤视为定义报表需求
  • 3.7.3. 设计数据仓库架构
  • 3.7.3.1. 根据业务需求,为数据仓库创建一个高层架构,包括其结构、数据模型和数据集成过程
  • 3.7.3.2. 技能需求
  • 3.7.4. 开发数据模型
  • 3.7.4.1. 为数据仓库设计详细的数据模型,考虑各种数据实体之间的关系和数据的粒度
  • 3.7.5. 构建架构
  • 3.7.5.1. 为数据仓库创建相应的数据库、模式、表格和字段
  • 3.7.5.2. “写时模式”
  • 3.7.6. 开发ETL
  • 3.7.6.1. 开发ETL,从各种源体系中提取数据,将其转换为所需的格式,并将其加载到数据仓库中
  • 3.7.7. 开发和部署BI工具和应用
  • 3.7.7.1. 实现BI工具和应用程序,允许用户访问、分析存储在数据仓库中的数据并生成报表
  • 3.7.8. 测试并完善数据仓库
  • 3.7.8.1. 进行测试以确保数据的质量、性能和可靠性
  • 3.7.8.2. 进行必要的调解以优化体系
  • 3.7.9. 进行必要的调解以优化体系
  • 3.7.9.1. 随着组织需求的变化,相应地更新和扩展数据仓库

免责声明:如果侵犯了您的权益,请联系站长及时删除侵权内容,谢谢合作!qidao123.com:ToB企服之家,中国第一个企服评测及软件市场,开放入驻,技术点评得现金.

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表