读数据架构知识体系指南01关系数据仓库(上)

1. 关系数据仓库

1.1. 关系数据仓库(RDW)是一个集中存储和管理来自多个数据源的大量结构化数据的地方，用于生成历史和趋势分析报表，为公司的商业决策提供帮助

1.2. 被称为关系（数据仓库）​，是因为它是基于关系模型的，这是一种广泛应用于数据库的数据表示和组织的方法

1.3. 在关系模型中，数据被组织成表（也称为关系，由此得名）

• 1.3.1. 表由行和列组成，其中每行表示一个实体（如客户或产品）​，每列表示该实体的一个属性（如名称、价格或数量）​

1.4. 被称为数据仓库，是因为它从事务数据库、应用程序系统和外部数据源等各种来源收集、存储和管理大量结构化数据

1.5. 并非所有的数据仓库都是基于关系模型的

• 1.5.1. 非关系数据仓库包括列式数据仓库、NoSQL数据库和图数据仓库等

1.6. 关系数据仓库更受欢迎并被广泛采用，主要是因为关系数据库几十年来一直是占主导地位的数据管理模式

1.7. 关系模型非常适合结构化数据，而这种数据在商业应用中很常见

1.8. 关系数据仓库的流行还得益于SQL的广泛使用，SQL多年来一直是关系数据仓库的标准语言

1.9. 关系数据仓库作为多个学科领域的中央仓库，包含真实数据的单一事实版本(SVOT)

• 1.9.1. SVOT是数据仓库的一个关键概念，它指的是对组织数据创建统一的、一致的版本

• 1.9.2. 意味着数据仓库中的所有数据都以标准化、结构化的格式存储，并且以唯一的、准确无误的版本维护信息

• 1.9.3. 确保所有用户都可以访问相同的信息，消除任何差异或不一致性，并消除数据孤岛

• 1.9.4. 有助于改善整个组织的决策能力、团队协作和工作效率

• 1.9.5. 降低了由于使用不同的、不一致的数据源而产生错误和误解的风险

1.10. 将所有数据集中在一个中央位置意味着数据仓库是唯一的“真相”来源，任何关于报表数据的问题都可以由数据仓库解答

1.11. 对于期望充分挖掘数据潜能的组织而言，建立SVOT至关重要

1.12. 整个公司使用的数据仓库(DW)，通常被称为企业数据仓库(EDW)

• 1.12.1. 这是数据仓库的更全面、更健壮的版本，旨在支持整个组织的需求

• 1.12.2. 标准DW只能支持几个业务部门，那么整个企业就需要很多这样的数据仓库

• 1.12.3. EDW可以使用更广泛的数据源和数据类型来支持所有业务部门

• 1.12.4. EDW提供了组织所有数据的单一的、统一的版本

1.13. 关系数据仓库通过为数据存储和检索提供一个集中的存储库，使数据管理和分析更加高效，彻底改变了企业和组织管理数据的方式

2. 非数据仓库案例

2.1. 不应该被视为数据仓库的解决方案

2.2. DW前缀

• 2.2.1. 数据仓库不只是操作系统中源数据库的副本，并在文件名中添加了DW前缀

• 2.2.2. 导致为操作数据而设计数据仓库，而不是为分析数据设计数据仓库

• 2.2.3. 为分析数据设计数据仓库，可以获得更好的读取性能，并且可以创建数据模型，从而使最终用户更容易生成报表

2.3. 联合视图

• 2.3.1. 据仓库不是把来自不同源系统的多个表通过SQL视图联合在一起

• 2.3.2. 联合是通过SQL UNION语句完成的，它将两个或多个SELECT语句的结果合并成一个结果集

• 2.3.3. 应该将多个表中的数据复制到数据仓库的一个表中，这就需要额外创建适合所有多个表的数据模型

2.4. 倾倒场

• 2.4.1. 数据仓库并不是一个数据表的倾倒场

• 2.4.2. 许多数据仓库一开始是为几个用户提供的一次性解决方案，然后演变成面向整个公司的长期但设计糟糕的数据仓库

3. 自顶向下的方法

3.1. 使用关系数据仓库，开发人员需要预先做大量的工作，将数据放在合适的位置，以便使用它们创建报表

3.2. 预先完成所有这些工作的的设计和实现方法，被称为自顶向下的方法

3.3. 适用于生成历史类型的报表，这种报表试图确定发生了什么（描述性分析）以及为什么发生（诊断性分析）​

3.4. 在自顶向下的方法中，首先建立数据仓库的整体规划、设计和体系结构，然后开发特定的组件

3.5. 必须先明确企业的整体愿景，并深入了解组织的战略目标和信息需求

3.6. 描述性分析和诊断性分析是商业领域常用的两种重要的数据分析方法

• 3.6.1. 描述性分析

  • 3.6.1.1. 通过使用汇总统计或数据可视化的方法，分析数据来描述过去或当前事件

  • 3.6.1.2. 适用于了解过去发生的事情，在数据中识别有助于决策的模式或趋势

• 3.6.2. 诊断性分析

  • 3.6.2.1. 主要用于探究过去事件的原因，通常是通过分析不同变量或因素之间的关系来实现的

  • 3.6.2.2. 可以找出问题的根本原因或诊断出可能影响经营业绩的因素

3.7. 步骤

• 3.7.1. 预判

  • 3.7.1.1. 首先对公司战略有一个清晰的认识，然后明确想通过数据得到什么信息

• 3.7.2. 定义业务需求

  • 3.7.2.1. 确定组织的目标、宗旨和关键绩效指标(KPI)，收集和分析各部门和用户的信息需求

  • 3.7.2.2. 可以将此步骤视为定义报表需求

• 3.7.3. 设计数据仓库架构

  • 3.7.3.1. 根据业务需求，为数据仓库创建一个高层架构，包括其结构、数据模型和数据集成过程

  • 3.7.3.2. 技术需求

• 3.7.4. 开发数据模型

  • 3.7.4.1. 为数据仓库设计详细的数据模型，考虑各种数据实体之间的关系和数据的粒度

• 3.7.5. 构建架构

  • 3.7.5.1. 为数据仓库创建相应的数据库、模式、表格和字段

  • 3.7.5.2. “写时模式”

• 3.7.6. 开发ETL

  • 3.7.6.1. 开发ETL，从各种源系统中提取数据，将其转换为所需的格式，并将其加载到数据仓库中

• 3.7.7. 开发和部署BI工具和应用

  • 3.7.7.1. 实现BI工具和应用程序，允许用户访问、分析存储在数据仓库中的数据并生成报表

• 3.7.8. 测试并完善数据仓库

  • 3.7.8.1. 进行测试以确保数据的质量、性能和可靠性

  • 3.7.8.2. 进行必要的调整以优化系统

• 3.7.9. 进行必要的调整以优化系统

  • 3.7.9.1. 随着组织需求的变化，相应地更新和扩展数据仓库