本书介绍了数据网格——一种来自现代分布式架构的去中心化社会技术范式,它提供了一种大规模采购、共享、访问和管理分析型数据的新方法。
本书分为五部分。
第1部分介绍Data Mesh的四个原则,以及它们所组成的高级模型。
第2部分比较Data Mesh与以前的数据架构的区别。
第3部分介绍Data Mesh组件的高层次架构,帮助你设计Data Mesh架构以及评估与Data Mesh匹配的现成技术。
第4部分介绍Data Mesh中的一个核心概念(数据产品)的详细设计,帮助你识别与Data Mesh愿景兼容的设计技术,并将它们与不兼容的技术区分开来。
第5部分介绍如何演进式地执行Data Mesh的转换,以及如何围绕团队结构、激励、文化等做出组织设计决策的可行建议。
适读人群 :数据分析从业者、架构师、技术领导者和决策者 我们正处于数据时代的拐点,当下的数据管理解决方案很难在应对组织的复杂性、数据源的激增等挑战的同时,通过AI和分析从数据中获取价值。本书从实践出发介绍了Data Mesh,这是一种从现代分布式架构中提取的去中心化的社会技术范式,提供了一种大规模获取、共享、访问和管理分析型数据的新方法。
本书将带领数据领域从业者、架构师、技术领导者和决策者,以大数据架构为起点,逐步落地分布式和多维度的分析型数据管理方法。Data Mesh将数据视为产品,将领域视为首要关注点,应用平台思维创建自助数据基础设施,并引入数据治理的联合计算模型。
学完本书,你将能够:
全面了解Data Mesh的原则及其具体内容。
设计Data Mesh架构。
指导Data Mesh策略和执行。
从组织设计转向去中心化的数据所有权模型。
超越传统的数据仓库和数据湖,转向分布式的Data Mesh。
我们正处于数据时代的拐点,当下的数据管理解决方案很难在应对组织的复杂性、数据源的激增等挑战的同时,通过AI和分析从数据中获取价值。本书从实践出发介绍了Data Mesh,这是一种从现代分布式架构中提取的去中心化的社会技术范式,提供了一种大规模获取、共享、访问和管理分析型数据的新方法。
本书将带领数据领域从业者、架构师、技术领导者和决策者,以大数据架构为起点,逐步落地分布式和多维度的分析型数据管理方法。Data Mesh将数据视为产品,将领域视为首要关注点,应用平台思维创建自助数据基础设施,并引入数据治理的联邦计算模型。
学完本书,你将能够:
*全面了解Data Mesh的原则及其具体内容。
*设计Data Mesh架构。
*指导Data Mesh战略和执行。
*从组织设计转向去中心化的数据所有权模型。
*超越传统的数据仓库和数据湖,转向分布式的Data Mesh。
Nile Platform 联合创始人兼CPO,Kafka: The Definitive Guide一书的作者
Zhamak Dehghani是Thoughtworks的技术总监。她专注于企业中的分布式系统和数据架构领域,是多个技术咨询委员会的成员,包括Thoughtworks的技术委员会。
Zhamak倡导一切事物的去中心化,包括架构、数据等。她是Data Mesh的创始人。
引言 想象Data Mesh9
第一部分 什么是Data Mesh
第1章 Data Mesh概述23
1.1 成果23
1.2 转变24
1.3 原则25
1.4 原则之间的相互作用28
1.5 Data Mesh概览29
1.6 数据29
1.7 起源31
第2章 领域所有权原则33
2.1 领域驱动设计简介34
2.2 把DDD战略应用到数据35
2.3 领域数据类型37
2.4 过渡到领域所有权40
2.5 回顾43
第3章 数据即产品原则45
3.1 把产品思维应用到数据中46
3.2 过渡到数据即产品56
3.3 回顾59
第4章 自助数据平台原则60
4.1 Data Mesh平台:比较和对比61
4.2 Data Mesh平台思维66
4.3 过渡到自助Data Mesh平台72
4.4 回顾75
第5章 联邦计算治理原则76
5.1 把系统思考应用到Data Mesh治理78
5.2 把联邦应用到治理模型83
5.3 把计算应用到治理模型89
5.4 过渡到联邦计算治理92
5.5 回顾94
第二部分 为什么需要Data Mesh
第6章 拐点99
6.1 数据的远大期望100
6.2 数据的巨大鸿沟102
6.3 规模化:新的遭遇103
6.4 超越秩序104
6.5 到达回报的平台期104
6.6 回顾105
第7章 拐点之后107
7.1 在复杂的业务中优雅地应对变化108
7.2 在增长的同时保持敏捷性112
7.3 提高数据对投资的价值比率115
7.4 回顾116
第8章 拐点之前119
8.1 分析型数据架构的演进119
8.2 分析型数据架构的特征123
8.3 回顾131
第三部分 如何设计Data Mesh架构
第9章 逻辑架构135
9.1 面向领域的分析型数据共享接口138
9.2 数据产品即架构量子140
9.3 多平面数据平台148
9.4 嵌入式计算策略151
9.5 回顾154
第10章 多平面数据平台架构157
10.1 设计一个由用户旅程驱动的平台159
10.2 数据产品开发者之旅160
10.3 数据产品消费者之旅168
10.4 回顾172
第四部分 如何设计数据产品架构
第11章 按可供性设计数据产品175
11.1 数据产品可供性176
11.2 数据产品架构特征178
11.3 受复杂适应性系统的简单性影响的设计179
11.4 回顾181
第12章 设计数据的消费、转换和服务182
12.1 提供数据182
12.2 消费数据195
12.3 转换数据202
12.4 回顾206
第13章 设计数据的发现、理解和组合207
13.1 发现,理解,信任,探索207
13.2 组合数据215
13.3 回顾224
第14章 设计数据的管理、治理和观测225
14.1 管理生命周期225
14.2 治理数据227
14.3 观测,调试,审计231
14.4 回顾234
第五部分 如何开始
第15章 战略和执行239
15.1 今天你应该采用Data Mesh吗239
15.2 Data Mesh作为数据战略的一部分242
15.3 Data Mesh执行框架245
15.4 回顾264
第16章 组织与文化265
16.1 变革267
16.2 文化268
16.3 奖励271
16.4 结构273
16.5 人员283
16.6 流程287
16.7 回顾289