正文

數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的區(qū)別（數(shù)據(jù)中臺(tái)與數(shù)據(jù)湖的區(qū)別）

發(fā)布時(shí)間：2023-03-25 08:08:37 稿源：創(chuàng)意嶺閱讀： 353 問(wèn)大家

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的區(qū)別的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com

如需咨詢(xún)小紅書(shū)相關(guān)業(yè)務(wù)請(qǐng)撥打175-8598-2043，或微信：1454722008

本文目錄:

1、分布式數(shù)據(jù)平臺(tái)Data Mesh
2、數(shù)據(jù)中臺(tái)與AI中臺(tái)有什么關(guān)系？
3、數(shù)據(jù)中臺(tái)是什么意思
4、什么是數(shù)據(jù)中臺(tái)?

數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的區(qū)別（數(shù)據(jù)中臺(tái)與數(shù)據(jù)湖的區(qū)別）

一、分布式數(shù)據(jù)平臺(tái)Data Mesh

自 2010 年左右興起到現(xiàn)在，微服務(wù)（Microservices）已經(jīng)成為事實(shí)上的軟件架構(gòu)范式，被企業(yè)廣泛采用，并引發(fā)了圍繞面向領(lǐng)域設(shè)計(jì)模式優(yōu)缺點(diǎn)的激烈討論。如今，這股浪潮開(kāi)始席卷數(shù)據(jù)領(lǐng)域。

Data Mesh 是一種基于領(lǐng)域驅(qū)動(dòng)和自服務(wù)的數(shù)據(jù)架構(gòu)設(shè)計(jì)新模式，借鑒了微服務(wù)和 Service Mesh 的分布式架構(gòu)思想，最初源于 ThoughtWorks 首席技術(shù)顧問(wèn) Zhamak Dehghani 發(fā)表在 MartinFowler 官網(wǎng)上的兩篇文章《How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh》和《Data Mesh Principles and Logical Architecture》。

ThoughtWorks 在 2020 年 10 月發(fā)布的技術(shù)雷達(dá)中，將 Data Mesh 從“評(píng)估”調(diào)升到了“試驗(yàn)”（ThoughtWorks 對(duì)“試驗(yàn)”階段的技術(shù)的建議是：“值得一試。了解為何要構(gòu)建這一能力是很重要的。企業(yè)應(yīng)當(dāng)在風(fēng)險(xiǎn)可控的前提下在項(xiàng)目中嘗試應(yīng)用此項(xiàng)技術(shù)?！保?，這意味著 Data Mesh 已經(jīng)通過(guò)可行性驗(yàn)證，轉(zhuǎn)而進(jìn)入建議采納階段。據(jù)了解，包括 Zalando、Intuit、Netflix、JPMorgan Chase 等公司都已經(jīng)在嘗試實(shí)踐 Data Mesh 這個(gè)概念。

但對(duì)于國(guó)內(nèi)開(kāi)發(fā)者來(lái)說(shuō)，很多人聽(tīng)過(guò) Service Mesh，甚至有不少人已經(jīng)在實(shí)踐 Service Mesh 了，對(duì) Data Mesh 卻知之甚少。圍繞 Data Mesh 的理念和架構(gòu)設(shè)計(jì)、它能解決現(xiàn)有數(shù)據(jù)架構(gòu)的哪些問(wèn)題、現(xiàn)在是不是采用 Data Mesh 的好時(shí)機(jī)等話題，InfoQ 記者在 2021 ThoughtWorks 技術(shù)雷達(dá)峰會(huì)現(xiàn)場(chǎng)采訪了 ThoughtWorks 數(shù)據(jù)智能團(tuán)隊(duì)技術(shù)負(fù)責(zé)白發(fā)川，一探 Data Mesh 究竟。

1從微服務(wù)的視角看數(shù)據(jù)架構(gòu)

沒(méi)有一個(gè)概念是無(wú)緣無(wú)故憑空冒出來(lái)的，Data Mesh 的誕生也是基于對(duì)企業(yè)數(shù)據(jù)平臺(tái)架構(gòu)現(xiàn)狀和弊端的反思而提出來(lái)的。

企業(yè)數(shù)據(jù)平臺(tái)的演進(jìn)大致可以分為三個(gè)重要階段：

第一階段，專(zhuān)有的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能平臺(tái)；第二階段，以數(shù)據(jù)湖為代表的大數(shù)據(jù)生態(tài)系統(tǒng)；第三階段，云上數(shù)據(jù)平臺(tái)，也是當(dāng)前主流的混合實(shí)踐模式，包含實(shí)時(shí)數(shù)據(jù)流處理架構(gòu)、整合批處理與流處理的框架，以及完全采用基于云的存儲(chǔ)托管服務(wù)、數(shù)據(jù)流水線執(zhí)行引擎和機(jī)器學(xué)習(xí)平臺(tái)。而這些數(shù)據(jù)平臺(tái)架構(gòu)存在一些共性的挑戰(zhàn)：

難以啟動(dòng)：缺少用例支持，無(wú)法獲得業(yè)務(wù)支持；長(zhǎng)時(shí)間的數(shù)據(jù)湖設(shè)計(jì)與技術(shù)評(píng)估；需要統(tǒng)一組織內(nèi)多個(gè)業(yè)務(wù)或技術(shù)部門(mén)；數(shù)據(jù)源難以規(guī)?；喝鄙偈侄螌?duì)錯(cuò)綜復(fù)雜的源數(shù)據(jù)系統(tǒng)進(jìn)行疏浚與管理；難以跟上不斷增長(zhǎng)的數(shù)據(jù)源系統(tǒng)規(guī)模；數(shù)據(jù)消費(fèi)難以規(guī)?；簲?shù)據(jù)平臺(tái)項(xiàng)目跟不上企業(yè)創(chuàng)新要求；用例過(guò)窄，難以滿足規(guī)?；枨?；平臺(tái)能力跟不上錯(cuò)綜復(fù)雜的用例需求；數(shù)據(jù)難以商業(yè)化：極高的開(kāi)發(fā)和運(yùn)營(yíng)成本；難以將數(shù)據(jù)平臺(tái)真正轉(zhuǎn)化為商業(yè)競(jìng)爭(zhēng)力；難以形成創(chuàng)新文化。這背后的根本原因在于，從業(yè)務(wù)的視角來(lái)看，企業(yè)數(shù)據(jù)平臺(tái)架構(gòu)從第一到第三階段的演進(jìn)其實(shí)一直延續(xù)著黑盒、集中式、單體架構(gòu)的核心模式，由獨(dú)立且專(zhuān)業(yè)化的數(shù)據(jù)工程師團(tuán)隊(duì)維護(hù)，業(yè)務(wù)方的可操控性非常弱，數(shù)據(jù)團(tuán)隊(duì)很容易成為響應(yīng)的瓶頸。

實(shí)際上，當(dāng)前數(shù)據(jù)架構(gòu)面臨的挑戰(zhàn)，與微服務(wù)架構(gòu)之前的單體軟件所面臨的挑戰(zhàn)非常類(lèi)似：

基礎(chǔ)設(shè)施法響應(yīng)業(yè)務(wù)彈性需求：?jiǎn)误w數(shù)據(jù)架構(gòu)下，基礎(chǔ)設(shè)施資源所有業(yè)務(wù)共享，進(jìn)集中式的管理和維護(hù)，法基于業(yè)務(wù)需求靈活進(jìn)資源調(diào)整；數(shù)據(jù)商業(yè)化成本：加數(shù)據(jù)以產(chǎn)品思路對(duì)數(shù)據(jù)進(jìn)處理，因此部分?jǐn)?shù)據(jù)處理結(jié)果集法以商品的形式度量其業(yè)務(wù)價(jià)值；數(shù)據(jù)處理流線復(fù)成本：每個(gè)數(shù)據(jù)流線為獨(dú)的數(shù)據(jù)作空間上下，跨流線的數(shù)據(jù)結(jié)果或者中間結(jié)果需要進(jìn)復(fù)時(shí)成本較，難度較；數(shù)據(jù)處理成本較：?jiǎn)误w數(shù)據(jù)架構(gòu)模式下，部分的數(shù)據(jù)處理作進(jìn)集中統(tǒng)管理，在涉及更多業(yè)務(wù)場(chǎng)景持、更多團(tuán)隊(duì)協(xié)作下，數(shù)據(jù)處理的成本較。Data Mesh 試圖基于微服務(wù)的架構(gòu)思想設(shè)計(jì)數(shù)據(jù)架構(gòu)，來(lái)解決上述問(wèn)題。

2Data Mesh 核心思路和架構(gòu)邏輯

Data Mesh 實(shí)際上是一組數(shù)據(jù)平臺(tái)架構(gòu)原則，融合了分布式領(lǐng)域驅(qū)動(dòng)的架構(gòu)（Distributed Domain Driven Architecture）、自助平臺(tái)設(shè)計(jì)（Self-serve Platform Design）以及將數(shù)據(jù)視為產(chǎn)品（Thinking Data as a Product）的思維。

有別于數(shù)據(jù)倉(cāng)庫(kù) / 數(shù)據(jù)湖的集中式單體架構(gòu)，Data Mesh 是高度分散的數(shù)據(jù)架構(gòu)。

對(duì)于 Data Mesh 的核心設(shè)計(jì)思路，白發(fā)川將其總結(jié)為以下幾點(diǎn)：

從業(yè)務(wù)域視角出發(fā)，將業(yè)務(wù)解耦之后映射到數(shù)據(jù)視角，再將數(shù)據(jù)解耦，減少數(shù)據(jù)冗余度；將數(shù)據(jù)作為產(chǎn)品，使數(shù)據(jù)服務(wù)端到端完備，就像一個(gè)微服務(wù)一樣，可以被直接訪問(wèn)和調(diào)用；自服務(wù)的基礎(chǔ)設(shè)施，微服務(wù)的成功很大程度上歸功于它有非常成熟的基礎(chǔ)設(shè)施，比如 Spring Cloud、K8s 等，而數(shù)據(jù)的基礎(chǔ)設(shè)施相對(duì)于微服務(wù)的成熟架構(gòu)還有所缺失，這也是未來(lái)需要持續(xù)發(fā)力的地方；生態(tài)治理，站在消費(fèi)者使用數(shù)據(jù)的業(yè)務(wù)鏈調(diào)用看數(shù)據(jù)是怎么被消費(fèi)的，制定數(shù)據(jù)治理規(guī)范，讓數(shù)據(jù)更為透明和易于使用；通過(guò)網(wǎng)格編排的思想設(shè)計(jì)數(shù)據(jù)走向，使數(shù)據(jù)產(chǎn)品能夠支持不同模塊、不同域的銜接。

在 Data Mesh 架構(gòu)下，治理的始終是具有業(yè)務(wù)價(jià)值的數(shù)據(jù)服務(wù)，而不是一個(gè)個(gè)的原始數(shù)據(jù)文件。Data Mesh 的架構(gòu)邏輯如上圖：底層需要可自服務(wù)的數(shù)據(jù)基礎(chǔ)設(shè)施，至少具備穩(wěn)定性和可伸縮性?xún)身?xiàng)能力；基礎(chǔ)設(shè)施之上，面向域構(gòu)建一個(gè)個(gè)端到端的數(shù)據(jù)消費(fèi)服務(wù)提供給上層業(yè)務(wù)，可以認(rèn)為每一個(gè)服務(wù)對(duì)應(yīng)的就是一個(gè)數(shù)據(jù)產(chǎn)品，比如某個(gè)數(shù)據(jù)倉(cāng)庫(kù)可能抽象成 Data Mesh 中的一個(gè) Data Service，每一個(gè) Data Service 會(huì)包含算力、存儲(chǔ)和服務(wù)這三項(xiàng)。不同的數(shù)據(jù)服務(wù)之間會(huì)有一個(gè)數(shù)據(jù)服務(wù)注冊(cè)和調(diào)度中心，可以讓不同的 Data Service 形成業(yè)務(wù)所需要的一系列數(shù)據(jù)服務(wù)編排。另外，圍繞數(shù)據(jù)服務(wù)中心會(huì)形成數(shù)據(jù)授信訪問(wèn)申請(qǐng)、元數(shù)據(jù)管理、數(shù)據(jù)服務(wù)管理等一系列能力。

如果從軟件架構(gòu)的視角來(lái)理解 Data Mesh，則微服務(wù)映射過(guò)來(lái)就是 Data Service，基于微服務(wù)編排設(shè)計(jì)出來(lái)的 Application 映射過(guò)來(lái)就是 Data Product，基于很多 Application 編排生成的網(wǎng)格 Service Mesh 映射過(guò)來(lái)就是 Data Mesh。

Data Mesh 目前有兩種落地形態(tài)，一種是閉環(huán)服務(wù)，也就是一個(gè)平臺(tái)提供工具的同時(shí)還提供結(jié)果管理服務(wù)，并且只能在平臺(tái)內(nèi)部完成全生命周期的管理，即 Data as a Service；另一種形態(tài)則是平臺(tái)提供數(shù)據(jù)和工具能力，但是工具能力為可選項(xiàng)，業(yè)務(wù)可以使用自己的工具，也可以使用平臺(tái)的工具，即 Data Platform as a Service。

3會(huì)改變數(shù)據(jù)團(tuán)隊(duì)的工作嗎？

同為大數(shù)據(jù)領(lǐng)域近幾年誕生的新概念，Data Mesh、數(shù)據(jù)中臺(tái)、湖倉(cāng)一體可能會(huì)讓很多人感到困惑：這三者有什么本質(zhì)區(qū)別呢？

針對(duì) Data Mesh 和數(shù)據(jù)中臺(tái)的區(qū)別，白發(fā)川認(rèn)為，數(shù)據(jù)中臺(tái)是一個(gè)概念而非架構(gòu)形態(tài)，它更多強(qiáng)調(diào)的是站在業(yè)務(wù)視角思考企業(yè)數(shù)據(jù)消費(fèi)的形態(tài)，在通過(guò)數(shù)據(jù)中臺(tái)理念梳理完數(shù)據(jù)的消費(fèi)模式、業(yè)務(wù)場(chǎng)景之后，最終還需要用一個(gè)架構(gòu)來(lái)承載和實(shí)現(xiàn)。而 Data Mesh 可以作為數(shù)據(jù)中臺(tái)的一種實(shí)踐形態(tài)。

針對(duì) Data Mesh 和湖倉(cāng)一體的區(qū)別，白發(fā)川則表示，湖倉(cāng)一體主要是基于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖這樣的成熟架構(gòu)做整合，從體驗(yàn)和交互上來(lái)說(shuō)減少了做一件事情需要完成的步驟，屬于優(yōu)化式架構(gòu)，但它解決的問(wèn)題只在于技術(shù)維度，解決不了業(yè)務(wù)團(tuán)隊(duì)瓶頸問(wèn)題，也解決不了基礎(chǔ)設(shè)施和業(yè)務(wù)解耦的問(wèn)題。而 Data Mesh 首先從基礎(chǔ)設(shè)施層面對(duì)架構(gòu)做了一些調(diào)整，同時(shí)還定義了在這個(gè)架構(gòu)下的團(tuán)隊(duì)分工協(xié)作。從架構(gòu)層面來(lái)看，數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、湖倉(cāng)一體跟 Data Mesh 實(shí)際上是可以并存的，而非對(duì)立或替代關(guān)系，在 Data Mesh 架構(gòu)中，數(shù)據(jù)湖、數(shù)倉(cāng)可能被包含在一個(gè)個(gè) Data Service 中。

從另一個(gè)維度來(lái)看，數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)或者湖倉(cāng)一體架構(gòu)的主要受眾是企業(yè)的數(shù)據(jù)團(tuán)隊(duì)，只有數(shù)據(jù)團(tuán)隊(duì)需要關(guān)注這些架構(gòu)。但 Data Mesh 的受眾是數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)，他們都需要關(guān)心這個(gè)架構(gòu)，這也是一個(gè)明顯的差別。

Data Mesh 將數(shù)據(jù)所有權(quán)上移給了負(fù)責(zé)某一項(xiàng)功能的業(yè)務(wù)團(tuán)隊(duì)，他們可以按照自己更便于使用的方式去創(chuàng)建、接觸元數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行分類(lèi)和存儲(chǔ)。對(duì)應(yīng) Data Mesh 的架構(gòu)來(lái)看，業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)創(chuàng)建自己需要的 Data Service，而數(shù)據(jù)團(tuán)隊(duì)的工作更聚焦于底層數(shù)據(jù)基礎(chǔ)設(shè)施，包括為 Data Service 初始化工作空間、將云廠商的組件和企業(yè)自己的底層平臺(tái)能力組合包裝成業(yè)務(wù)可用的方式（可以理解為迷你版的云）、Data Service 之間的調(diào)用能力封裝等等。

這是否意味著 Data Mesh 改變了企業(yè)數(shù)據(jù)團(tuán)隊(duì)原有的工作內(nèi)容呢？

白發(fā)川對(duì)此給出了否定答案，他認(rèn)為，現(xiàn)在很多行業(yè)都在談數(shù)字化轉(zhuǎn)型，但當(dāng)企業(yè)說(shuō)數(shù)字化轉(zhuǎn)型的時(shí)候，通常發(fā)生改變的只有數(shù)據(jù)團(tuán)隊(duì)，而業(yè)務(wù)團(tuán)隊(duì)卻不受影響，這是有問(wèn)題的。數(shù)字化并不等于數(shù)字團(tuán)隊(duì)，Data Mesh 實(shí)際上更好地定義了，當(dāng)企業(yè)需要數(shù)據(jù)能力的時(shí)候，業(yè)務(wù)團(tuán)隊(duì)?wèi)?yīng)該做什么樣的改變。原來(lái)大家會(huì)籠統(tǒng)地認(rèn)為凡是數(shù)據(jù)相關(guān)的都由數(shù)據(jù)團(tuán)隊(duì)做，導(dǎo)致整個(gè)數(shù)據(jù)團(tuán)隊(duì)從基礎(chǔ)設(shè)施到業(yè)務(wù)完全耦合在一起。Data Mesh 其實(shí)是把數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)的職責(zé)邊界做了更清晰的劃分，使數(shù)據(jù)團(tuán)隊(duì)的職責(zé)更加聚焦和精簡(jiǎn)，從技術(shù)角度看對(duì)數(shù)據(jù)團(tuán)隊(duì)當(dāng)前的工作不會(huì)有特別大的影響。不過(guò)過(guò)程中可能會(huì)涉及到一些人員的調(diào)整，比如原來(lái)數(shù)據(jù)團(tuán)隊(duì)中負(fù)責(zé)業(yè)務(wù)相關(guān)數(shù)據(jù)分析工作的人員會(huì)直接劃到業(yè)務(wù)團(tuán)隊(duì)去，而關(guān)注業(yè)務(wù)無(wú)關(guān)的基礎(chǔ)設(shè)施的人員則繼續(xù)留在數(shù)據(jù)團(tuán)隊(duì)中。

4現(xiàn)在是采用 Data Mesh 的好時(shí)機(jī)嗎？

前文提到，包括 Zalando、Intuit、Netflix、JPMorgan Chase 等公司都已經(jīng)在嘗試實(shí)踐 Data Mesh，但 Data Mesh 還不是一個(gè)適合所有企業(yè)廣泛采納的架構(gòu)模式。盡管 ThoughtWorks 推薦“采納”Data Mesh，但這一推薦有一個(gè)重要前提，即“風(fēng)險(xiǎn)可控”。

白發(fā)川表示，當(dāng)下企業(yè)落地 Data Mesh 主要的難點(diǎn)和風(fēng)險(xiǎn)可以從兩個(gè)角度來(lái)看：一是規(guī)劃視角，需要評(píng)估對(duì)數(shù)據(jù)架構(gòu)做改造的投入產(chǎn)出比；二是技術(shù)視角，過(guò)去從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)湖的轉(zhuǎn)變可以認(rèn)為是替代式架構(gòu)（不是從數(shù)據(jù)倉(cāng)庫(kù)演進(jìn)到數(shù)據(jù)湖，而是造一個(gè)全新的），而 Data Mesh 屬于演進(jìn)式架構(gòu)，改造的模式和設(shè)計(jì)的思維方式都與從前不同，目前行業(yè)內(nèi)在大數(shù)據(jù)演進(jìn)式架構(gòu)改造的人才和經(jīng)驗(yàn)方面相對(duì)都是有缺失的。

其中，性?xún)r(jià)比是企業(yè)在考慮是否采用 Data Mesh 時(shí)首先要考慮的。不管是微服務(wù)也好，Data Mesh 也好，都存在一個(gè)最基本的底線成本。回顧前文提過(guò)的 Data Mesh 架構(gòu)，它需要基于底層彈性基礎(chǔ)設(shè)施來(lái)打造，可以認(rèn)為云是做 Data Mesh 的起點(diǎn)，如果企業(yè)當(dāng)前的數(shù)據(jù)架構(gòu)不是基于云來(lái)做的，那從當(dāng)前架構(gòu)迭代到 Data Mesh 架構(gòu)的過(guò)程中就需要更多改造步驟，比如要先做彈性化改造，這樣初步投入的成本就會(huì)變高。此外，構(gòu)建 Data Mesh 需要的投資還包括構(gòu)建自服務(wù)的數(shù)據(jù)平臺(tái)、支持對(duì)領(lǐng)域進(jìn)行組織結(jié)構(gòu)變更以長(zhǎng)期維護(hù)其數(shù)據(jù)產(chǎn)品，以及一個(gè)激勵(lì)機(jī)制，來(lái)獎(jiǎng)勵(lì)將數(shù)據(jù)作為產(chǎn)品提供和使用的領(lǐng)域團(tuán)隊(duì)等等。如果企業(yè)衡量改造的投入產(chǎn)出比之后，發(fā)現(xiàn)收益無(wú)法超過(guò)成本，可能 Data Mesh 就不適合。

除了考慮性?xún)r(jià)比問(wèn)題，白發(fā)川建議企業(yè)基于三個(gè)維度來(lái)評(píng)估自己是否應(yīng)該采用 Data Mesh，分別是規(guī)模化、常態(tài)化和高門(mén)檻。其中，規(guī)?；傅氖瞧髽I(yè)存在大量的領(lǐng)域且數(shù)據(jù)接入、數(shù)據(jù)消費(fèi)規(guī)模都非常龐大，比如有大量產(chǎn)生數(shù)據(jù)的系統(tǒng)和團(tuán)隊(duì)，或者多種數(shù)據(jù)驅(qū)動(dòng)的用戶場(chǎng)景和訪問(wèn)模式；常態(tài)化指的是數(shù)據(jù)的使用頻率很高，而不是一次性的；高門(mén)檻指的是企業(yè)需要非常精通大數(shù)據(jù)的技術(shù)人員來(lái)駕馭自己的數(shù)據(jù)架構(gòu)。如果這三點(diǎn)都符合，就意味著企業(yè)需要考慮數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)之間的分工問(wèn)題了，Data Mesh 可能是一個(gè)解決辦法。同時(shí)企業(yè)也需要結(jié)合自身的業(yè)務(wù)現(xiàn)狀來(lái)評(píng)估，如果企業(yè)已經(jīng)做了數(shù)據(jù)倉(cāng)庫(kù)、做了數(shù)據(jù)湖，但在前述三個(gè)維度下業(yè)務(wù)仍然出現(xiàn)了明顯的不可工作或協(xié)作瓶頸導(dǎo)致數(shù)據(jù)平臺(tái)跟不上業(yè)務(wù)發(fā)展節(jié)奏，那這可能就是一個(gè)考慮采用 Data Mesh 的比較好的時(shí)機(jī)點(diǎn)；反之，如果業(yè)務(wù)本身毫無(wú)問(wèn)題，也就沒(méi)有改造的必要了。

據(jù)白發(fā)川介紹，目前國(guó)內(nèi)外有很多企業(yè)都已經(jīng)在嘗試實(shí)踐 Data Mesh 的架構(gòu)理念，尤其是一些數(shù)據(jù)規(guī)模特別龐大的企業(yè)，他們已經(jīng)碰到集中式單體數(shù)據(jù)架構(gòu)的瓶頸，開(kāi)始探索向面向域的分布式數(shù)據(jù)架構(gòu)轉(zhuǎn)變以解決問(wèn)題，只是他們可能沒(méi)有將這個(gè)概念抽象總結(jié)成 Data Mesh。

當(dāng)提及 Data Mesh 未來(lái)應(yīng)用推廣道路上可能遇到的挑戰(zhàn)時(shí)，白發(fā)川特別強(qiáng)調(diào)了組織架構(gòu)方面可能存在挑戰(zhàn)。如前文所述，Data Mesh 并不僅針對(duì)數(shù)據(jù)團(tuán)隊(duì)，也不是數(shù)據(jù)團(tuán)隊(duì)單獨(dú)就能做好的，它其實(shí)對(duì)應(yīng)探討的是在企業(yè)的業(yè)務(wù)上下文里面一種比較好的協(xié)作方式是什么樣子的，需要幾個(gè)團(tuán)隊(duì)承擔(dān)什么職責(zé)才能做好這件事，并延伸到現(xiàn)有的團(tuán)隊(duì)需要做什么樣的調(diào)整，以及在這樣的調(diào)整下需要一套什么樣的基礎(chǔ)設(shè)施或軟件來(lái)支持他們的工作。在白發(fā)川看來(lái)，數(shù)據(jù)中臺(tái)、Data Mesh 都屬于所謂的“CXO 工程”，Data Mesh 也需要企業(yè)自頂向下達(dá)成共識(shí)、形成決策并通過(guò)組織結(jié)構(gòu)調(diào)整提供支持，否則可能也會(huì)遭遇類(lèi)似于中臺(tái)戰(zhàn)略無(wú)法在企業(yè)順利落地的窘境。

Data Mesh 標(biāo)志著大規(guī)模數(shù)據(jù)分析架構(gòu)和組織范式的轉(zhuǎn)變，但要加速 Data Mesh 的實(shí)現(xiàn)，在開(kāi)源或商業(yè)工具上仍存在巨大的缺口。對(duì)比微服務(wù)有 K8s，Service Mesh 有 Istio、Linkerd，目前還沒(méi)有一款合適的工具可以幫助企業(yè)快速應(yīng)用 Data Mesh。雖然使用現(xiàn)有技術(shù)作為基本構(gòu)建塊也是可行的，但在成熟的基礎(chǔ)設(shè)施工具出現(xiàn)之前，很多企業(yè)可能還是會(huì)選擇繼續(xù)觀望。

From https://baijiahao.baidu.com/s?id=1701002572280097452&wfr=spider&for=pc

二、數(shù)據(jù)中臺(tái)與AI中臺(tái)有什么關(guān)系？

AI中臺(tái)是數(shù)據(jù)中臺(tái)未來(lái)發(fā)展的重要趨勢(shì)。隨著企業(yè)業(yè)務(wù)技術(shù)的發(fā)展，數(shù)據(jù)中臺(tái)會(huì)向著AI中臺(tái)方向演進(jìn)，它圍繞智能化服務(wù)為核心，并依賴(lài)于數(shù)據(jù)中臺(tái)提供給它數(shù)據(jù)服務(wù)的能力，而智能化的技術(shù)開(kāi)發(fā)能力，又能夠提供給數(shù)據(jù)更便捷和快速的數(shù)據(jù)分析和預(yù)測(cè)，從而提供更好的數(shù)據(jù)服務(wù)。

三、數(shù)據(jù)中臺(tái)是什么意思

數(shù)據(jù)組織形式。

如果從比較學(xué)術(shù)的定義上來(lái)講，數(shù)據(jù)中臺(tái)是一種數(shù)據(jù)組織形式，通過(guò)對(duì)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)整合，以一套完整的數(shù)據(jù)產(chǎn)品，為企業(yè)構(gòu)建一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制。

而如果用通俗的話來(lái)講，數(shù)據(jù)中臺(tái)就是一個(gè)將企業(yè)內(nèi)部分散在各處的數(shù)據(jù)都用起來(lái)，從而進(jìn)行整體利用，最常見(jiàn)的例子就是我們將用戶在不同業(yè)務(wù)線中的使用行為進(jìn)行合并，從而得到一個(gè)完整的用戶人畫(huà)像。

四、什么是數(shù)據(jù)中臺(tái)?

數(shù)據(jù)中臺(tái)是在政企數(shù)字化轉(zhuǎn)型過(guò)程中，對(duì)各業(yè)務(wù)單元業(yè)務(wù)與數(shù)據(jù)的沉淀，構(gòu)建包括數(shù)據(jù)技術(shù)、數(shù)據(jù)治理、數(shù)據(jù)運(yùn)營(yíng)等數(shù)據(jù)建設(shè)、管理、使用體系，實(shí)現(xiàn)數(shù)據(jù)賦能。數(shù)據(jù)中臺(tái)，是新型信息化應(yīng)用框架體系中的核心。

數(shù)據(jù)中臺(tái)被譽(yù)為大數(shù)據(jù)的下一站，由阿里興起，核心思想是數(shù)據(jù)共享，并在 2018 年因?yàn)椤膀v訊數(shù)據(jù)中臺(tái)論”再度成為了人們談?wù)摰慕裹c(diǎn)。

相關(guān)信息

在數(shù)據(jù)開(kāi)發(fā)中，核心數(shù)據(jù)模型的變化是相對(duì)緩慢的，同時(shí)，對(duì)數(shù)據(jù)進(jìn)行維護(hù)的工作量也非常大；但業(yè)務(wù)創(chuàng)新的速度、對(duì)數(shù)據(jù)提出的需求的變化，是非?？焖俚?。

數(shù)據(jù)中臺(tái)具備業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)服務(wù)化、服務(wù)業(yè)務(wù)化的能力，為企業(yè)生態(tài)內(nèi)外員工、客戶、合作伙伴提供數(shù)據(jù)生命周期的一系列服務(wù)以及一站式全鏈路解決方案。

以上就是關(guān)于數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的區(qū)別相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢(xún)，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。