昨天講平臺、今天變中臺,數據中臺都干了啥?

      后臺-系統設置-擴展變量-手機廣告位-內容正文頂部

      本文由微信公眾號【AI前線】原創(ID:ai-front),未經授權不得轉載

      作者:Tina


      AI 前線導讀:數據中臺火的很讓人不解,半年前還在炒概念,現在突然就看到各個企業都在宣傳自家的數據中臺了。這半年,大家熱衷于討論什么是“數據中臺”,并且還有“有一千個企業,就有一千個數據中臺”的說法,但實際上企業都有“共識”,我們采訪了多家企業,想給大家一個準確的“數據中臺”定義。  
       
       

      為解決數據煙囪而來

      中國企業的大數據發展大概經歷了三個階段。

      第一階段,是 2000 年之后的企業內部信息化 中國許多大型企業開啟了一波以數據庫、ERP 為主的底層 IT 建設,進行了初步的“業務數據化”建設 第二階段,是 2004 年到 2012 年 隨著 BAT 紛紛上市,互聯網經濟的崛起,讓數據思維深入各行各業,數據量慢慢壯大。第三階段是 2013 年之后,移動互聯網的發展,一些金融、零售等大型企業響應“互聯網+”概念,走向線上線下深度融合,這時數據服務的形式開始增多,業務維度更加復雜。

      將數據用起來,隨時隨地分析企業情況進行精細化運營,企業需要打通老一代 ERP、數據庫等 IT 系統,同時還需要應對業務增多且快速變動的情況。而且大企業之間各部門之間的數據往往都沒有“共享”,運用不同的開發隊伍開發平臺和工具的不統一,這時,數據服務往往就是一個個從各平臺伸出的 數據“煙囪”

      以前數據量少的時候,建數據煙囪是沒有問題的。但隨著數據越來越多,假如一個企業有數十個甚至上百個應用的時候,就會有有明顯的重復建設、資源浪費,甚至更嚴重的是因建設者不同而造成口徑標準都不一致。另一方面,數據量龐大的時候,增刪改查也會變得非常緩慢。“數據中臺”就是這樣隨需求而來的概念,希望存在一個提供公共的數據服務能力的地方,大家可以從這里快速獲取這些能力,來支撐新的數據應用,且各部門都能保持一致。

      袋鼠云 CEO 拖雷 說:“數據中臺可以理解為企業的最核心的數據大腦,企業全域的數據處理中心,是一種企業信息化的升級過程,從 過去的煙囪式(企業信息化 1.0)升級到現在的中臺式(企業信息化 2.0),1.0 時代,系統與數據都是割裂的,沒法發揮最大價值,在 2.0 時代,底層系統是共享的,微服務化的,中心化的,所有的應用,數據都采用服務化的方式來共享資源,最大化的提升靈活度與便捷性,隨著敏捷開發的普及,中臺思想也帶來快速的創新。”

      百分點程佳 回復我們:“數據中臺是一個集數據采集、融合、治理、組織管理、智能分析為一體,將數據以服務方式提供給前臺應用,以提升業務運行效率、持續促進業務創新為目標的整體平臺。幫企業把數據用起來,提升決策水平是對數據中臺的一個最基礎的要求。”

      網易嚴選魏文慶 則用了一個很形象的比喻:“打個比方,當我一家人要吃飯,我自己買菜,在自己的廚房用普通的廚具自己做就好了,如果是富士康,幾萬幾十萬人吃飯,就需要建食材的加工配送中心 (類比數據中臺)。本質上是需求規模量級的變化,導致解決方案的質變”。
       

      數據中臺和數據平臺有何不同?
       

      說起“中臺”我們必會提起馬云的 Supercell 之旅,很多人將一系列的“中臺”理念解讀為因地制宜的“中國產物”,而且在國外沒有“中臺”這種叫法,依然叫做“平臺化”能力。

      阿里的“中臺”火了之后,我們突然發現已有無數家“數據中臺”落地成果的企業,有些轉換完成似乎一瞬間。所以針對我們采訪的企業,每一家我們都追問了一個問題:“從之前的大數據平臺,轉變為建設數據中臺,這之間企業在研發或人員上做了哪些改變?”也有企業直接告訴我們,在數據中臺概念出現之前,就一直在按這種理念推進,甚至有的已經在此之前完成了相關平臺的設計與實踐工作,阿里帶火中臺理念后,于是就用上了這個詞。這些企業中,哪些可以被直接劃分到“數據中臺”行業中?

      是否有“公共模塊”是衡量企業是否有建立數據中臺的其中一個標準。

      帶火“中臺”概念的阿里,在實施數據中臺的時候,采用的是“數據中臺 + 業務中臺“的雙中臺形式來提供公共服務。在數據中臺里將數據業務化,來供業務中臺調用,以快速反饋結果。阿里謝純良 在接受 InfoQ 采訪時曾表示:“以阿里電商業務為例,用戶如果想買一個手機,在下單頁面會推薦手機殼、充電寶等其他相關并估計你感興趣的產品。但值得注意的是,業務中臺不知道你喜歡什么,需要根據用戶歷史記錄去分析。如果這個數據量非常龐大,現查是非常慢的,不可能瞬間就查到結果。于是阿里把數據業務化,將用戶在歷史庫里面的一堆數據做成一序列業務模型。這時在業務中臺里要查某一用戶喜歡什么時,它立馬能調出結果并反饋,這個反饋可能是毫秒級。這是數據中臺最大的魅力。”

      數瀾科技創始合伙人 &CDO 付登坡(天湛) 表示數據中臺是讓數據用起來的持續的一套機制,通過建立一套能共享服務的體系,基于數據運營機制形成的閉環路徑,經過業務數據化、數據資產化、資產服務化、服務業務化,在有權限管理的情況下開放出去,把可以復用的能力放在一起,用統一標準和口徑,向前臺業務部門和決策部門以 API 的方式提供數據和計算服務。比如說數瀾為這套機制建立的數棲平臺就是一套提供公共服務的“模塊”,數棲平臺的目標定位就是為了讓數據能夠更方便的使用,再加上一套方法論和運營機制,就是在建立數據中臺。“數瀾推動實施項目,有很多是盡量去復用已有的這個平臺,但是會增加一些東西,比如說數據的管理,標簽的管理,服務......”。

      數據中臺強調的是一種復用能力。很多企業的愿景都是“將數據用起來”,這也是數據平臺這些企業基礎設施的定位目標,如果再加上一些復用方法論和完善的運營機制,那么可我們就可以認為企業是在建設“數據中臺”。使用數據中臺的最明顯的效果就是提升開發效率,使用封裝好的工具平臺,降低開發難度,數據分析的速度會大大提高。
       

      數據中臺和數據平臺的關系
       

      魏文慶 給我們的解釋說,網易嚴選的定義是“數據中臺是高質量、高效賦能數據前臺的一系列數據系統和數據服務的組合”,無論是數據中臺、業務總臺、技術中臺,核心都是“標準化”,實現流程都是先“規范化”,然后把規范“產品化工具化”。數據中臺要通過“數據  中臺系統 ”( 包含 數 倉體系、數據服務集和 BI 平臺 ) 進行表達 ,打破數據管理經驗化的思維,用標準化、工具化來做數據。但中臺本身是業務相關的,價值是要數據產品對外輸出,需要通過數據產品(前臺)和數據中臺相輔相成進行發展。而數據平臺是業務無關的,為數據中臺提供存儲、計算能力。

      以前我們有各種數據治理的概念,達到制定數據政策、促進數據在組織內無障礙共享的目標,還有各種精準營銷、風控等企業業務,數據中臺與它們在技術上是否有本質上的區別?數瀾天湛 回答說:“技術上差別不大,主要是業務上前者多數更為垂直,用一部分的數據解決一個部門的業務的某一個痛點。比如說業務中臺的目標是理論上是對業務的一些資源共享,那么數據中臺就是為了數據資源共享,如果應用過于垂直,可能就達不到中臺的一個定義。所以它們最大的差別在于數據打通層面的范圍大小,和存在這種數據資源共享的理念。”


      數據中臺的實現形式
       

      袋鼠云拖雷 在回復我們的構建方法問題時說道:“數據中臺的構建并不復雜,你可以先構建業務中臺,再構建數據中臺,也可以直接構建數據中臺(類似構建數據倉庫)。主要的目的是把企業全域的數據放在一起,統一的加工處理,是一個面向未來的分布式,服務化的架構。”

      阿里謝純良在我們之前的采訪中 曾說,如果企業沒有業務中臺、只有數據中臺,那它加工的結果大部分是服務于大屏,就搞一個大屏就結束了,那么這個數據中臺就跟阿里理解的數據中臺差的還遠。

      我們看一下阿里的中臺,包括業務中臺,數據中臺。最底層是 IaaS+Data,中間是我們說的雙中臺,PaaS 層。上層是應用,SaaS,號稱小前臺。

      數據中臺的層次
       

      一個完整的數據平臺至少應該包含三層,即大數據計算平臺、數據中臺、數據應用前臺。

      中臺的定位是用技術鏈接計算平臺的數據處理能力,用數據鏈接應用前臺的數據應用能力。因此,中臺不但要將很復雜的大數據處理技術(流計算、批量計算、實時采集、離線采集、機器學習)封裝起來,形成計算平臺;同時,進入中臺的數據都需按照規范的建模方法論將數據形成主題域模型、形成標簽模型或者算法模型。這些數據模型是數據中臺的核心資產。接入數據中臺的各業務系統通過大數據計算平臺這座數據加工廠統一加工后產生數據模型,再將這些數據資產通過可視化的界面管理起來,并使用標準化的數據服務接口對數據應用端提供數據應用服務。

      下圖為一個比較典型的企業數據平臺全景圖:

      來自云徙科技
       

      雙中臺的互相作用
       

      云徙科技在構建數據中臺的時候同樣建立了雙中臺架構,云徙科技聯合創始人兼首席架構師陳新宇 解釋了雙中臺之間如何互相作用的:

      數據中臺與業務中臺并稱數字中臺。其中,業務中臺是負責支撐業務在線,將企業業務系統中通用的業務能力抽象成領域中心,使得這部分能力得到最大化的復用,支撐多端訪問、多種類似的場景。數據中臺是采用大數據存儲和處理技術,對海量數據根據統一標準進行采集、計算、存儲、加工處理,形成數據模型和數據資產,并通過數據服務提供給業務方使用。數據中臺與業務中臺最大的區別是業務中臺圍繞業務流程,而數據中臺一切以數據為主題進行運轉,包含數據采集、數據融合、數據建模、數據聚合分析、數據服務、數據資產治理;總之,前者旨在讓業務數據化,后者旨在讓數據業務化。

      一個比較完善的業務中臺幾乎囊括了企業的核心業務,因此,業務中臺是數據中臺的數據原材料提供者之一;業務中臺的領域中心是天然的主數據中心。因此,業務中臺輸出的數據更加標準、更加規范,大大降低數據中臺的數據清洗工作;同時,數據中臺經過數據建模形成的數據能力,必須與業務結合才能發揮其價值,那么業務中臺就是讓數據能力發揮價值的最合適的載體。通俗的說,如果將企業的信息化系統比喻成一輛自行車,那么業務中臺和數據中臺就是自行車的兩個輪子,兩個輪子通過數據這跟“鏈條”緊密聯系,發揮價值,離開哪一個輪子,信息化系統這輛自行車都無法正常行駛。再舉一個例子,業務中臺是炮火,數據中臺是雷達。雷達分析的數據來源是業務中臺,分析結果通過業務中臺對業務產生反饋,從而采取業務活動,才是一切業務數據化,一切數據業務化。業務中臺和數據中臺是由于采用的技術手段不同而產生了相對隔離,但從業務的角度,他們是一體的,一起為企業業務服務的。

      數瀾天湛 給我們解釋,目前業界現狀是雙中臺,數據在數據中臺中變成一種數據服務,在業務中臺里去使用,未來可能會模糊化業務中臺跟數據中臺。因為數據服務的使用會變成一個常態,大家覺得很自然的可以使用數據能力。那時業務中臺跟數據中臺,可能邊界就會模糊,就變成一個中臺和一個前臺,前臺是各種業務的觸點,中臺是公共能力。
       

      構建數據中臺需要的能力
       

      一位前阿里技術專家曾跟我們聊到說,一個淘寶網,可以有一千萬家店,企業里有很多的公共的資源可以通過中臺共享,但阿里內部以前它叫“企業互聯網架構”,但因為中臺這個詞火了,不得已就用“中臺”來代替了。那么數據中臺的出現,是不是還是在考驗“架構”的設計和系統工程能力?如果一開始,架構做的好,是不是這些問題會隨著架構設計而被解決呢?

      袋鼠云拖雷 回答說:“數據中臺是一種理念,一種思維,是架構的升級,是一種面向未來的架構。”

      數瀾天湛 表示:“肯定是一種架構能力。數據中臺本身是一套非常復雜的體系,平臺工具本身架構設計能力要求也非常高。但也不僅僅是架構,也不僅僅是產品,架構師和產品經理都推動不了,數據中臺是一個頂層戰略,數據中臺涉及業務運轉方式的改變,必須有足夠的推力才能啟動。是企業的一把手工程,是一個企業級戰略,需要管理層、業務團隊、技術團隊、數據團隊全部參與進來,目標是實現經營的數據化、精細化,實現企業的數字化轉型。數據科學團隊是數據中臺的深入參與者,但也僅僅是多個角色的其中一個。”

      中臺建設需要有全員共識,由管理層從上往下推進,由技術和業務人員去執行和落地,是個漫長的過程,所以實施數據中臺時,最困難的地方就是需要推動力。比如在中國有各種“數據墻”,大家都覺得數據有價值,也沒有發揮這個價值,但是對數據又保護的很緊。為了解決某一塊的業務,需要去拿多個部門的數據,有時甚至涉及到幾十個部門,最初可能馬上得到口頭上的應允,但最后真正拿到數據卻很困難,這時候推動力決定了整個項目的進展。天湛表示這通常就是數據中臺項目實施中涉及到的最大的坑。

      實施數據中臺,在團隊人員建設上,對數據科學平臺團隊的要求和原來并沒有什么不同,袋鼠云拖雷回復我們,“只是體系架構的變化,思維的變化,隨著服務化與敏捷模式的普及,創新會變得越來越快“。


      避不開的數據中臺
       

      就像我們前面所說的,數據中臺最重要的是要“幫企業把數據用起來,提升決策水平”,是一種數據思維。那么每一個企業都應該有這種思維,重視信息化技術,讓數據發揮價值。不單單是因為業務復雜、數據量大、需要數字化轉型的原因,是從業務開始就應該具備的一種理念。袋鼠云拖雷也說:“未來任何企業都是必須的,未來任何一家企業都是數據化的企業,都需要一個數據中臺”。


      原文鏈接:https://mp.weixin.qq.com/s/y8o86UVuQM5cfjGXcPKSkg

      未經允許不得轉載:RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 昨天講平臺、今天變中臺,數據中臺都干了啥?

      后臺-系統設置-擴展變量-手機廣告位-內容正文底部
      主站蜘蛛池模板: 永昌县| 通辽市| 高清| 本溪| 略阳县| 奎屯市| 涿州市| 南澳县| 大宁县| 罗山县| 广州市| 翁牛特旗| 舞阳县| 衡阳县| 疏附县| 辽阳市| 乐陵市| 云阳县| 巴南区| 盘山县| 黄浦区| 文化| 涿鹿县| 聂荣县| 仙居县| 天祝| 襄城县| 阜平县| 星子县| 屏边| 平湖市| 新津县| 图片| 林甸县| 三门峡市| 临夏市| 贺兰县| 健康| 新和县| 汉中市| 微博|