信息及數據的收集及處理自古有之，幾千年來變化不大，直到個人電腦的普及才開始出現了極其微妙的改變。首先是帶動着數據化的領先企業包括Google、Amazon、Facebook及中國的BAT,然後是移動應用和人工智能所引起的智能熱潮。再加上物聯網的加入，讓我們在不知不覺之間每天都在生産着數據，甚至消費着數據。可以說，幾乎全民都參與在大數據的生命周期之中。大數據的組成和幾年前很不一樣，因為需求的細分及終端的發達變得越來越零散。同時數據安全的規管也改變了大家分享數據的形式及難度，彙聚數據的成本正在不斷提高。但是我們都知道大數據的核心價值來自分享，經過數據的分享增加了預判及還原現實的可能性。所以成本效應成為了企業及政府機構數據化的絆腳石。
如今企業都意識到數據是重要的資産，也意識到有效數據治理是數據資産化的前提，近年本人在國内做市政府和一些互聯網企業的咨詢專家及顧問，都涉及到如何建立橫向的數據治理系統。這個經驗最早來自阿裡巴巴，當時在企業飛速的發展過程中，我們發現數據使用面臨着如下挑戰：
—各部門低水平重複開發數據集，浪費大量的存儲和計算資源；
—數據資源缺乏沉澱機制，導緻計算能力的提升和進化非常低效；
—數據割據，算法分離，帶來混亂和質量的不确定性；
—業務變更時，數據及數據産品反應不及時；
—組織架構制約了數據的共建和共享，缺乏标準及激勵機制。
經過内部總結發現，數據的“彙管用”過程中伴随着三個現象特點：數字業務變化速度非常快、數據處理技術及方法都很類似、數據及算法中間層能産生巨大效能。因此，做好數據治理工作成為當時筆者在阿裡巴巴的主要任務，也随之誕生了阿裡數據中台。
無獨有偶，企業内的一些數據治理問題，在各地的政府機構内部也在重複發生。在缺乏頂層設計之下，數字化步伐都在追随各個職能部門的發展，數據體系也是基于業務單元垂直積累，從而形成了煙囪式體系。垂直式數據體系的優點是緊貼場景反應敏捷，缺點是數據分散、不标淮，難以共用關聯成為合力，大數據價值優勢被削弱。此外，煙囪式數據體系還會造成混亂的數據調用和拷貝，以及系統功能建設和維護帶來的重複投資，不僅造成人力、财力、資源的浪費，更重要的是時間浪費以及數據質量的參差不齊！在目前高速發展的互聯網市場大環境下，商機是稍縱即逝的。
在認同大數據是未來創新核心的前提下，需要把數據戰略的先進性、前瞻性放到優先考慮位置。否則大數據的能力會随着粗放式運營而變得停滞不前，淪為有名無實；數據愈亂，建立大數據的能力門檻愈高，從信息化到數據化的時間節點都會影響治理難度。管理層必須理解，從信息化到數據化再到應用，必須有強大的技術支持、靈活的政策保障以及開放的生态支撐，方可馬到功成。
數據共享是數據生态的核心
為了促進企業内部對于數據挖掘、更新、使用的效率，本人在阿裡内部嘗試建立了數據公共層，首先是對于線上及離線的數據按交叉使用量、緊缺風險等進行盤點，基于現況及未來需要作中長期戰略預估。這裡彙聚了阿裡内部共用得最頻繁或者最關鍵的數據，這些資源有如生産中所需要的必備部件，可以加快生産速度及降低重複性。公共層作為數據中台的核心部分，積累了最關鍵的數據資源，同時也是最具備品質保障的主數據。
簡單地看，數據中台有點像一條生産流水線，從原始數據收集，到提煉成穩定的生産流程。在這個制作過程中，需要有一套生産管理流程體系，用以保證數據品質、時效性、一緻性等關鍵點。但與生産流水線的差别在于，數據中台不僅需要關注數據生産過程中的效率問題，中台實際上還具備以下能力：1.如何收集數據被消費之後的反饋閉環；2.解決多源異構的數據組合的效率；3.具備業務發生變化時的快速自适應力；4.保障數據服務的穩定性。
數據中台圍繞數據生命周期的各個階段（産生、存儲、增強、使用、傳輸、共用共創、更新、銷毀等）而建立，服務的對象可以是IT研發者、數據科學專家、産品經理、分析師、決策管理者等。使用者會因需要而加工數據，情況有點像石油提煉一樣。而數據生産過程中還有一種極其重要的數據，被稱為元數據，又叫數據中的數據。對元數據管理得當，就可以讓數據在生産過程變得更精淮、穩定及可被追溯。元數據管理須記錄生産過程中各項數據因素，包括生命周期、調度情況、品質保障、安全監控、數據字典、數據血緣關系等。元數據是數據中台的精髓，有利于數據在生命周期中的監督、成本管理或分攤、追蹤數據價值。因此，一般數據中台的價值體現可以根據數據開發能否化繁為簡作為考核，進一步理解就是開發成本的節省（第五種能力）。
數據服務賦能快速創新
一切數據都是因業務目标驅動而形成，産生于業務且又服務于業務。通過松耦合的數據服務帶來業務的複用，例如淘寶和天貓有着各自的買家評價服務，但在防止刷屏的時候會使用相同的數據模型鑒别虛假評價。所以即便業務場景不一樣，但很多的基礎數據模型及算法可以被重複使用服務。
經過清晰的沉澱，算法可以通過重新編排、組合，成為服務接口響應業務的基本需求。由于具備快速編排、組合數據服務的能力，企業可以以較小的成本投入來構建出一個創新的前端業務。這是傳統模式構建的系統中前所未有的，容許快速試錯，更适合今天具有互聯網精神的輕公司模式。
需要相應的組織架構與激勵機制
任何完善的體系建設依靠的不僅是技術工具，缺乏完善的組織結構及激勵機制便不可能令中台順暢運行。多年來的經驗證明了技術架構和治理組織的建立同樣重要，而近年很多企業及政府也紛紛設立獨立數據治理委員會。前面提到數據中台的核心理念是“以通促用，以用帶存”，這裡的“通”不僅是數據的聯通，也關乎人為組織結構的聯通，而且是橫（功能部門之間）、縱（數據生命周期）都要通。
與此同時，數據中台管理需要制定并形成有效的規範，由治理小組從實例中由下而上地提煉出大綱，并由固定團隊負責推進、制定工作機制（互惠互利及激勵方式）、優先資源配置等。
構建符合互聯網大數據時代的大數據中台
數據技術“中台”之所以成為攻堅大數據能力的重要途徑，一來因為數據中台确實解決了數據豎井（之前各自為政）問題，其次是更有利于推動輕盈的前台業務創新，同時能把應用中的數據回流，形成更豐富的中台資源。數據中台作為推動數據化營運的利器，同時也能成為營運數據的中心（兩者結合為閉環）。多年的經驗筆者可以大膽地說，數據中台的建立刻不容緩，因為在大數據時代，業務與數據之間是強聯系，但數據的内容及結構更新速度非常快；數據算法上的技術很類同，但各師各法；數據質量人人都說重要，但應該由誰負責任？
數據及其服務能力的彙聚與集中管控，很大程度會促進企業一體化運維的能力，歸納起來講，互聯網大數據時代的中台特點是：一方面具備海量多源異構數據的整合能力；另一方面促進創新且變化多端的業務前端服務能力。大數據中台的建設及行業普及到如今還是摸着石頭過河的狀态，任何中台都是在不斷互動回饋的過程中成長出來的，而非統一搭建而成功。但是可以肯定，這是個“一把手”工程，必須秉持打破傳統管理的決心，做好長期鬥争的準備。
（作者為香港特别行政區創新及再工業化委員會委員、紅杉中國專家合夥人、原阿裡巴巴集團副總裁及數據委員會會長）