來源：AI前線
作者：田曉旭
導(dǎo)讀：“中臺”在國內(nèi)企業(yè)中非常流行，大家都很好奇硅谷也有“中臺”嗎？如果有的話，硅谷是如何建設(shè)中臺的？與國內(nèi)企業(yè)的中臺建設(shè)有何區(qū)別？。。。。。。 本文采訪了一位在硅谷工作多年，后回國創(chuàng)業(yè)的技術(shù)人，相信他會解答大家的疑問。
當中臺在國內(nèi)風(fēng)靡一時，人們也漸漸開始有這樣的疑問，“硅谷有沒有中臺？”當然，在硅谷肯定沒有“中臺”這一詞匯，但是在我們之前發(fā)布的文章《亞馬遜 CTO 的“中臺論”》中，其變革應(yīng)用程序架構(gòu)、調(diào)整企業(yè)組織架構(gòu)等方式與國內(nèi)的中臺建設(shè)不謀而合，這是否意味著硅谷也在以自己的方式進行中臺建設(shè)呢？
針對這一疑問，智領(lǐng)云 CEO 彭鋒給我們做出了解釋：“硅谷確實沒有中臺一詞，‘中臺’這個詞可以說是國內(nèi)特有，但是硅谷很早就開始‘中臺’建設(shè)了?！?2005 年，彭鋒美國馬里蘭大學(xué)計算機博士畢業(yè)之后，先后在 Ask.com 任工程總監(jiān)和在 Twitter 任大數(shù)據(jù)架構(gòu)師，對硅谷技術(shù)發(fā)展有較全面的認知，在采訪過程中，不僅和我們講述了硅谷和國內(nèi)的“中臺論”，還分享了“中臺建設(shè)”的相關(guān)細節(jié)。
硅谷的“中臺論”
在國內(nèi)創(chuàng)立智領(lǐng)云這家關(guān)注于大數(shù)據(jù)和數(shù)據(jù)中臺的企業(yè)之前，彭鋒先后在兩家硅谷公司工作，分別是 Ask.com 和 Twitter，工作期間都曾進行過與中臺相關(guān)的工作。
在 Ask.com，彭鋒所在的團隊做的是私有云平臺和中間件，也就是現(xiàn)在我們常說的技術(shù)中臺，當時他們團隊主要是做基礎(chǔ)技術(shù)組件，完成之后，公司其它部門不需要重復(fù)編寫這些可以重用的組件。比如，彭鋒負責(zé)監(jiān)控組件，公司其它部門、其它小組就不需自己寫監(jiān)控的功能。雖然那時沒有技術(shù)中臺這個名詞，但是彭鋒認為他們實際做的工作就是搭建私有云平臺以及其上的中間件技術(shù)平臺，這與現(xiàn)在的技術(shù)中臺并沒有太大差異。
2011 年，彭鋒在 Twitter 任職，當時 Twitter 只有一個 Hadoop 集群，大概 80 臺機器，公司 300 多人，大數(shù)據(jù)的應(yīng)用也不多。他所在的大數(shù)據(jù)團隊做的就是類似于數(shù)據(jù)中臺的工作，公司所有人不用再重復(fù)開發(fā)相關(guān)數(shù)據(jù)組件，就可以共享數(shù)據(jù)能力。舉個例子，產(chǎn)品經(jīng)理如果要做產(chǎn)品，不再是去各個部門找數(shù)據(jù)，而是在平臺上看有哪些數(shù)據(jù)、API 可以用，完成之后，通過測試就可以馬上知道該產(chǎn)品是否有數(shù)據(jù)支持，大概一、兩個星期就可以上線一個產(chǎn)品。再具體一點講，用戶分析部門具備用戶畫像的能力，當別的部門需要用戶畫像功能時，直接調(diào)用 API 就可以了；反欺詐部門需要甄別用戶是不是機器人或者是惡意賬號，他們把這個能力輸出，其它部門想用的時候也可以直接調(diào)用 API。Twitter 所有部門之間的數(shù)據(jù)能力的共享和復(fù)用都是如此，這其實就相當于數(shù)據(jù)中臺的功能。Twitter 的大數(shù)據(jù)平臺后來發(fā)展到接近 8000 臺機器，支持公司所有部門的數(shù)據(jù)應(yīng)用。
國內(nèi)的“中臺論”
眾所周知，中臺一詞在國內(nèi)最早是由阿里提出來的，后來受到眾多公司的追捧，但是對于中臺的定義至今都沒有定論，大家都有各自的看法。
什么是數(shù)據(jù)中臺？彭鋒認為“數(shù)據(jù)中臺指的是企業(yè)抽象，共享，和復(fù)用數(shù)據(jù)能力的平臺，其目的是實現(xiàn)去中心化的商品洞察能力和產(chǎn)品迭代能力，使得企業(yè)能夠持續(xù)進行不斷演進的數(shù)字化運營，適應(yīng)產(chǎn)品市場和人員組織的快速變化。”
簡單來說，數(shù)據(jù)中臺的核心是數(shù)據(jù)能力的共享和復(fù)用，并且這種共享和復(fù)用要在一個可管理的系統(tǒng)中進行，目的是通過數(shù)據(jù)驅(qū)動公司業(yè)務(wù)。在大數(shù)據(jù)領(lǐng)域主要體現(xiàn)在兩個方面，一個是 BI（商業(yè)洞見），一個是 AI（數(shù)字驅(qū)動的產(chǎn)品），對應(yīng)美國常用的兩個指標，一是 time to reliable insight，老板如何快速及時的獲取可靠商業(yè)洞見決策；二是 time to market，產(chǎn)品如何更多更快地推向市場，并且快速迭代；因為市場和客戶一直在變化，所以企業(yè)的產(chǎn)品、人員和組織架構(gòu)也必須隨之變化，而中臺必須要能夠適應(yīng)這所有的變化。
數(shù)據(jù)中臺不只是一個理念，它還需要一系列的工具來支撐。彭鋒表示：“為什么我會強調(diào)去中心化的數(shù)據(jù)能力的復(fù)用和共享？因為如果共享是強制的，那么大部分業(yè)務(wù)部門是不愿意花時間在大數(shù)據(jù)上的，因為這跟業(yè)務(wù)沒關(guān)系。那么我們怎么做呢？首先，要讓業(yè)務(wù)部門嘗到甜頭，其次，工具要足夠好用，第三，要保證系統(tǒng)無論如何不會崩壞。如果你有一系列在安全可控環(huán)境下的工具來共享業(yè)務(wù)部門的數(shù)據(jù)能力，并且能夠量化這些能力帶來的價值，業(yè)務(wù)部門才會愿意共享數(shù)據(jù)能力?！?/p>
數(shù)據(jù)中臺與技術(shù)中臺還不一樣，因為數(shù)據(jù)是跟著業(yè)務(wù)走的，而技術(shù)的共性會比較多。讓數(shù)據(jù)中臺部門天天跟著業(yè)務(wù)去學(xué)習(xí)數(shù)據(jù)顯然是不可能的，所以在 Twitter 這樣的公司，其做法是數(shù)據(jù)中臺部門必須提供足夠好用的工具，賦能業(yè)務(wù)部門共享數(shù)據(jù)能力。而中國的情況又會有些不一樣，他們可能是把某個能力抽取出來，由專門的組來負責(zé)。這兩種方式都可行，因此，要視公司的具體情況而定。
而國內(nèi)有些行業(yè)的數(shù)據(jù)平臺建設(shè)，往往都是搭建一個 Hadoop 集群之后只供該部門內(nèi)的項目使用。如果其它部門也需要大數(shù)據(jù)應(yīng)用，因為沒有一個很好的數(shù)據(jù)平臺架構(gòu)，導(dǎo)致第一個部門的大數(shù)據(jù)平臺在給第二個部門共享時非常困難，那么就再獨立搭建一個 Hadoop 集群供第二個部門使用。這樣就會產(chǎn)生大量的數(shù)據(jù)孤島和應(yīng)用孤島。因此，智領(lǐng)云在幫助用戶做數(shù)據(jù)平臺建設(shè)時，從一開始就要求各個部門之間要共享集群，每個數(shù)據(jù)應(yīng)用都必須接入到現(xiàn)有的平臺。
中臺建設(shè)不是從 0 到 1，而是從 0 到 0.1
有人認為數(shù)據(jù)中臺的建設(shè)是從 0 到 1，從有到無，但彭鋒認為數(shù)據(jù)中臺的建設(shè)應(yīng)該是從 0 到 0.1，要很快見效，不斷迭代，分階段逐漸體現(xiàn)出數(shù)據(jù)中臺的價值，這樣各個部門才有動力繼續(xù)配合建設(shè)數(shù)據(jù)中臺。
彭鋒表示，當時他們進行數(shù)據(jù)中臺建設(shè)時，剛好組件化發(fā)展起來了，所以一開始就制定了標準，并開發(fā)了一系列工具，這樣大家的抵觸情緒就會小很多。例如，平臺提供了很多數(shù)據(jù)處理框架，產(chǎn)品上線之后很快就能得到反饋，但是業(yè)務(wù)部門必須把他們的數(shù)據(jù)接入到平臺上才能使用。另外，由于各個部門都需要使用到其它部門的數(shù)據(jù)，所以各個部門需要把他們的數(shù)據(jù)共享出來，接入到平臺上，才能使用數(shù)據(jù)平臺提供的功能和其它部門的數(shù)據(jù)。
從工程師的角度來看，這樣開發(fā)的服務(wù)不僅部門內(nèi)部可以使用，公司其它組也可以用到，在能力得到大家認可的情況下，其它工程師還會給這個項目 debug，一舉兩得。當其它部門的工程師也開始這樣發(fā)布服務(wù)時，就形成了一個良性循環(huán)。
從產(chǎn)品經(jīng)理的角度來看，過去產(chǎn)品經(jīng)理開發(fā)一個產(chǎn)品首先要看數(shù)據(jù)體系、技術(shù)體系能不能支持，而且一個人還不行，最少得兩個人，一個負責(zé)去看技術(shù)問題，一個負責(zé)去看數(shù)據(jù)問題，挨個去每個部門看有沒有數(shù)據(jù)，數(shù)據(jù)打通，生產(chǎn)化需要多長時間。通常，需要兩三個星期才能完成決策，還不一定準確，而數(shù)據(jù)中臺建設(shè)之后，兩三個星期就能上線新產(chǎn)品。
什么樣的企業(yè)需要建設(shè)數(shù)據(jù)中臺？
當數(shù)據(jù)中臺成為熱點之后，很多企業(yè)都一窩蜂的開始要建設(shè)數(shù)據(jù)中臺，那么是否所有的企業(yè)都適合建設(shè)數(shù)據(jù)中臺？適合的企業(yè)有哪些共通點？
事實上，擁有多個事業(yè)部、多個產(chǎn)品線，需要在眾多產(chǎn)品線中形成數(shù)據(jù)共享和復(fù)用的企業(yè)適合建設(shè)中臺。當多個產(chǎn)品線、多個業(yè)務(wù)部門形成數(shù)據(jù)合力之后，新產(chǎn)品線在接入數(shù)據(jù)平臺的情況下，能夠快速構(gòu)建上線，例如，某個公司想要實時評估廣告投放效果，但是相關(guān)數(shù)據(jù)分別存儲在渠道商的網(wǎng)站上，在自己的業(yè)務(wù)系統(tǒng)中，以及第三方的 ERP 和 CRM 中。以前數(shù)據(jù)沒有打通的時候，無法達到數(shù)據(jù)聯(lián)動的效果，可能一個星期才能形成全面的業(yè)務(wù)報告，但是現(xiàn)在可以實時生成反饋，自動、動態(tài)地去展示投放效果。
大企業(yè)需要數(shù)據(jù)中臺，那小企業(yè)需要嗎？彭鋒表示：“如果是只有一條業(yè)務(wù)線和一個大數(shù)據(jù)集群的小企業(yè)不需要數(shù)據(jù)中臺，但是需要為數(shù)據(jù)中臺做準備。為什么？因為數(shù)據(jù)中臺強調(diào)的是共享復(fù)用，只有一條業(yè)務(wù)線，要數(shù)據(jù)中臺干什么？但我們要為產(chǎn)品擴展做準備，數(shù)據(jù)中臺不是目的，數(shù)據(jù)驅(qū)動才是目的。所以，無論企業(yè)的規(guī)模如何，都會需要數(shù)據(jù)驅(qū)動，進而需要建設(shè)數(shù)據(jù)中臺或為其做準備?！?/p>
做中臺，要動組織架構(gòu)嗎？
提到中臺建設(shè)，很多人自然會聯(lián)想到組織架構(gòu)的變動，中臺建設(shè)與企業(yè)組織架構(gòu)變動之間是充分條件嗎？彭鋒表示：“中臺建設(shè)不一定要需要組織架構(gòu)的變動，要視企業(yè)具體的組織架構(gòu)和所要建設(shè)的中臺類型來分別看待?！?/p>
技術(shù)中臺的建設(shè)一定要動組織架構(gòu)！ 以存儲監(jiān)控為例，原來在各個部門都需要實現(xiàn)自己的存儲監(jiān)控功能，但是現(xiàn)在只需要使用通用組件即可，所以這些部門的存儲、監(jiān)控技術(shù)人員就可以抽取出來，重組成一個新的部門。
數(shù)據(jù)中臺的建設(shè)不一定要動組織架構(gòu)！ 建設(shè)數(shù)據(jù)中臺時，如果企業(yè)原來的數(shù)據(jù)平臺是每個部門分別建設(shè)的，那么就需要動組織架構(gòu)，如果企業(yè)本來是有一個中間的數(shù)據(jù)平臺在做，那么就無需再動組織架構(gòu)了。數(shù)據(jù)中臺建設(shè)有一個關(guān)鍵的問題，數(shù)據(jù)能力由誰來提供？有人認為應(yīng)該由數(shù)據(jù)中臺部門來推動，將數(shù)據(jù)能力抽取到數(shù)據(jù)中臺，但是彭鋒認為所有數(shù)據(jù)共享能力都應(yīng)該是由業(yè)務(wù)部門來提供，數(shù)據(jù)中臺部門提供工具，所以在這種情況下，組織架構(gòu)不需要變，開發(fā)流程會改變，以前各組件都是自己負責(zé)自己的數(shù)據(jù)，但是現(xiàn)在各組件的數(shù)據(jù)都必須符合公司規(guī)范。
雖然建設(shè)中臺是否動組織架構(gòu)不太確定，但確定的是中臺戰(zhàn)略會涉及到多方利益，因此 中臺建設(shè)一定是個“一把手”工程。
技術(shù)中臺、數(shù)據(jù)中臺和業(yè)務(wù)中臺是 3 個必要的中臺
中臺的概念一熱，一下子出現(xiàn)很多中臺，比如業(yè)務(wù)中臺、數(shù)據(jù)中臺、技術(shù)中臺、算法中臺、移動中臺等，這么多中臺是否都有必要建設(shè)呢？彭鋒認為對企業(yè)來說，必要的中臺有三個，分別是技術(shù)中臺、數(shù)據(jù)中臺和業(yè)務(wù)中臺。
這三個中臺之間的關(guān)系如下圖所示，技術(shù)中臺和數(shù)據(jù)中并列排在下面，而業(yè)務(wù)中臺排在這兩者之上：
業(yè)務(wù)中臺、技術(shù)中臺與數(shù)據(jù)中臺之間的關(guān)系
其中，技術(shù)中臺會涉及到架構(gòu)變化。一般來說，技術(shù)中臺不會要求各個部門把自己的所有組件共享出來，但是有一個中間件組專門負責(zé)開發(fā)中間件，各個部門必須使用他們開發(fā)的中間件；數(shù)據(jù)中臺，總體來說就是各個業(yè)務(wù)部門在統(tǒng)一的數(shù)據(jù)平臺上提供數(shù)據(jù)的復(fù)用和共享能力；而業(yè)務(wù)中臺主要是用于業(yè)務(wù)迭代，其中會有很多業(yè)務(wù)模塊，當有新產(chǎn)品要開發(fā)時，大部分不需要重新寫，而是采取搭積木的方式，選取適合的業(yè)務(wù)模塊，在上層編寫產(chǎn)品業(yè)務(wù)邏輯即可。
數(shù)據(jù)中臺的分層體系及數(shù)據(jù)流轉(zhuǎn)
在之前的文章《昨天講平臺、今天變中臺，數(shù)據(jù)中臺都干了啥？》中，有專家認為一個完整的數(shù)據(jù)平臺至少應(yīng)該包含三層，即大數(shù)據(jù)計算平臺、數(shù)據(jù)中臺、數(shù)據(jù)應(yīng)用前臺。而彭鋒認為數(shù)據(jù)平臺應(yīng)該包括四層：“未來的程序一定是云原生的，即使現(xiàn)在有些組件不是云原生的，以后也一定是云原生的。因此，數(shù)據(jù)平臺的底層一定是個私有云平臺，中間一層是大數(shù)據(jù)基礎(chǔ)組件層，包括 Hadoop、Kafka、Spark、認證安全、共享存儲等等，再上一層是大數(shù)據(jù)運營管理層，即如何把組件以一種最方便、最安全可靠的方式實現(xiàn)數(shù)據(jù)的共享和復(fù)用，最上面的一層是業(yè)務(wù)部門輸出的數(shù)據(jù)能力層，在大數(shù)據(jù)運營管理層之下，各部門能夠輸出和復(fù)用數(shù)據(jù)能力?！?/p>
數(shù)據(jù)平臺的分層體系
公共模塊的整合、提煉是數(shù)據(jù)中臺建設(shè)的重點，彭鋒認為比較重要的公共模塊有數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)治理、數(shù)據(jù)和應(yīng)用資產(chǎn)管理、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)和數(shù)據(jù)展示，除此之外，還有一些必要的工具，例如數(shù)據(jù)安全、審計、多租戶、資源隔離、監(jiān)控等等。
當數(shù)據(jù)進入到數(shù)據(jù)中臺之后，它的流轉(zhuǎn)路徑是怎樣的呢？首先，原始數(shù)據(jù)會先導(dǎo)入到數(shù)據(jù)湖，接著轉(zhuǎn)換到數(shù)據(jù)倉庫，再轉(zhuǎn)換到數(shù)據(jù)集市，數(shù)據(jù)集市中會有數(shù)據(jù)服務(wù)的發(fā)布工具，自動發(fā)布到平臺，并與具體的業(yè)務(wù)系統(tǒng)進行對接。當然，工具不僅有自動發(fā)布工具，還有包括數(shù)據(jù)應(yīng)用的調(diào)度管理、數(shù)據(jù)服務(wù)的生產(chǎn)、算法平臺的執(zhí)行以及數(shù)據(jù)格式化等等。
寫在最后
硅谷公司有沒有在建設(shè)“數(shù)據(jù)中臺”，其實這不是一個應(yīng)該糾結(jié)的問題，在彭鋒看來：“數(shù)據(jù)中臺不是一個產(chǎn)品，實際上是一套方法論，是指導(dǎo)企業(yè)如何成為一家數(shù)據(jù)驅(qū)動企業(yè)的方法論。智領(lǐng)云要做的就是將這一套在硅谷已經(jīng)被實踐成功證明的方法論帶給中國的企業(yè)用戶，從而幫助他們通過數(shù)據(jù)中臺，較快的轉(zhuǎn)型成為一家數(shù)據(jù)驅(qū)動的智能企業(yè)?！?/p>
