3000米高空，一架民航客機拖著冒煙的機翼，在空中劃出兩條黑線。不遠處，13名乘客被卷出機艙，生命垂危。
此刻，不遠處的老賈（鋼鐵俠搭載的智能助手）通過大數(shù)據(jù)算法得出上百個解決方案，又將其一一排除。
突然，鎧甲啟動制動，一個人影開始在空中踱步，1、2、3......眨眼間，13名乘客全數(shù)獲救，整個過程剛好30秒。
《鋼鐵俠3》中，空難救援的片段堪稱經(jīng)典。鋼鐵俠通過授權(quán)AI，使用大數(shù)據(jù)、云計算等技術(shù)實現(xiàn)在1/30s做出準確決策。
電影中展示的極端情況，激起我們對這類技術(shù)的好奇心。現(xiàn)實生活中，大數(shù)據(jù)、云計算等技術(shù)的迭代、融合和落地更是影響著上層應用（企業(yè)端）的方方面面。
▲騰訊云副總裁、騰訊數(shù)據(jù)平臺總經(jīng)理蔣杰
11月6日，雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))應邀參加了騰訊舉辦的Techo開發(fā)者大會。期間，騰訊云副總裁、騰訊數(shù)據(jù)平臺總經(jīng)理蔣杰就騰訊大數(shù)據(jù)平臺演進歷程、騰訊大數(shù)據(jù)平臺發(fā)展方向以及AI、云技術(shù)的融合使用進行分享。
日數(shù)據(jù)計算量超30萬億
騰訊業(yè)務部門的資源和大數(shù)據(jù)平臺機器資源的結(jié)合，形成大數(shù)據(jù)全平臺算力。
蔣杰透露，截止目前，該算力資源池目前已有超過20萬臺的規(guī)模，每天實時數(shù)據(jù)計算超過30萬億條，而這樣的成果并非一日得來。10年間，騰訊大數(shù)據(jù)平臺的發(fā)展一共經(jīng)歷三個階段：
1、離線計算
2009年1月，騰訊搭建起第一個Hadoop集群，開始做數(shù)據(jù)規(guī)?；?。
這是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構(gòu)，它實現(xiàn)了一個分布式文件系統(tǒng)（簡稱HDFS）。
HDFS有高容錯性的特點，適于設計用來部署在低廉的（low-cost）硬件上；它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序。
HDFS為海量的數(shù)據(jù)提供了存儲，而MapReduce則為海量的數(shù)據(jù)提供了算力。
2、實時計算
2012年，移動互聯(lián)網(wǎng)爆發(fā)，騰訊大數(shù)據(jù)平臺發(fā)展進入第二階段——從Hadoop轉(zhuǎn)向Spark和Storm體系。
在吸收開源技術(shù)的基礎上，該平臺結(jié)合業(yè)務需求進行了重寫。期間，騰訊開始探索流式計算、秒級采集系統(tǒng)的建設，并構(gòu)建企業(yè)級的實時數(shù)據(jù)分析體系。
大數(shù)據(jù)平臺的在線分析和實時計算功能在實時報表、實時查詢、實時監(jiān)控等諸多場景下得以應用。
3、機器計算
2015年至今，為了支持業(yè)務數(shù)據(jù)挖掘的需求，開始主要建設機器學習平臺。從數(shù)據(jù)分析到數(shù)據(jù)挖掘的轉(zhuǎn)變，是大數(shù)據(jù)平臺“智能化”的體現(xiàn)。
2016年，騰訊自研機器學習平臺Angel，專攻復雜計算場景，可進行大規(guī)模的數(shù)據(jù)訓練，支撐內(nèi)容推薦、廣告推薦等AI應用場景。
蔣杰稱，騰訊大數(shù)據(jù)平臺的發(fā)展，是一個從引進到自研、從離線到實時、從分析計算到人工智能的全維度的演進歷程。隨著資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase正式對外開源，與開發(fā)計算平臺TDW、全棧機器學習平臺Angel、開源實時數(shù)據(jù)采集平臺TubeMQ一起構(gòu)成騰訊大數(shù)據(jù)開源陣營，證實了騰訊大數(shù)據(jù)平臺從開源中來，在具備自主研發(fā)能力后積極推動開源，回饋產(chǎn)業(yè)。
大數(shù)據(jù)平臺新方向：融合
當談到發(fā)展方向時，蔣杰重點強調(diào)了“融合”二字。在他看來，騰訊大數(shù)據(jù)平臺正向著這三個特點進行迭代：
1、批流融合，批量計算、實時計算從分離，到SQL層面的融合，再到底層計算引擎層面、存儲層面的多方面技術(shù)融合；
2、ABC融合，即人工智能、大數(shù)據(jù)和云的融合，前兩者天生就應該綁在一起的，騰訊自研的機器學習平臺Angel就是一個融合的案例，Angel目前已經(jīng)實現(xiàn)了預處理到數(shù)據(jù)訓練融合，當把整個體系能搬在云上后，即實現(xiàn)ABC的真正融合；
3、數(shù)據(jù)湖，實現(xiàn)跨IDC、跨平臺、跨異構(gòu)數(shù)據(jù)源的數(shù)據(jù)共享，通過聯(lián)邦學習來解決數(shù)據(jù)共享中存在的數(shù)據(jù)安全和隱私的問題。
技術(shù)的發(fā)展，并不總是一帆風順的。蔣杰表示，在經(jīng)歷大數(shù)據(jù)平臺發(fā)展的階段中，走過的坑可謂只多不少。
在資源調(diào)度領(lǐng)域，原生Hadoop的可承載規(guī)模較小，這就意味著需要自研調(diào)度器。通過自研調(diào)度器，騰訊在2014年讓Hadoop單集群規(guī)模達到8800臺，目前超過4萬臺。解決完離線規(guī)模的問題以后，騰訊大數(shù)據(jù)團隊再度面臨解決在線資源問題。他們需要實現(xiàn)在線平臺和離線平臺的混合部署，這個過程需要更好的資源隔離，并且需要容器具備虛擬機一樣的隔離能力。同時，還要獲得在線業(yè)務的優(yōu)先調(diào)度能力，以提高在線資源率。
在數(shù)據(jù)采集方面，騰訊大數(shù)據(jù)團隊在開始階段主要引入和使用開源軟件，經(jīng)常會出現(xiàn)數(shù)據(jù)重復和數(shù)據(jù)丟包問題，后來自研了TubeMQ來解決，從2013年到目前，該平臺數(shù)據(jù)規(guī)模從百億到35萬億，翻了幾千倍。10萬億規(guī)模的數(shù)據(jù)消費存在延時問題，TubeMQ要在如此大規(guī)模之下達到平均5毫秒的延時要求，他們采取軟硬結(jié)合的技術(shù)來解決。
在數(shù)據(jù)處理方面，騰訊要以毫秒級的速度對數(shù)據(jù)中心里分布在不同的國家、不同的存儲系統(tǒng)、不同的集群的異構(gòu)數(shù)據(jù)進行快速處理，漂移計算SuperSQL解決方案應運而生。SuperSQL通過智能CBO優(yōu)化器（基于成本的優(yōu)化），將計算下推到分布在各地的異構(gòu)數(shù)據(jù)源，實現(xiàn)高效的異構(gòu)數(shù)據(jù)分析，使得數(shù)據(jù)分析過程的整個性能表現(xiàn)比傳統(tǒng)處理方式高出26倍，特別是針對海量數(shù)據(jù)情況下，這樣的解決方案優(yōu)勢也就越發(fā)明顯。
最后的難點，是騰訊面臨著萬億規(guī)模的大數(shù)據(jù)訓練需求。最開始，他們的數(shù)據(jù)訓練需求來源于廣告業(yè)務，他們使用Spark來構(gòu)建數(shù)據(jù)訓練體系，但只能支持千萬級別維度的訓練。因此他們自研高性能的機器學習平臺Angel來解決，從最開始Anlge支持十億維度，逐步提升到千億。目前，Angel平臺的訓練量級已經(jīng)從千億擴增到萬億。
10年間，走過的坑有多深，只有騰訊大數(shù)據(jù)團隊知曉。而他們，把這些都搬上云，同時，他們從2014年起就對外開源，希望為同類廠商及廣大開發(fā)者提供可行性的解決方案。
踩過的坑，別人就別再踩了
蔣杰稱，騰訊大數(shù)據(jù)平臺的底層技術(shù)本源自于開源，通過發(fā)展、迭代，再以開源的方式回饋社區(qū)是最好的選擇。
目前，騰訊云已經(jīng)提供了對外開放的能力，其中包括存儲網(wǎng)絡、數(shù)據(jù)庫到上層整個大數(shù)據(jù)平臺、機器學習平臺，到上層服務于SAAS、語音NLP的整個體系。通過云上的產(chǎn)品，企業(yè)可以在沒有專業(yè)大數(shù)據(jù)和AI人才的前提下進行大數(shù)據(jù)的各項分析。
雷鋒網(wǎng)了解到，2014年，騰訊的第一代開發(fā)計算平臺TDW開源，到2017年第三代的計算平臺Angel也已經(jīng)開源，該平臺已經(jīng)捐給Linux基金會。到今年9月份，騰訊開源了實時數(shù)據(jù)采集平臺TubeMQ，并將其捐獻給Apache基金會。
會議當天，蔣杰宣布，資源管理容器平臺TKE和分布式數(shù)據(jù)庫TBase開源，隨著在大數(shù)據(jù)開源領(lǐng)域的開源逐步加速，騰訊正在成為中國大數(shù)據(jù)領(lǐng)域開源最全面的廠商之一。
會后，蔣杰在采訪環(huán)節(jié)闡述了更多關(guān)于大數(shù)據(jù)平臺技術(shù)發(fā)展的觀點，這里將采訪內(nèi)容整理出來以供分享：
1、TBase作為在線交易數(shù)據(jù)庫，都有哪些適用場景？TBase和其他類型數(shù)據(jù)庫如何協(xié)同運作，其中是否存在多存儲管理？
答：現(xiàn)在某大型保險公司在用TBase數(shù)據(jù)庫，其他像云南省公安、數(shù)字廣東及十多家其他傳統(tǒng)行業(yè)的企業(yè)都在用TBase數(shù)據(jù)庫，應用場景還是比較多的。
具體來說，這家保險公司是用TBase作為新一代的分布式數(shù)據(jù)庫來替換傳統(tǒng)集中數(shù)據(jù)庫，這使得其一些關(guān)鍵應用實現(xiàn)了遷移及生產(chǎn)上線。TBase經(jīng)過專門的設計可以做到HTAP，也同時支持高效的OLAP和海量的OLTP。
2、會上您說騰訊大數(shù)據(jù)全部開源，這樣做對于騰訊來說好處體在哪兒？另外請您詳細分享一下剛才會上您提到的ABC融合。
答：開源的目的主要是為了更好的回饋社區(qū)，另外我們也希望能有更多的開發(fā)者和團隊加入到這個生態(tài)中來，這樣的話整個大數(shù)據(jù)的功能會越來越多。
對騰訊來說，去做開源主要有兩點：
第一，其影響力優(yōu)勢能夠吸引更多的開發(fā)者加入跟我們一起來研發(fā)。
第二，只有整個開源生態(tài)的繁榮，才能夠讓開源軟件的功能更加完善，也能夠更好的支撐到我們的業(yè)務。
關(guān)于ABC，這其實也突顯了今天說到的融合這個主題。
首先，因為機器學習平臺和大數(shù)據(jù)平臺屬于一個大團隊，底層研發(fā)力量的融合。另外，Angel就是AB融合中的一個很好的成果體現(xiàn)，我們把數(shù)據(jù)處理和數(shù)據(jù)訓練，在Angel里面做閉環(huán)，所以一個Angel就能呈現(xiàn)出一些同類產(chǎn)品不具備的優(yōu)勢。
在上層應用上，如果光有AI、沒有數(shù)據(jù)去支撐，整個業(yè)務其實很難跑得起來。和C的融合，指的是無論CPU資源還是GPU資源，亦或是FPGA資源，要擁有很好的彈性和開箱即用的能力，就需要云的能力，所以希望把這些能力都放在云上，能夠提供給開發(fā)者和企業(yè)，來實現(xiàn)整個的ABC的融合。
3、第一個問題，現(xiàn)在業(yè)界談自主可控比較多，開源在自主可控方面具有哪些優(yōu)勢？第二個問題，騰訊在開源建設和開源項目上做了很多嘗試，那么具體做了哪些努力？取得了哪些成果？
答：相對于閉源軟件，基于開源最大的好處是無任何廠商綁定風險。自主可控不等于從零開始研發(fā)，使用主流的開源技術(shù)，廠商和用戶聯(lián)合創(chuàng)新，核心的技術(shù)由企業(yè)自己掌握。在這個基礎之上來談自主可控，通過吸收自己以外的一些能力和資源，更好的實現(xiàn)自主可控。
在2017年，騰訊將第一代計算平臺Angel開源出來；到了2019年，新開發(fā)的Angel3.0平臺也已開源，現(xiàn)在已經(jīng)有像華為、小米、新浪微博等公司在使用這一平臺。
今天大會上，我們再度開源資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase。
未來，類似漂移計算、聯(lián)邦學習數(shù)據(jù)庫等這樣的能力，我們都會陸續(xù)去開放和開源。所以整個開源生態(tài)，其實如果由企業(yè)來推動大家來加入這才是一個正生態(tài)，如果好東西永遠都留在自己家里，那其實這個生態(tài)很難去繁榮。
4、關(guān)于大數(shù)據(jù)的四個方向，具體是什么？
答：大數(shù)據(jù)平臺發(fā)展的四個方向：
第一個是批流融合，一直以來，批和流的引擎都是分開的，近幾年批流融合的嘗試越來越多，但是基本都是在SQL層面做融合，未來有沒有可能從底層的計算引擎融合？我們正在做這個方面的研究。
第二是ABC的融合，上一個問題也說過了，不再重復。
第三個就是數(shù)據(jù)湖和聯(lián)邦學習。剛才分享過的漂移計算就是數(shù)據(jù)湖方向的，是為了解決跨IDC、跨平臺、解決異構(gòu)數(shù)據(jù)的共享計算的問題，而聯(lián)邦學習是為了解決數(shù)據(jù)共享帶來的數(shù)據(jù)安全和數(shù)據(jù)隱私的問題。
第四個是必須具備混合部署的能力，公有云、私有云，不同的集群，都能管理好。還有跨域的數(shù)據(jù)共享，不同區(qū)域，不同機房，不同的云。
5、Angel平臺目前針對于哪些復雜計算場景在做數(shù)據(jù)的訓練？
答：Angel原來更專注解決大數(shù)據(jù)、大模型體系。舉一個最簡單的例子，在Spark引擎下現(xiàn)在只能支持幾千萬維度的計算，而我們現(xiàn)在的實際需求已經(jīng)達到了萬億，就是說這之間有幾百倍的差距，所以必須要去做自研。
主要的應用場景像我們本身的廣告、金融、微信支付、整個社交體系等都有應用。除了上述提到的幾家廠商，現(xiàn)在又在平臺上迭代了一些新的能力，讓開發(fā)者應用，希望將Angel做成一個全棧式的平臺，能夠給開發(fā)者更好的體驗。
6、騰訊的數(shù)據(jù)庫有很多，為什么選擇TBase開源？選擇開源的標準是什么？
答： TBase源于開源的PostgreSQL，功能強大，適合企業(yè)級應用。
可以用來開源的平臺，第一基礎是至少這個平臺是穩(wěn)定的、可靠的，并且在騰訊已有的大業(yè)務經(jīng)過歷練的。第二個基礎，開源出去的東西對業(yè)界是有價值的，而不能說光在騰訊環(huán)境下有用。最后一個基礎，騰訊在大力推動開源協(xié)同的技術(shù)戰(zhàn)略，這是自上而下的，整個騰訊的數(shù)據(jù)庫大方向會是開源協(xié)同。
7、騰訊（大數(shù)據(jù)類的）開源項目能為運營商提供怎樣的助力（偏向運營商角度）？
答：包括電信、聯(lián)通、移動在內(nèi)，現(xiàn)在的運營商都在做云。云架構(gòu)的搭建和優(yōu)化對運營商本身的基礎建設是有很大幫助的。
5G技術(shù)的發(fā)展，會帶來非結(jié)構(gòu)化數(shù)據(jù)大規(guī)模的增加，包括AI能力的實現(xiàn)，需要更多去尋找數(shù)據(jù)本身的價值，通過數(shù)據(jù)的價值去回填于運營商自身業(yè)務的發(fā)展。
也就是說，所有數(shù)據(jù)相關(guān)的動作，都是跟業(yè)務強關(guān)聯(lián)的，有商業(yè)價值的，才有我們長期發(fā)展的空間。值得注意的是，在做數(shù)據(jù)價值挖掘的時候，需要大數(shù)據(jù)平臺和AI的平臺來構(gòu)建底層建設，這是一脈相承的邏輯。
8、做開源對于企業(yè)來說有哪些商業(yè)價值的回饋？
答：首先互聯(lián)網(wǎng)公司最大的價值是人才，開源會聚集很多的人才。
在我看來，研發(fā)和開發(fā)只有高端人才云集，我們才能做出高價值的產(chǎn)品，能夠服務我們高價值的業(yè)務，這是很關(guān)鍵的一個邏輯。所以開源其實沒有直接的商業(yè)價值，但間接的商業(yè)價值是一定會有的并且會越來越大。
9、Spark on Angel和Pytorch on Angel這兩個平臺的區(qū)別在哪里？各自帶來的優(yōu)勢或者是能力是什么？
答：主要是深度學習和圖計算的能力，為了滿足不同的開發(fā)者，我們會去支持不同的引擎，這個我覺得是一個功能和生態(tài)的延伸?？赡芪磥碛行碌暮糜玫拈_發(fā)平臺出來，我們也會去支持，因為這才能夠活躍生態(tài)。
10、做開源的成本有哪些？對比國內(nèi)外開源的進度，打造騰訊大數(shù)據(jù)平臺時如何在技術(shù)上作取舍？
答：開源一定會帶來人力成本的消耗，會涉及到一些額外的工作量。我相信每一個推動開源的人、組織和企業(yè)都是富有社會責任感的，如果沒有社會責任感的企業(yè)是不會做開源這件事情。對于騰訊這樣體量的企業(yè)，去消耗一部分人力去做生態(tài)的建設，投入是非常值得的。
無論國內(nèi)國外，整體上是一個逐步前進的過程，而開源社區(qū)的認同感是社區(qū)可以給予的，越來越多的開發(fā)者也開始認可國內(nèi)開源社區(qū)的存在。其次，國外有很多商業(yè)機構(gòu)在做商業(yè)的大數(shù)據(jù)產(chǎn)品，這是基于企業(yè)的生產(chǎn)需要。開源大數(shù)據(jù)項目，更多是形成監(jiān)督和共建的機制，反過來推進團隊更好地往前的發(fā)展。
更多精彩內(nèi)容請關(guān)注雷鋒網(wǎng)網(wǎng)絡安全欄目或雷鋒網(wǎng)旗下微信公眾號宅客頻道。
