亚洲全黄无码一级在线看_国产剧情久久久性色_无码av一区二区三区无码_亚洲成a×人片在线观看

當前位置: 首頁 > 科技新聞 >

從引進到自研再到開源融合,這10年騰訊大數(shù)據(jù)平

時間:2019-11-12 19:12來源:網(wǎng)絡整理 瀏覽:
3000米高空,一架民航客機拖著冒煙的機翼,在空中劃出兩條黑線。不遠處,13名乘客被卷出機艙,生命垂危。此刻,不遠處的老賈(鋼鐵俠搭載的智能

3000米高空,一架民航客機拖著冒煙的機翼,在空中劃出兩條黑線。不遠處,13名乘客被卷出機艙,生命垂危。

此刻,不遠處的老賈(鋼鐵俠搭載的智能助手)通過大數(shù)據(jù)算法得出上百個解決方案,又將其一一排除。

突然,鎧甲啟動制動,一個人影開始在空中踱步,1、2、3......眨眼間,13名乘客全數(shù)獲救,整個過程剛好30秒。

《鋼鐵俠3》中,空難救援的片段堪稱經(jīng)典。鋼鐵俠通過授權(quán)AI,使用大數(shù)據(jù)、云計算等技術(shù)實現(xiàn)在1/30s做出準確決策。

電影中展示的極端情況,激起我們對這類技術(shù)的好奇心。現(xiàn)實生活中,大數(shù)據(jù)、云計算等技術(shù)的迭代、融合和落地更是影響著上層應用(企業(yè)端)的方方面面。

從引進到自研再到開源融合,這10年騰訊大數(shù)據(jù)平臺經(jīng)歷了什么

▲騰訊云副總裁、騰訊數(shù)據(jù)平臺總經(jīng)理蔣杰

11月6日,雷鋒網(wǎng)(公眾號:雷鋒網(wǎng))應邀參加了騰訊舉辦的Techo開發(fā)者大會。期間,騰訊云副總裁、騰訊數(shù)據(jù)平臺總經(jīng)理蔣杰就騰訊大數(shù)據(jù)平臺演進歷程、騰訊大數(shù)據(jù)平臺發(fā)展方向以及AI、云技術(shù)的融合使用進行分享。

日數(shù)據(jù)計算量超30萬億

騰訊業(yè)務部門的資源和大數(shù)據(jù)平臺機器資源的結(jié)合,形成大數(shù)據(jù)全平臺算力。

蔣杰透露,截止目前,該算力資源池目前已有超過20萬臺的規(guī)模,每天實時數(shù)據(jù)計算超過30萬億條,而這樣的成果并非一日得來。10年間,騰訊大數(shù)據(jù)平臺的發(fā)展一共經(jīng)歷三個階段:

1、離線計算

2009年1月,騰訊搭建起第一個Hadoop集群,開始做數(shù)據(jù)規(guī)?;?。

這是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構(gòu),它實現(xiàn)了一個分布式文件系統(tǒng)(簡稱HDFS)。

HDFS有高容錯性的特點,適于設計用來部署在低廉的(low-cost)硬件上;它提供高吞吐量(high throughput)來訪問應用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(large data set)的應用程序。

HDFS為海量的數(shù)據(jù)提供了存儲,而MapReduce則為海量的數(shù)據(jù)提供了算力。

2、實時計算

2012年,移動互聯(lián)網(wǎng)爆發(fā),騰訊大數(shù)據(jù)平臺發(fā)展進入第二階段——從Hadoop轉(zhuǎn)向Spark和Storm體系。

在吸收開源技術(shù)的基礎上,該平臺結(jié)合業(yè)務需求進行了重寫。期間,騰訊開始探索流式計算、秒級采集系統(tǒng)的建設,并構(gòu)建企業(yè)級的實時數(shù)據(jù)分析體系。

大數(shù)據(jù)平臺的在線分析和實時計算功能在實時報表、實時查詢、實時監(jiān)控等諸多場景下得以應用。

3、機器計算

2015年至今,為了支持業(yè)務數(shù)據(jù)挖掘的需求,開始主要建設機器學習平臺。從數(shù)據(jù)分析到數(shù)據(jù)挖掘的轉(zhuǎn)變,是大數(shù)據(jù)平臺“智能化”的體現(xiàn)。

2016年,騰訊自研機器學習平臺Angel,專攻復雜計算場景,可進行大規(guī)模的數(shù)據(jù)訓練,支撐內(nèi)容推薦、廣告推薦等AI應用場景。

蔣杰稱,騰訊大數(shù)據(jù)平臺的發(fā)展,是一個從引進到自研、從離線到實時、從分析計算到人工智能的全維度的演進歷程。隨著資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase正式對外開源,與開發(fā)計算平臺TDW、全棧機器學習平臺Angel、開源實時數(shù)據(jù)采集平臺TubeMQ一起構(gòu)成騰訊大數(shù)據(jù)開源陣營,證實了騰訊大數(shù)據(jù)平臺從開源中來,在具備自主研發(fā)能力后積極推動開源,回饋產(chǎn)業(yè)。

大數(shù)據(jù)平臺新方向:融合

當談到發(fā)展方向時,蔣杰重點強調(diào)了“融合”二字。在他看來,騰訊大數(shù)據(jù)平臺正向著這三個特點進行迭代:

1、批流融合,批量計算、實時計算從分離,到SQL層面的融合,再到底層計算引擎層面、存儲層面的多方面技術(shù)融合;

2、ABC融合,即人工智能、大數(shù)據(jù)和云的融合,前兩者天生就應該綁在一起的,騰訊自研的機器學習平臺Angel就是一個融合的案例,Angel目前已經(jīng)實現(xiàn)了預處理到數(shù)據(jù)訓練融合,當把整個體系能搬在云上后,即實現(xiàn)ABC的真正融合;

3、數(shù)據(jù)湖,實現(xiàn)跨IDC、跨平臺、跨異構(gòu)數(shù)據(jù)源的數(shù)據(jù)共享,通過聯(lián)邦學習來解決數(shù)據(jù)共享中存在的數(shù)據(jù)安全和隱私的問題。

技術(shù)的發(fā)展,并不總是一帆風順的。蔣杰表示,在經(jīng)歷大數(shù)據(jù)平臺發(fā)展的階段中,走過的坑可謂只多不少。

在資源調(diào)度領(lǐng)域,原生Hadoop的可承載規(guī)模較小,這就意味著需要自研調(diào)度器。通過自研調(diào)度器,騰訊在2014年讓Hadoop單集群規(guī)模達到8800臺,目前超過4萬臺。解決完離線規(guī)模的問題以后,騰訊大數(shù)據(jù)團隊再度面臨解決在線資源問題。他們需要實現(xiàn)在線平臺和離線平臺的混合部署,這個過程需要更好的資源隔離,并且需要容器具備虛擬機一樣的隔離能力。同時,還要獲得在線業(yè)務的優(yōu)先調(diào)度能力,以提高在線資源率。

在數(shù)據(jù)采集方面,騰訊大數(shù)據(jù)團隊在開始階段主要引入和使用開源軟件,經(jīng)常會出現(xiàn)數(shù)據(jù)重復和數(shù)據(jù)丟包問題,后來自研了TubeMQ來解決,從2013年到目前,該平臺數(shù)據(jù)規(guī)模從百億到35萬億,翻了幾千倍。10萬億規(guī)模的數(shù)據(jù)消費存在延時問題,TubeMQ要在如此大規(guī)模之下達到平均5毫秒的延時要求,他們采取軟硬結(jié)合的技術(shù)來解決。

在數(shù)據(jù)處理方面,騰訊要以毫秒級的速度對數(shù)據(jù)中心里分布在不同的國家、不同的存儲系統(tǒng)、不同的集群的異構(gòu)數(shù)據(jù)進行快速處理,漂移計算SuperSQL解決方案應運而生。SuperSQL通過智能CBO優(yōu)化器(基于成本的優(yōu)化),將計算下推到分布在各地的異構(gòu)數(shù)據(jù)源,實現(xiàn)高效的異構(gòu)數(shù)據(jù)分析,使得數(shù)據(jù)分析過程的整個性能表現(xiàn)比傳統(tǒng)處理方式高出26倍,特別是針對海量數(shù)據(jù)情況下,這樣的解決方案優(yōu)勢也就越發(fā)明顯。

最后的難點,是騰訊面臨著萬億規(guī)模的大數(shù)據(jù)訓練需求。最開始,他們的數(shù)據(jù)訓練需求來源于廣告業(yè)務,他們使用Spark來構(gòu)建數(shù)據(jù)訓練體系,但只能支持千萬級別維度的訓練。因此他們自研高性能的機器學習平臺Angel來解決,從最開始Anlge支持十億維度,逐步提升到千億。目前,Angel平臺的訓練量級已經(jīng)從千億擴增到萬億。

10年間,走過的坑有多深,只有騰訊大數(shù)據(jù)團隊知曉。而他們,把這些都搬上云,同時,他們從2014年起就對外開源,希望為同類廠商及廣大開發(fā)者提供可行性的解決方案。

踩過的坑,別人就別再踩了

蔣杰稱,騰訊大數(shù)據(jù)平臺的底層技術(shù)本源自于開源,通過發(fā)展、迭代,再以開源的方式回饋社區(qū)是最好的選擇。

目前,騰訊云已經(jīng)提供了對外開放的能力,其中包括存儲網(wǎng)絡、數(shù)據(jù)庫到上層整個大數(shù)據(jù)平臺、機器學習平臺,到上層服務于SAAS、語音NLP的整個體系。通過云上的產(chǎn)品,企業(yè)可以在沒有專業(yè)大數(shù)據(jù)和AI人才的前提下進行大數(shù)據(jù)的各項分析。

雷鋒網(wǎng)了解到,2014年,騰訊的第一代開發(fā)計算平臺TDW開源,到2017年第三代的計算平臺Angel也已經(jīng)開源,該平臺已經(jīng)捐給Linux基金會。到今年9月份,騰訊開源了實時數(shù)據(jù)采集平臺TubeMQ,并將其捐獻給Apache基金會。

會議當天,蔣杰宣布,資源管理容器平臺TKE和分布式數(shù)據(jù)庫TBase開源,隨著在大數(shù)據(jù)開源領(lǐng)域的開源逐步加速,騰訊正在成為中國大數(shù)據(jù)領(lǐng)域開源最全面的廠商之一。

會后,蔣杰在采訪環(huán)節(jié)闡述了更多關(guān)于大數(shù)據(jù)平臺技術(shù)發(fā)展的觀點,這里將采訪內(nèi)容整理出來以供分享:

1、TBase作為在線交易數(shù)據(jù)庫,都有哪些適用場景?TBase和其他類型數(shù)據(jù)庫如何協(xié)同運作,其中是否存在多存儲管理?

答:現(xiàn)在某大型保險公司在用TBase數(shù)據(jù)庫,其他像云南省公安、數(shù)字廣東及十多家其他傳統(tǒng)行業(yè)的企業(yè)都在用TBase數(shù)據(jù)庫,應用場景還是比較多的。

具體來說,這家保險公司是用TBase作為新一代的分布式數(shù)據(jù)庫來替換傳統(tǒng)集中數(shù)據(jù)庫,這使得其一些關(guān)鍵應用實現(xiàn)了遷移及生產(chǎn)上線。TBase經(jīng)過專門的設計可以做到HTAP,也同時支持高效的OLAP和海量的OLTP。

2、會上您說騰訊大數(shù)據(jù)全部開源,這樣做對于騰訊來說好處體在哪兒?另外請您詳細分享一下剛才會上您提到的ABC融合。

答:開源的目的主要是為了更好的回饋社區(qū),另外我們也希望能有更多的開發(fā)者和團隊加入到這個生態(tài)中來,這樣的話整個大數(shù)據(jù)的功能會越來越多。

對騰訊來說,去做開源主要有兩點:

第一,其影響力優(yōu)勢能夠吸引更多的開發(fā)者加入跟我們一起來研發(fā)。

第二,只有整個開源生態(tài)的繁榮,才能夠讓開源軟件的功能更加完善,也能夠更好的支撐到我們的業(yè)務。

關(guān)于ABC,這其實也突顯了今天說到的融合這個主題。

首先,因為機器學習平臺和大數(shù)據(jù)平臺屬于一個大團隊,底層研發(fā)力量的融合。另外,Angel就是AB融合中的一個很好的成果體現(xiàn),我們把數(shù)據(jù)處理和數(shù)據(jù)訓練,在Angel里面做閉環(huán),所以一個Angel就能呈現(xiàn)出一些同類產(chǎn)品不具備的優(yōu)勢。

在上層應用上,如果光有AI、沒有數(shù)據(jù)去支撐,整個業(yè)務其實很難跑得起來。和C的融合,指的是無論CPU資源還是GPU資源,亦或是FPGA資源,要擁有很好的彈性和開箱即用的能力,就需要云的能力,所以希望把這些能力都放在云上,能夠提供給開發(fā)者和企業(yè),來實現(xiàn)整個的ABC的融合。

3、第一個問題,現(xiàn)在業(yè)界談自主可控比較多,開源在自主可控方面具有哪些優(yōu)勢?第二個問題,騰訊在開源建設和開源項目上做了很多嘗試,那么具體做了哪些努力?取得了哪些成果?

答:相對于閉源軟件,基于開源最大的好處是無任何廠商綁定風險。自主可控不等于從零開始研發(fā),使用主流的開源技術(shù),廠商和用戶聯(lián)合創(chuàng)新,核心的技術(shù)由企業(yè)自己掌握。在這個基礎之上來談自主可控,通過吸收自己以外的一些能力和資源,更好的實現(xiàn)自主可控。

在2017年,騰訊將第一代計算平臺Angel開源出來;到了2019年,新開發(fā)的Angel3.0平臺也已開源,現(xiàn)在已經(jīng)有像華為、小米、新浪微博等公司在使用這一平臺。

今天大會上,我們再度開源資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase。

未來,類似漂移計算、聯(lián)邦學習數(shù)據(jù)庫等這樣的能力,我們都會陸續(xù)去開放和開源。所以整個開源生態(tài),其實如果由企業(yè)來推動大家來加入這才是一個正生態(tài),如果好東西永遠都留在自己家里,那其實這個生態(tài)很難去繁榮。

4、關(guān)于大數(shù)據(jù)的四個方向,具體是什么?

答:大數(shù)據(jù)平臺發(fā)展的四個方向:

第一個是批流融合,一直以來,批和流的引擎都是分開的,近幾年批流融合的嘗試越來越多,但是基本都是在SQL層面做融合,未來有沒有可能從底層的計算引擎融合?我們正在做這個方面的研究。

第二是ABC的融合,上一個問題也說過了,不再重復。

第三個就是數(shù)據(jù)湖和聯(lián)邦學習。剛才分享過的漂移計算就是數(shù)據(jù)湖方向的,是為了解決跨IDC、跨平臺、解決異構(gòu)數(shù)據(jù)的共享計算的問題,而聯(lián)邦學習是為了解決數(shù)據(jù)共享帶來的數(shù)據(jù)安全和數(shù)據(jù)隱私的問題。

第四個是必須具備混合部署的能力,公有云、私有云,不同的集群,都能管理好。還有跨域的數(shù)據(jù)共享,不同區(qū)域,不同機房,不同的云。

5、Angel平臺目前針對于哪些復雜計算場景在做數(shù)據(jù)的訓練?

答:Angel原來更專注解決大數(shù)據(jù)、大模型體系。舉一個最簡單的例子,在Spark引擎下現(xiàn)在只能支持幾千萬維度的計算,而我們現(xiàn)在的實際需求已經(jīng)達到了萬億,就是說這之間有幾百倍的差距,所以必須要去做自研。

主要的應用場景像我們本身的廣告、金融、微信支付、整個社交體系等都有應用。除了上述提到的幾家廠商,現(xiàn)在又在平臺上迭代了一些新的能力,讓開發(fā)者應用,希望將Angel做成一個全棧式的平臺,能夠給開發(fā)者更好的體驗。

6、騰訊的數(shù)據(jù)庫有很多,為什么選擇TBase開源?選擇開源的標準是什么?

答: TBase源于開源的PostgreSQL,功能強大,適合企業(yè)級應用。

可以用來開源的平臺,第一基礎是至少這個平臺是穩(wěn)定的、可靠的,并且在騰訊已有的大業(yè)務經(jīng)過歷練的。第二個基礎,開源出去的東西對業(yè)界是有價值的,而不能說光在騰訊環(huán)境下有用。最后一個基礎,騰訊在大力推動開源協(xié)同的技術(shù)戰(zhàn)略,這是自上而下的,整個騰訊的數(shù)據(jù)庫大方向會是開源協(xié)同。

7、騰訊(大數(shù)據(jù)類的)開源項目能為運營商提供怎樣的助力(偏向運營商角度)?

答:包括電信、聯(lián)通、移動在內(nèi),現(xiàn)在的運營商都在做云。云架構(gòu)的搭建和優(yōu)化對運營商本身的基礎建設是有很大幫助的。

5G技術(shù)的發(fā)展,會帶來非結(jié)構(gòu)化數(shù)據(jù)大規(guī)模的增加,包括AI能力的實現(xiàn),需要更多去尋找數(shù)據(jù)本身的價值,通過數(shù)據(jù)的價值去回填于運營商自身業(yè)務的發(fā)展。

也就是說,所有數(shù)據(jù)相關(guān)的動作,都是跟業(yè)務強關(guān)聯(lián)的,有商業(yè)價值的,才有我們長期發(fā)展的空間。值得注意的是,在做數(shù)據(jù)價值挖掘的時候,需要大數(shù)據(jù)平臺和AI的平臺來構(gòu)建底層建設,這是一脈相承的邏輯。

8、做開源對于企業(yè)來說有哪些商業(yè)價值的回饋?

答:首先互聯(lián)網(wǎng)公司最大的價值是人才,開源會聚集很多的人才。

在我看來,研發(fā)和開發(fā)只有高端人才云集,我們才能做出高價值的產(chǎn)品,能夠服務我們高價值的業(yè)務,這是很關(guān)鍵的一個邏輯。所以開源其實沒有直接的商業(yè)價值,但間接的商業(yè)價值是一定會有的并且會越來越大。

9、Spark on Angel和Pytorch on Angel這兩個平臺的區(qū)別在哪里?各自帶來的優(yōu)勢或者是能力是什么?

答:主要是深度學習和圖計算的能力,為了滿足不同的開發(fā)者,我們會去支持不同的引擎,這個我覺得是一個功能和生態(tài)的延伸??赡芪磥碛行碌暮糜玫拈_發(fā)平臺出來,我們也會去支持,因為這才能夠活躍生態(tài)。

10、做開源的成本有哪些?對比國內(nèi)外開源的進度,打造騰訊大數(shù)據(jù)平臺時如何在技術(shù)上作取舍?

答:開源一定會帶來人力成本的消耗,會涉及到一些額外的工作量。我相信每一個推動開源的人、組織和企業(yè)都是富有社會責任感的,如果沒有社會責任感的企業(yè)是不會做開源這件事情。對于騰訊這樣體量的企業(yè),去消耗一部分人力去做生態(tài)的建設,投入是非常值得的。

無論國內(nèi)國外,整體上是一個逐步前進的過程,而開源社區(qū)的認同感是社區(qū)可以給予的,越來越多的開發(fā)者也開始認可國內(nèi)開源社區(qū)的存在。其次,國外有很多商業(yè)機構(gòu)在做商業(yè)的大數(shù)據(jù)產(chǎn)品,這是基于企業(yè)的生產(chǎn)需要。開源大數(shù)據(jù)項目,更多是形成監(jiān)督和共建的機制,反過來推進團隊更好地往前的發(fā)展。

更多精彩內(nèi)容請關(guān)注雷鋒網(wǎng)網(wǎng)絡安全欄目或雷鋒網(wǎng)旗下微信公眾號宅客頻道。

從引進到自研再到開源融合,這10年騰訊大數(shù)據(jù)平臺經(jīng)歷了什么

推薦內(nèi)容