騰訊云奪冠計算奧運冠軍 憑什么創(chuàng)下史上最好大數據成績？

　　2016年11月10日，具有計算奧運會之稱的SortBenchmark全球排序競賽公布結果，其中，騰訊云用98.8秒完成100TB的數據排序，打破阿里云去年創(chuàng)造的329秒記錄，以及更早前百度的716秒紀錄，這引起了業(yè)界的關注。

　　眾所周知，騰訊云直到最近幾年才開始發(fā)力公有云和大數據業(yè)務，而阿里云早從2009年開始就已經大張旗鼓的發(fā)展云計算業(yè)務，進入2016年全力推進大數據業(yè)務。那么，騰訊云在2016年底刷新大數據國際比賽的紀錄，是偶然事件還是確有過人之處?記者就此采訪了騰訊云副總裁、騰訊數據平臺部總經理蔣杰。

　　史上最好的大數據比賽成績

　　SortBenchmark是一個專門從事排序基準評估的非盈利國際機構，該機構每年主持的SortBenchmark排序競賽被認為是全球的“計算奧運會”，它主要通過“Sort排序”這個最基本的計算問題來評估一家公司或機構大規(guī)模計算的綜合實力，不僅全面評測分布式系統軟件架構能力，也評測硬件架構能力。這是因為“Sort排序”計算任務雖然比較基礎，但兼具測試系統IO(數據吞吐)和CPU資源消耗這兩項計算系統的核心性能評估指標，尤其適合以海量數據為基準來測評不同分布式系統的性能。

　　(上圖：近三年來SortBenchmark最好成績對比)

　　今年騰訊云總共參加了SortBenchmark的兩項主要比賽：GraySort和MinuteSort。GraySort比拼的主要是參賽系統對大規(guī)模數據的處理能力，MinuteSort則評測參賽系統的效率。具體來說，GraySort比拼的是在最短時間內將總共100TB、一共1萬億條無序的100字節(jié)記錄、按照從小到大的順序排序;而MinuteSort比拼的是在1分鐘之內能夠完成多少數據量的排序。每個比賽還再分為Indy(專用目的排序)和Daytona(通用目的排序)兩個子項。

　　騰訊云“數智分布式計算平臺”(以下簡稱“數智”)參加IndyGraySort測試，每分鐘可完成60.7TB的數據排序，去年的最好成績?yōu)?8.2TB/分鐘(阿里云)、2014年最好成績?yōu)?.38TB/分鐘(百度);參加DaytonaGraySort測試，每分鐘可完成44.8TB的數據排序，去年的最好成績?yōu)?5.9TB/分鐘(阿里云)、2014年最好成績?yōu)?.35TB/分鐘(UCSD，加州大學圣地亞哥分校)以及4.27TB/分鐘(ApacheSpark)。

　　騰訊云“數智”參加IndyMinuteSort測試的成績?yōu)?5TB，去年的最好成績?yōu)?1TB(阿里云)、2014年的最好成績?yōu)?TB(百度);參加DaytonaMinuteSort測試的成績?yōu)?7TB，去年的最好成績?yōu)?.7TB(阿里云)、2014年的最好成績?yōu)?.7TB(三星)。

　　根據SortBenchmark官網，可以看到騰訊云此次所取得的成績即便在SortBenchmark歷史上也算得上是最強。而蔣杰介紹說，騰訊云今年能取得好成績，不僅得益于騰訊云平臺自有的強大調度能力，還由于騰訊云平臺對自身的調度系統做了大量優(yōu)化工作，目前在騰訊內部系統中每天的調度達2億次，可以說是在海量系統中不斷驗證磨合出的大數據處理能力。

　　相應花了多少成本?

　　在本次SortBenchmark比賽中，騰訊云參賽系統主要采用的是512臺IBM的OpenPOWER服務器和邁絡思的100Gb網卡。蔣杰強調，這樣配置的平臺并不是專門為了本次比賽所搭建，而是來自于騰訊的日常計算服務網絡。

　　具體來說，本次騰訊云的參賽系統配備了512個節(jié)點，每個節(jié)點配置兩顆OpenPOWER處理器、512GB內存、4塊華為NVMeSSD盤、100GbMellanox網卡。而去年阿里云配備3377個節(jié)點，每節(jié)點兩顆至強E5-2630芯片、96G內存、12塊SATA硬盤、10G網卡。由于技術的飛速進行，兩個參賽系統的成本相差不大，騰訊云的系統總體成本甚至還要略低一些。

　　眾所周知，基于RISC架構的IBMPower芯片可同時執(zhí)行多條指令，可將一條指令分割成若干個進程或線程，交由多個處理器同時執(zhí)行，因此并行計算性能方面遠優(yōu)于基于CISC架構的英特爾x86芯片。同時，Power架構還可以很好地結合GPU的優(yōu)勢，形成IBM+NVIDIA的強強組合。IBM在2013年對Power芯片技術進行了開放，隨后出現了大批定制的OpenPOWER服務器。值得一提的是，OpenPOWER服務器芯片不僅性能更優(yōu)，而價格甚至要低于英特爾的同等性能芯片。

　　而基于OpenPOWER服務器的騰訊云大數據實時計算平臺，能提供單集群上千臺規(guī)模實時流式計算;在數據存儲方面則支持多重數據備份、萬億數據的存儲能力;在任務調度方面，支持百萬級任務的毫秒級調用;而且可以自動發(fā)現故障節(jié)點并自動剔除，通過業(yè)務的自動遷移、關鍵節(jié)點的主從熱備，實現故障的秒級切換。

　　當然，此次參賽也還是經歷了不少困難。蔣杰回憶說，在調優(yōu)的過程中發(fā)現網絡IO和磁盤IO都達不到理想的極限能力，雖然當時已經跑出了不錯的成績，但整個團隊沒有放過任何一個可以提高性能的機會。從架構到代碼細節(jié)再到硬件的驅動層，團隊成員加班加點、不停地提出優(yōu)化方案和嘗試，最終達到理想成績。

　　背后的騰訊云大數據平臺

　　蔣杰認為，最近幾年國內互聯網公司頻頻在該大賽中奪冠，說明國內公司在云計算、大數據等領域已經有了長足的進步，本次奪冠就是騰訊多年來技術積累的成果。在今年實際參賽時，組委會突然宣布比寒提前一個月進行，這出乎很多參賽團隊的預料，但這也考驗了參賽團隊的技術能力。

　　騰訊云參賽團隊所使用的大數據平臺“數智”，是騰訊云于2016年發(fā)布了的大數據解決方案，這是基于騰訊十余年海量數據處理核心能力所打造的一站式大數據處理平臺。在對微信每天160億級別的多維分析場景中，“數智”平臺能夠做到6秒返回結果。

　　“數智”結合騰訊在互聯網海量數據處理經驗、開源生態(tài)和自研組件服務，具有穩(wěn)定易用、技術開放、秒級多維分析處理、安全可靠等特性。在基礎架構上，騰訊云大數據團隊對包括YARN、HIVE、PIG、SPARK、Kylin等眾多開源組件進行深度優(yōu)化，大幅提升了平臺性能;在使用上，可以按需部署大數據處理服務，包括數據倉庫建設、報表展示、數據分析、客戶畫像等大數據應用。除此之外，“數智”還囊括了騰訊自研的機器學習引擎和內置算法庫，可視化操作方式讓非技術人員也可能輕松駕馭數據挖掘。

　　蔣杰介紹說，騰訊云“數智”平臺的誕生是因為騰訊要處理海量數據的自身需求。截至2015年底，騰訊QQ、QQ空間、微信等產品線背后，有著3萬億條數據接入、100億次數據分發(fā)、120PB的存儲、8.6PB的離線計算、2.5萬億的實時計算、500萬次任務調度等億萬級的數據處理經驗和能力，這些都是騰訊云“數智”這一大數據產品的基礎。

　　巨大的數據量和高復雜度高的數據分析，對底層技術平臺的要求也非常高。春晚搖一搖發(fā)紅包的千萬級并發(fā)請求量是搶火車票的一百余倍，要處理的不僅是海量并發(fā)請求，還有資源推送、紅包收發(fā)和金融級的安全防護等等。面臨每天的海量多維分析計算需求，已經無法通過傳統的開源社區(qū)組件來保證分析結果及時效性。

　　騰訊云大數據團隊針對交互式海量數據分析需求而自主研發(fā)了秒級分析平臺。“數智”實時檢索分析把檢索與數據分析有機結合，摒棄傳統數據分析的系統數據預加工模式，而是根據用戶輸入的個性化數據分析需求實時計算，可實現在億萬級數據、萬級維度的量級下進行任意維度組合、任意層級下鉆等分析作業(yè)，結果響應在數秒以內。

　　蔣杰表示，“數智”是騰訊云全面開放騰訊18年海量大數據處理經驗，讓企業(yè)在最短的時間內、用最少的資源，通過精準計算來建立核心商業(yè)競爭優(yōu)勢。用戶采用騰訊云大數據解決方案后，可在短時間內具備秒級響應的實時多維數據分析能力。“數智”目前已經在政府、傳統企業(yè)和互聯網企業(yè)中深度應用。

　　在2015年9月，國務院印發(fā)了《促進大數據發(fā)展行動綱要》，指出信息技術與經濟社會的交匯融合引發(fā)了數據迅猛增長，數據已成為國家基礎性戰(zhàn)略資源。隨著騰訊云在國際大數據大賽中取得新的世界紀錄，騰訊云的大數據平臺勢必將與騰訊的“互聯網+”相輔相承，成為在十三五期間的大數據高速公路之一。