有計算奧運會(huì )之稱(chēng)的Sort Benchmark全球排序競賽公布了2016年最終成績(jì),騰訊云大數據聯(lián)合團隊用時(shí)僅僅98.8秒,就就完成了100TB的數據排序。
這打破了阿里云去年創(chuàng )造的329秒紀錄,而在更早的時(shí)候,百度曾經(jīng)的紀錄是716秒,Hadoop的紀錄是4222秒。

全球大數據性能進(jìn)化史
在這次競賽中,騰訊云數智分布式計算平臺奪得了GraySort、MinuteSort兩個(gè)項目的冠軍,同時(shí)創(chuàng )造四項世界紀錄,將阿里云去年的紀錄整體提高了2-5倍。
GraySort項目比的是如何在最短的時(shí)間內將總量100TB的1萬(wàn)億條無(wú)序100字節紀錄,從小到大進(jìn)行排序。騰訊云用時(shí)98.8秒完成,相當于每分鐘處理60.7TB,而去年冠軍的成績(jì)是18.2TB/分鐘。
MinuteSort比的則是在1分鐘之內能夠完成多少數據量的排序。騰訊云的成績(jì)是55TB,而去年只有11TB。
Sort Benchmark通過(guò)排序競賽考量一家公司或機構大規模計算能力的綜合實(shí)力,通過(guò)排序這個(gè)最基本的計算問(wèn)題,不僅全面評測分布式系統軟件架構能力(如海量數據分布式存儲、計算任務(wù)切片調度、節點(diǎn)通信協(xié)調同步、數據計算監控容災等性能),也評測了硬件架構能力(如服務(wù)器硬件選配、網(wǎng)絡(luò )架構調優(yōu)、IDC規劃建設能力等)。
為了參加此次競賽,騰訊云大數據聯(lián)合團隊在基礎架構上采用了512臺IBM OpenPower服務(wù)器和邁絡(luò )思公司的100Gb互聯(lián)技術(shù)。
