近日,人工智能計算領(lǐng)域的引領(lǐng)者NVIDIA召開(kāi)了全球開(kāi)發(fā)者大會(huì )GTC 2023,GPU芯片與百度飛槳深度學(xué)習平臺的合作持續深入,百度技術(shù)專(zhuān)家特別分享了飛槳如何支持大模型生產(chǎn)和應用、大規模圖學(xué)習訓練技術(shù)PGLBox、端到端大模型開(kāi)發(fā)套件PaddleFleetX、全場(chǎng)景高性能AI部署工具FastDeploy等前沿內容。
深度學(xué)習框架是連接軟硬件的關(guān)鍵軟件平臺,框架與AI芯片、計算系統的聯(lián)合優(yōu)化是充分釋放算力、實(shí)現AI基礎設施極致優(yōu)化的重點(diǎn)。飛槳作為中國首個(gè)自主研發(fā)、開(kāi)源開(kāi)放的產(chǎn)業(yè)級深度學(xué)習平臺,已發(fā)展成為中國市場(chǎng)應用規模第一的深度學(xué)習框架和賦能平臺,技術(shù)和生態(tài)實(shí)力深受廣大硬件廠(chǎng)商認可,合作日趨緊密,由此也為開(kāi)發(fā)者提供了軟硬一體的便捷體驗。
圖:百度AI技術(shù)生態(tài)總經(jīng)理馬艷軍在GTC 2023演講
硬件廠(chǎng)商與飛槳的合作經(jīng)歷了“共聚”“共研”“共創(chuàng )”三個(gè)階段,且逐年深入。基于A(yíng)I基礎軟硬件協(xié)同發(fā)展趨勢的判斷,飛槳于2020年,率先與國內外領(lǐng)先的硬件廠(chǎng)商開(kāi)展對接,獲得積極響應和支持。2021年,飛槳與硬件伙伴攜手共研解決適配技術(shù)方案復雜、成本高等問(wèn)題,飛槳推出了多層次、低成本的硬件適配統一方案,包括自定義算子庫接入、自定義通信庫等多項基礎軟件改造,硬件伙伴可以根據硬件特性靈活選擇,極大降低適配成本。截至目前,超過(guò)40家硬件廠(chǎng)商與飛槳深度融合優(yōu)化,基本全適配國產(chǎn)芯片。
2022年,飛槳與硬件伙伴從適配優(yōu)化進(jìn)一步發(fā)展到協(xié)同創(chuàng )新的“共創(chuàng )”階段。硬件伙伴希望通過(guò)定制版的飛槳框架、模型庫等來(lái)豐富其自身的AI軟件棧。飛槳也能通過(guò)硬件底層開(kāi)發(fā)體驗的提升,幫助更多開(kāi)發(fā)者低門(mén)檻實(shí)現AI應用創(chuàng )新。
NVIDIA與飛槳率先完成了聯(lián)創(chuàng )工作。以NVIDIA合作為范例,飛槳與國內外更多硬件伙伴聯(lián)合發(fā)布了基于飛槳開(kāi)源版的廠(chǎng)商定制版飛槳框架和模型庫等。
據介紹,NVIDIA將飛槳列為全球前三的深度學(xué)習框架合作伙伴,在中國設立了專(zhuān)門(mén)的工程團隊支持,賦能飛槳。雙方聯(lián)合開(kāi)發(fā)了三大主要產(chǎn)品:基于NVIDIA GPU定制優(yōu)化的飛槳容器NGC,包含了最新的NVIDIA工具包(CUDA、DALI等)和優(yōu)化的飛槳版本,為開(kāi)發(fā)者提供最佳開(kāi)發(fā)環(huán)境;NVIDIA Deep Learning Examples向用戶(hù)提供易于訓練和部署的飛槳模型示例;在NVIDIA深度學(xué)習培訓中心(DLI)打造系列免費課程及聯(lián)名認證證書(shū),幫助開(kāi)發(fā)者提高訓推性能并簡(jiǎn)化代碼,并給予權威認可。
百度AI技術(shù)生態(tài)總經(jīng)理馬艷軍在GTC演講中表示,人工智能應用的發(fā)展離不開(kāi)硬件合作伙伴的共同努力。我們聯(lián)合NVIDIA、Intel和Arm等13家合作伙伴共同發(fā)布了飛槳生態(tài)發(fā)行版,實(shí)現軟硬件協(xié)同深度優(yōu)化。飛槳“硬件生態(tài)共創(chuàng )計劃”伙伴數量已達29家,聚生態(tài)之力,共同打造軟硬一體的全棧式AI平臺,促進(jìn)人工智能產(chǎn)業(yè)鏈高質(zhì)量發(fā)展。
飛槳“硬件生態(tài)共創(chuàng )計劃”主要包含聯(lián)合研發(fā)、資源共享、聯(lián)合授權、培訓賦能四項重點(diǎn)工作,旨在協(xié)同戰略合作伙伴軟硬一體全面共創(chuàng ),以更好地服務(wù)開(kāi)發(fā)者。
在聯(lián)合研發(fā)方面,飛槳與硬件伙伴成立技術(shù)研發(fā)虛擬聯(lián)合團隊,共建聯(lián)合研發(fā)基礎設施,并對模型進(jìn)行性能優(yōu)化,推出廠(chǎng)商定制版飛槳框架,大大提升飛槳模型在各類(lèi)AI硬件上的訓練推理性能,為開(kāi)發(fā)者提供更多更好選擇。
在資源共享方面,飛槳與硬件伙伴共享推廣宣傳資源,合作打磨飛槳+硬件廠(chǎng)商特色營(yíng)銷(xiāo)工具包,并通過(guò)品牌活動(dòng)、賽事、閉門(mén)會(huì )、數字化展廳等提供展示平臺,幫助業(yè)務(wù)拓展。
在聯(lián)合授權方面,飛槳會(huì )將與硬件伙伴聯(lián)合優(yōu)化的方案和飛槳的特色能力優(yōu)先推薦給生態(tài)伙伴。飛槳還基于硬件平臺聯(lián)合開(kāi)發(fā)飛槳一體機,為企業(yè)提供功能全面、便捷高效、穩定可靠的一站式人工智能服務(wù)。
在培訓賦能方面,飛槳與硬件伙伴聯(lián)合開(kāi)發(fā)飛槳+硬件使用開(kāi)發(fā)教程,并在雙方的學(xué)習與實(shí)訓社區提供系列課程及聯(lián)名認證證書(shū)。其中,飛槳AI Studio已經(jīng)是全國最大的人工智能學(xué)習與實(shí)訓社區,擁有超過(guò)300萬(wàn)注冊用戶(hù)。飛槳AI Studio還開(kāi)設了硬件廠(chǎng)商專(zhuān)區,為開(kāi)發(fā)者提供體驗更多AI硬件的機會(huì )。
隨著(zhù)人工智能技術(shù)在各行業(yè)的廣泛應用,業(yè)界已從各自獨立的硬件算力驅動(dòng)和算法創(chuàng )新驅動(dòng)進(jìn)入到算法和硬件協(xié)同創(chuàng )新階段。飛槳將通過(guò)硬件生態(tài)共創(chuàng )計劃,結合伙伴自有軟硬件基礎開(kāi)發(fā)棧特色,真正實(shí)現軟硬件互聯(lián)互通、創(chuàng )新發(fā)展。
飛槳秉持AI時(shí)代操作系統的產(chǎn)業(yè)鏈定位,開(kāi)放擁抱所有硬件廠(chǎng)商。通過(guò)技術(shù)聯(lián)合研發(fā)和生態(tài)共享共創(chuàng ),飛槳將攜手硬件伙伴一起開(kāi)拓更多軟硬件協(xié)同的產(chǎn)品和服務(wù),加速人工智能的應用落地,推動(dòng)AI工業(yè)大生產(chǎn)實(shí)現進(jìn)程。