北京2023年9月21日 /美通社/ -- 隨著生成式AI快速發(fā)展，人工智能在各行各業(yè)廣泛應用，AI算力需求劇增，AI芯片多元化趨勢凸顯，帶來了芯片開發(fā)成本高、多元芯片使用難等挑戰(zhàn)。近日，浪潮信息面向全行業(yè)公布了《開放加速規(guī)范AI服務器設計指南》（以下簡稱《指南》）。《指南》基于浪潮信息在開放加速計算領域豐富的產品研發(fā)和工程實踐經驗，為AI加速卡和系統(tǒng)設計提供參考，大幅縮短AI加速卡與AI服務器的適配周期，促進生成式AI多元算力發(fā)展，助力用戶把握生成式AI爆發(fā)帶來的算力產業(yè)巨大機遇。
AI算力需求爆發(fā)，芯片多元化難題亟需破解
當前，生成式AI技術飛速發(fā)展，引領了新一輪AI創(chuàng)新浪潮。隨之而來的是生成式AI算力需求猛增，推動算力產業(yè)轉型升級。Henessy和Patterson在幾年前的《計算機架構的新黃金時代》中就引入了特定領域體系架構（Domain Specific Architectures，DSAs）的概念，即隨著通用算力技術的演進逐漸減緩，針對特定問題或領域定制計算架構變得愈發(fā)重要?；贒SAs思想設計的AI計算芯片，在特定人工智能工作負載下展現出超越通用芯片的處理能力，這極大地推動了多元化AI芯片的發(fā)展。
目前，全球已有上百家公司投入新型AI加速芯片的開發(fā)，但也帶來了新的挑戰(zhàn)。主要表現在，單機性能、功耗和擴展性更高，算力平臺規(guī)模更大，對卡間互聯、網絡帶寬和延遲提出了更高的要求。加速卡間通信的數據量越來越多，僅僅通過傳統(tǒng)的PCIe P2P通信已經無法滿足超大規(guī)模深度學習模型的要求。
為了解決這些問題，芯片公司相繼推出了各自非標準PCIe CEM形態(tài)的AI加速卡，這些新形態(tài)的AI加速卡支持更高的功耗和更強大的卡間互聯能力。但不同廠商采用不同技術路線，導致不同芯片需要定制化的系統(tǒng)硬件平臺承載，系統(tǒng)平臺研發(fā)通常大約需要6到12個月的時間。專有AI計算硬件系統(tǒng)開發(fā)周期長、研發(fā)成本高，嚴重阻礙了新型AI加速芯片的研發(fā)創(chuàng)新和應用推廣。
OAI架構為超大規(guī)模深度神經網絡模型而生
開放計算組織OCP在2019年發(fā)布了專門面向大模型訓練的開放加速計算（OAI）系統(tǒng)架構。Mezz扣卡形態(tài)的加速器具備更高的散熱和互聯能力，可以承載具有更高算力的芯片。同時，它有非常強的跨節(jié)點擴展能力，可以很輕易地擴展到千卡、萬卡級的平臺，支撐大模型的訓練。這個架構是天然適用于超大規(guī)模深度神經網絡訓練的計算架構。
但是，在產業(yè)落地過程中，很多廠商所開發(fā)的加速卡依然存在硬件接口不統(tǒng)一、互連協議不統(tǒng)一，同時軟件生態(tài)互不兼容，帶來了新型AI加速卡系統(tǒng)適配周期長、定制投入成本高的落地難題，導致算力供給和算力需求之間的剪刀差不斷加大，行業(yè)亟需更加開放的算力平臺，以及更加多元的算力支撐大模型的訓練。
此外，由于各種類型AI芯片的連接接入標準不同，用戶在使用多元AI芯片系統(tǒng)時還會遇到系統(tǒng)適配、芯片驅動、互聯互通、功耗管理、安全傳輸、易用性等各類問題，使用戶在部署多元AI芯片算力系統(tǒng)時面臨巨大挑戰(zhàn)。
從開放加速基板到千卡算力平臺落地，浪潮信息的多元算力之路
芯片多元化、芯片生態(tài)割裂化是人工智能發(fā)展道路上必須要解決的挑戰(zhàn)。基于這一洞察，浪潮信息從2018年就開始布局，持續(xù)推進開放加速規(guī)范（OAM）建立和產品技術創(chuàng)新，力圖從系統(tǒng)架構層面幫助芯片廠商降低適配周期和研發(fā)成本，助力用戶更快速、更方便地使用多元AI算力。
浪潮信息做的首要工作是打造一款通用加速器基板UBB，能夠兼容多種OAM芯片，并在此基礎上研發(fā)計算系統(tǒng)。2019年，浪潮信息開發(fā)出了首個開放加速計算系統(tǒng)MX1。MX1采用高帶寬、雙供電等技術，21英寸系統(tǒng)可支持多種符合OAM規(guī)范的AI加速器，芯片互聯總帶寬達到224Gbps，并提供全互聯（Fully-connected）和混合立體互聯HCM（Hybrid Cube Mesh）兩種互聯拓撲，方便用戶針對不同神經網絡模型，根據芯片通信的需求靈活設計芯片互聯方案。
MX1推出后，市場需求表明，多元芯片大規(guī)模落地需要整機服務器的支持，因此浪潮信息又投入力量進行OAM服務器的研發(fā)。2021年，浪潮信息發(fā)布業(yè)界首款OAM服務器NF5498A5，在19英寸機箱中集成集成8顆OAM加速卡和2顆高性能CPU，卡間互連帶寬448 GB/s。2022年，推出液冷OAM服務器"錢塘江"，實現8顆OAM加速器和兩顆高功耗的CPU的液冷散熱，液冷散熱覆蓋率超過90%，基于"錢塘江"構建的液冷OAM智算中心解決方案，千卡平臺穩(wěn)定運行狀態(tài)下PUE值小于1.1。今年又發(fā)布了新一代開放加速AI服務器NF5698G7，支持8顆OAM高速互聯的Gaudi2加速器，基于全PCIe Gen5鏈路，H2D互聯能力提升4倍，提供強大的大模型訓練和推理能力。
同時，針對多元芯片管理和調度難題，浪潮信息推出了AIStation人工智能平臺，可高效調度30多款AI芯片。通過適配浪潮信息提供的AI芯片算力接入規(guī)范，AI芯片即可快速接入AIStation平臺，幫助用戶降低多元AI芯片的使用和管理難度。
浪潮信息的多元AI算力產品方案得到了眾多用戶的認可，已經在多個智算中心應用落地，成功支持GPT-2、源1.0及實驗室自研蛋白質結構預測等多個超大規(guī)模巨量模型的高效訓練，并部署了智能寫詩助手應用，讓人們親身體驗源1.0大模型的超強語言智能，加速生成式AI應用落地。
面向全行業(yè)公布《指南》，以開放規(guī)范應對生成式AI挑戰(zhàn)
基于豐富的多元算力產品研發(fā)和工程實踐經驗，浪潮信息于近期面向全行業(yè)公布了《開放加速規(guī)范AI服務器設計指南》，希望幫助業(yè)界高效開發(fā)符合開放加速規(guī)范的AI加速卡，并大幅縮短與AI服務器的適配周期，為用戶提供最佳匹配應用場景的AI算力產品方案。
《指南》指出，開放加速規(guī)范AI服務器設計應遵循四大設計原則，即應用導向、多元開放、綠色高效、統(tǒng)籌設計。在此基礎上，應采用多維協同設計、全面系統(tǒng)測試和性能測評調優(yōu)的設計方法。
具體而言，生成式AI計算系統(tǒng)是一體化高集成度算力集群?！吨改稀方o出了從節(jié)點到集群的軟硬全棧參考設計，指導系統(tǒng)廠商和芯片廠商在規(guī)劃初期做好全方位、多維度的協同，最大化減少定制開發(fā)內容。
全面系統(tǒng)測試中，浪潮信息將在OAM領域創(chuàng)新實踐中遇到的問題，細化放入《指南》之中，從而增強新研發(fā)系統(tǒng)的穩(wěn)定性和可靠性?！吨改稀穼Y構、散熱、壓力、穩(wěn)定性、軟件兼容性等方面的測試要點進行了全面梳理，幫助用戶進行更加全面、嚴苛的測試，最大程度降低系統(tǒng)生產、部署、運行過程中的故障風險，提高系統(tǒng)穩(wěn)定性，減少斷點對訓練持續(xù)性的影響。
生成式AI對計算系統(tǒng)的性能要求更高。浪潮信息將在全球權威AI基準評測MLPerf等測試中問鼎冠軍的實戰(zhàn)測試優(yōu)化經驗，也呈現在了《指南》中。《指南》給出了基礎性能、互連性能、模型性能測試的要點和指標，并指出了針對大模型訓練和推理性能調優(yōu)的要點，以確保開放加速規(guī)范AI服務器能夠有效支撐當前主流大模型的創(chuàng)新應用。
面對生成式AI帶來的算力挑戰(zhàn)，浪潮信息將秉持開放、開源的理念，攜手產業(yè)鏈上下游合作伙伴，加速推進多元AI算力產品方案落地，助力用戶構建高效穩(wěn)定的AI算力平臺，照亮生成式AI的前路，推動更多行業(yè)加速智慧轉型。
