設置
          • 日夜間
            隨系統
            淺色
            深色
          • 主題色

          阿里云:CPU為中心的計算體系也可加速AI推理

          2024-01-13 13:52:11 來源: 中國科學報

           Kg7流量資訊——探索最新科技、每天知道多一點LLSUM.COM

          1月11日,阿里云宣布第八代企業級通用計算實例ECS g8i算力再升級,國內首發代號Emerald Rapids的第五代英特爾至強可擴展處理器,依托阿里云自研的“飛天+CIPU”架構體系,ECS g8i實例的整機性能最高提升85%,AI推理性能最高提升7倍,可支撐高達72B參數的大語言模型。Kg7流量資訊——探索最新科技、每天知道多一點LLSUM.COM

          阿里云彈性計算產品線總經理張獻濤表示:“阿里云ECS g8i實例的強勁表現,證明了以CPU為中心的計算體系同樣具備加速AI推理的巨大潛力,公共云不僅可勝任超大規模的AI模型,也為AI應用加速落地開辟了新路徑。”Kg7流量資訊——探索最新科技、每天知道多一點LLSUM.COM

          對此,英特爾中國數據中心和人工智能集團至強客戶解決方案事業部總經理李亞東解釋說,最新上市的第五代英特爾至強? 可擴展處理器每個內核均內置 AI 加速功能,有能力處理要求嚴苛的 AI 工作負載。與上代相比,其AI訓練性能提升多達 29%,AI推理能力提升高達 42%。Kg7流量資訊——探索最新科技、每天知道多一點LLSUM.COM

          生成式AI掀起的技術革命,正在推動計算范式發生根本性的變化。當前,AI大模型推理在算力上依然面臨諸多挑戰,例如首包延遲受限于并行處理能力與浮點運算能力、吞吐性能則受限于內存帶寬和網絡延遲等。 Kg7流量資訊——探索最新科技、每天知道多一點LLSUM.COM

          阿里云ECS g8i實例針對這些難題進行了優化,包括內置指令集從AVX512升級到了Intel  AMX高級矩陣擴展加速技術,可讓生成式AI更快運行。相對于AVX512指令集,啟用AMX AI加速后,ECS g8i 實例在int 8矩陣計算的性能最高提升7倍。基于AMX AI加速能力,g8i可更迅速地響應中小規模參數模型,運行知識檢索、問答系統及摘要生成等AI工作負載時,起建成本相比A10 GPU云服務器下降50%。Kg7流量資訊——探索最新科技、每天知道多一點LLSUM.COM

          與此同時,基于自研eRDMA超低延時彈性網絡,阿里云g8i實例集群擁有超低延時網絡和高彈性優勢,可支撐72B參數級別的大語言模型分布式推理,推理性能隨集群規模接近線性加速,并可支持超過32batchsize的超大參數規模的AI模型負載,運行文生圖、AI生成代碼、虛擬助手以及創意輔助工具等AI工作負載。Kg7流量資訊——探索最新科技、每天知道多一點LLSUM.COM

          以阿里云通義千問開源的Qwen-72B大模型為例,可在g8i實例eRDMA網絡構建的集群實現高效運行,在輸入小于500字情況下,首包延時小于3秒,每秒可生成7個Token。Kg7流量資訊——探索最新科技、每天知道多一點LLSUM.COM

          本文鏈接:阿里云:CPU為中心的計算體系也可加速AI推理http://www.lensthegame.com/show-11-2124-0.html

          聲明:本網站為非營利性網站,本網頁內容由互聯網博主自發貢獻,不代表本站觀點,本站不承擔任何法律責任。天上不會到餡餅,請大家謹防詐騙!若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。

          上一篇: 數學筑基,軟件突圍

          下一篇: 高山書院學術管理委員會在京成立

          熱門資訊

          推薦資訊

          • 日榜
          • 周榜
          • 月榜
          主站蜘蛛池模板: 日本一区二区三区在线看| 在线精品国产一区二区三区| 国产成人av一区二区三区不卡 | 国产探花在线精品一区二区| 久久精品国产AV一区二区三区| 精品福利一区二区三区精品国产第一国产综合精品 | 精品无码综合一区| 日本一区二区三区不卡视频| 秋霞无码一区二区| 日韩欧国产精品一区综合无码| 精品国产一区二区22| 视频精品一区二区三区| 欧美激情国产精品视频一区二区 | 亚洲V无码一区二区三区四区观看| 亚洲国产综合无码一区二区二三区| 日韩AV片无码一区二区不卡| 国产主播福利一区二区| 精品欧洲AV无码一区二区男男| 亚洲AV成人一区二区三区AV| 国产成人无码一区二区在线播放| 国产精品一区二区av不卡| 秋霞电影网一区二区三区| 国产乱码精品一区三上| 国产成人无码aa精品一区| 国产一国产一区秋霞在线观看| 一本一道波多野结衣AV一区| 日韩一区二区三区射精| 国产精品亚洲一区二区三区在线观看| 国产一区二区三区播放心情潘金莲| 亚洲日韩中文字幕无码一区| 亚洲AV噜噜一区二区三区| 国产成人一区二区三区| 精品国产亚洲一区二区三区在线观看| 蜜桃传媒一区二区亚洲AV| 精品亚洲福利一区二区| 一区二区三区免费在线观看| 亚洲男人的天堂一区二区| 国产精品女同一区二区| 精品国产aⅴ无码一区二区| 欧洲精品码一区二区三区| 无码8090精品久久一区|