英特爾在MLPerf v6.0中強(qiáng)調(diào)可擴(kuò)展的AI推斷
英特爾發(fā)布了最新基準(zhǔn)測(cè)試成績(jī),展現(xiàn)了其在 CPU 與 GPU 平臺(tái)上的最新人工智能推理能力。該結(jié)果作為 MLCommons 組織MLPerf Inference v6.0測(cè)試套件的一部分正式公布,凸顯了英特爾至強(qiáng) 6 處理器搭配英特爾銳炫 Pro B 系列 GPU,在工作站、數(shù)據(jù)中心與邊緣端部署場(chǎng)景下的性能表現(xiàn)。對(duì)于關(guān)注 AI 硬件平臺(tái)演進(jìn)的工程師與開(kāi)發(fā)者而言,這些結(jié)果清晰展現(xiàn)了英特爾在當(dāng)前由專有 GPU 生態(tài)主導(dǎo)的市場(chǎng)中,如何布局開(kāi)放、可擴(kuò)展的推理系統(tǒng)。
基準(zhǔn)測(cè)試凸顯銳炫 Pro GPU 擴(kuò)展能力
MLPerf Inference v6.0 測(cè)試結(jié)果包含英特爾 GPU 平臺(tái)的四項(xiàng)核心基準(zhǔn)測(cè)試,平臺(tái)均采用至強(qiáng) 6 CPU 搭配銳炫 Pro B70 顯卡。英特爾表示,搭載4 塊銳炫 Pro B70/B65 GPU的系統(tǒng)可提供 128GB 顯存,能夠高并發(fā)運(yùn)行最高1200 億參數(shù)的大型 AI 模型。
英特爾稱,銳炫 Pro B70 GPU 的推理性能較上一代銳炫 Pro B601最高提升 1.8 倍。
英特爾還強(qiáng)調(diào)了軟件優(yōu)化帶來(lái)的性能提升。借助開(kāi)放、容器化的軟件棧,推理性能可從單節(jié)點(diǎn)系統(tǒng)擴(kuò)展至企業(yè)級(jí)多 GPU 部署。在相同的銳炫 Pro B60 硬件上,相比 MLPerf v5.12 版本,性能最高提升 1.18 倍。
英特爾數(shù)據(jù)中心集團(tuán) AI 產(chǎn)品與全球上市副總裁阿尼爾?南杜里表示:“英特爾至強(qiáng) 6 與銳炫 Pro B 系列 GPU 的組合,體現(xiàn)了我們?yōu)橥卣箍蛻暨x擇與價(jià)值所做的投入,提供面向大語(yǔ)言模型與傳統(tǒng)機(jī)器學(xué)習(xí)工作負(fù)載的實(shí)用解決方案,為全球圖形專業(yè)人士與 AI 開(kāi)發(fā)者帶來(lái)領(lǐng)先性能與卓越價(jià)值。”
面向 AI 工作站與邊緣端部署
搭載銳炫 Pro B70/B65 GPU 的英特爾系統(tǒng)被設(shè)計(jì)為軟硬一體驗(yàn)證的集成式推理平臺(tái)。該平臺(tái)通過(guò)基于 Linux 的容器化環(huán)境、多 GPU 擴(kuò)展與 PCIe 點(diǎn)對(duì)點(diǎn)數(shù)據(jù)傳輸,簡(jiǎn)化 AI 部署流程。
此類 GPU 還集成了企業(yè)級(jí)特性,包括ECC 內(nèi)存、SR-IOV 虛擬化支持、運(yùn)行狀態(tài)監(jiān)控與遠(yuǎn)程固件更新。
內(nèi)存容量是運(yùn)行大語(yǔ)言模型的關(guān)鍵因素。英特爾表示,在多 GPU 配置下,銳炫 Pro B70 可支持更大規(guī)模模型與更長(zhǎng)上下文窗口。相比同級(jí)別競(jìng)品 GPU,運(yùn)行大模型時(shí) B70 的鍵值緩存容量最高提升 1.6 倍。
至強(qiáng) CPU 仍是推理系統(tǒng)核心
盡管 GPU 常被視為 AI 加速焦點(diǎn),但英特爾著重強(qiáng)調(diào)了 CPU 在推理基礎(chǔ)設(shè)施中的核心作用。主 CPU 負(fù)責(zé)內(nèi)存管理、任務(wù)調(diào)度與集群整體效率,這些因素直接關(guān)系到系統(tǒng)的成本與性能。
英特爾是目前唯一一家單獨(dú)提交 CPU 推理成績(jī)的服務(wù)器處理器廠商。MLPerf Inference v6.0 中超過(guò)半數(shù)的提交項(xiàng)采用至強(qiáng)處理器作為主 CPU。
英特爾還指出其 CPU 路線圖的代際性能提升。搭載性能核(P-core)的至強(qiáng) 6 處理器,在 MLPerf Inference v5.1 中較上一代性能最高提升 1.9 倍。內(nèi)置 AMX、AVX-512 等 AI 加速技術(shù),可讓大語(yǔ)言模型推理、微調(diào)及傳統(tǒng)機(jī)器學(xué)習(xí)等工作負(fù)載,在無(wú)專用加速硬件的情況下仍高效運(yùn)行。
隨著 AI 推理在邊緣設(shè)備、工作站與數(shù)據(jù)中心的需求持續(xù)增長(zhǎng),廠商愈發(fā)聚焦融合 CPU、GPU 與優(yōu)化軟件棧的可擴(kuò)展架構(gòu)。英特爾最新 MLPerf 成績(jī),體現(xiàn)了其通過(guò)開(kāi)放平臺(tái)與系統(tǒng)級(jí)性能參與競(jìng)爭(zhēng),而非依賴專有 AI 基礎(chǔ)設(shè)施的戰(zhàn)略。











評(píng)論