国产精品久久久精品免费,日韩免费精品一区二区三区,日韩精品一区二区中文,日韩精品免费一区二区,亚洲精品国产一区二区三区四区 ,久久精品成人欧美大片,国产精品久久久久蜜桃,日韩精品久久久精品网站

0571-82835676

訓(xùn)推一體,全能高效 | 云尖信息G7466 X6服務(wù)器 x Intel?Gaudi? 2E AI加速卡

2025-08-11云尖信息發(fā)布

近日,云尖信息攜手英特爾,針對Gaudi® 2E AI加速器HL-288 PCIe卡(簡稱Intel®Gaudi® 2E PCIe卡,下同)完成專項調(diào)優(yōu)與適配工作,并重磅推出Intel Eagle Stream平臺4U8卡解決方案。該方案通過軟硬件協(xié)同優(yōu)化,顯著提升深度學(xué)習(xí)訓(xùn)練與推理性能,尤其在大模型訓(xùn)練、高內(nèi)存容量需求及實時推理等高強(qiáng)度場景中表現(xiàn)突出,可充分滿足行業(yè)對高效AI計算的核心訴求。

圖1 云尖信息G7466 X6(4U8卡)服務(wù)器規(guī)格

而Intel®Gaudi® 2E PCIe卡基于Habana Gaudi2架構(gòu)設(shè)計,面向數(shù)據(jù)中心和企業(yè)級AI工作負(fù)載優(yōu)化,旨在提供高性能、高效率的生成式AI計算。

圖2 Intel®Gaudi® 2E PCIe單卡 (全高全長雙寬FHFLDW)

該卡配備96 GB大容量內(nèi)存,其先進(jìn)的HBM控制器針對隨機(jī)訪問和線性訪問場景進(jìn)行了深度優(yōu)化,在各種訪問模式下可提供高內(nèi)存帶寬,有效避免因顯存不足造成AI訓(xùn)練或推理任務(wù)的延遲問題,保障計算流程的流暢性。在擴(kuò)展性方面,該卡表現(xiàn)尤為突出:單卡原生集成24個50GbE RoCE v2 RDMA端口,通過配套的四卡全連接板,可對四張PCIe卡進(jìn)行全連接,提升多卡互聯(lián)性能。全連接板與每張PCIe卡內(nèi)18個50Gbps口相連,實現(xiàn)四張卡兩兩互聯(lián)300Gbps的通信帶寬。

圖3 Intel®Gaudi® 2E PCIe四卡 (接全連接板)

同時,該卡基于Intel的可編程TPC和GEMM引擎,融合了諸多技術(shù)創(chuàng)新,支持各種面向AI級的高級數(shù)據(jù)類型,如FP8/BF16/PF16/TF32和FP32。通過外接網(wǎng)卡,實現(xiàn)橫向擴(kuò)展,以滿足多節(jié)點集群的需要。

據(jù)最新實測數(shù)據(jù)顯示,G7466 X6服務(wù)器:搭配8張Intel®Gaudi® 2E PCIe卡,運行DeepSeek-R1-671B模型,在輸入/輸出token長度均為1k,多用戶并發(fā)數(shù)為32的條件下,單并發(fā)Token生成效率達(dá)11 Tokens/s,可滿足企業(yè)級私有化部署。搭配2張Intel®Gaudi® 2E PCIe卡,運行DeepSeek-R1-Distill-Qwen-32B模型,在輸入/輸出token長度均為1k、多用戶并發(fā)數(shù)為32的條件下,單并發(fā)Token生成效率達(dá)20 Tokens/s,可滿足AI推理(知識庫)一體化應(yīng)用。

在AI算力需求爆發(fā)的當(dāng)下,云尖信息G7466 X6服務(wù)器與Intel®Gaudi® 2E AI加速卡的強(qiáng)強(qiáng)聯(lián)合,正是精準(zhǔn)呼應(yīng) “訓(xùn)推一體” 的高效算力需求—— 從模型訓(xùn)練的深度突破到推理部署的實時響應(yīng),其全能表現(xiàn)將切實助力各行各業(yè)加速 AI 技術(shù)落地與價值釋放。若您想了解更多適配場景、性能數(shù)據(jù)或定制化方案,歡迎聯(lián)系交流,我們將為您提供更詳盡的技術(shù)解讀與全流程支持,讓高效AI算力真正轉(zhuǎn)化為業(yè)務(wù)增長的強(qiáng)勁引擎。