隨著人工智能業(yè)界大模型從稠密架構(gòu)向以DeepSeek為代表的多專家混合模型（MoE）架構(gòu)演進(jìn)，基于高端智算能力的云上推理成為當(dāng)前技術(shù)演進(jìn)的趨勢和必然需求，高效率推理性能成為智算資源提供領(lǐng)先者的核心競爭力。

　　近日，中國電信廣東公司聯(lián)合中國電信研究院、華為，基于中國電信粵港澳大灣區(qū)（韶關(guān)）算力集群，上線全球首個商用昇騰超節(jié)點(diǎn)智算集群，采用中國電信研究院自研"翼芯"智算測試與適配優(yōu)化平臺，針對多種推理場景開展了大模型性能優(yōu)化及測試。通過對主流模型與超節(jié)點(diǎn)系統(tǒng)迭代適配調(diào)優(yōu)，不同場景下的推理性能均實(shí)現(xiàn)了大幅提升；其中DeepSeek 671B滿血版模型達(dá)到單卡推理吞吐性能2122Tokens/s，刷新了業(yè)界紀(jì)錄。

　　昇騰超節(jié)點(diǎn)系統(tǒng)創(chuàng)新應(yīng)用全總線架構(gòu)，采用高速互聯(lián)技術(shù)，將384張910C智算卡緊密耦合，形成大型算力單元。該架構(gòu)在大幅降低模型并行通信時延的同時，還需要解決好資源調(diào)度與并行策略設(shè)置復(fù)雜性變高的問題；需要針對不同業(yè)務(wù)場景的資源和并發(fā)策略進(jìn)行靈活設(shè)置，才能最大程度發(fā)揮算力單元整體性能，將算力單元與大模型的親和度提升至最佳。

　　本次中國電信和華為合作，完成翼芯測試平臺與昇騰384卡超節(jié)點(diǎn)對接優(yōu)化，針對13項(xiàng)基準(zhǔn)性能、6類典型場景推理性能，采用5類典型資源配置開展自動化測試；同時嘗試采用算子融合替換、PD分離調(diào)度、KV cache優(yōu)化、集合通信優(yōu)化、并行策略優(yōu)化等多維度的調(diào)優(yōu)策略，不斷將吞吐性能提升到最大。經(jīng)充分優(yōu)化后，DeepSeek 671B模型在多種場景下的單卡吞吐性能較優(yōu)化前提升2.5～4.3倍；在保證TTFT為1.28s、TPOT為50ms的服務(wù)質(zhì)量指標(biāo)下，單卡吞吐性能達(dá)到2122Tokens/s，較業(yè)界前期測試最佳性能提升9.2％。

　　本次超節(jié)點(diǎn)優(yōu)化和性能指標(biāo)刷新，展示了中國電信對智算系統(tǒng)整體優(yōu)化核心技術(shù)的深刻理解與實(shí)踐創(chuàng)新能力。超節(jié)點(diǎn)可以根據(jù)客戶實(shí)際需要，靈活配置智算資源池資源，更高效地服務(wù)于復(fù)雜推理、多智能體協(xié)同等新業(yè)務(wù)場景。

　　下一階段，中國電信將開展更多場景的超節(jié)點(diǎn)形態(tài)優(yōu)化研究和驗(yàn)證測試，持續(xù)推動國產(chǎn)智算基礎(chǔ)設(shè)施建設(shè)和技術(shù)創(chuàng)新，全面助力人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展。（陳新豪 師春雨）

　　 轉(zhuǎn)自：人民郵電報(bào)