應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

摩爾線程 MTT S5000 適配 FlagOS 訓(xùn)練全要素軟件棧,實現(xiàn) Qwen3-0.6B 端到端無中斷訓(xùn)練

2026-03-30 09:39 IT之家
關(guān)鍵詞:摩爾線程

導(dǎo)讀:北京智源人工智能研究院正式發(fā)布重磅驗證成果:六款 AI 芯片、三大模型、同構(gòu) + 異構(gòu)千卡 —— 眾智 FlagOS 以統(tǒng)一技術(shù)棧完成 AI 訓(xùn)練“全要素”驗證。

  3 月 27 日消息,摩爾線程發(fā)文,北京智源人工智能研究院(簡稱:智源研究院)正式發(fā)布重磅驗證成果:六款 AI 芯片、三大模型、同構(gòu) + 異構(gòu)千卡 —— 眾智 FlagOS 以統(tǒng)一技術(shù)棧完成 AI 訓(xùn)練“全要素”驗證。

  作為本次驗證的核心參與廠商之一,摩爾線程基于旗艦級 AI 訓(xùn)推一體全功能 GPU 智算卡 MTT S5000,完整適配了FlagOS 訓(xùn)練全要素軟件棧—— 包括FlagScale系統(tǒng)調(diào)度決策框架、Megatron-LM 分布式訓(xùn)練框架、Transformer Engine 加速庫、FlagGems 與Triton算子庫,以及 FlagCX 通信庫。

  在此次驗證中,MTT S5000 面向 Qwen3-0.6B 語言模型完成了 1T Tokens 從頭訓(xùn)練驗證,實現(xiàn)連續(xù) 6 天以上、超過 14000 步的無中斷穩(wěn)定訓(xùn)練。訓(xùn)練所得模型 Loss 曲線與基線高度一致,平均相對誤差控制在 0.82% 以內(nèi);在標(biāo)準(zhǔn)下游任務(wù)評測中,較行業(yè)標(biāo)桿基線提升 1.65 個百分點,充分驗證了全功能 GPU 算力在大模型端到端訓(xùn)練中的穩(wěn)定性與有效性。