科技媒體 marktechpost 昨日（4 月 15 日）發(fā)布博文，報道稱蘋果工程師聯(lián)合法國索邦大學，通過對比早期融合和后期融合模型，發(fā)現(xiàn)從頭訓練的早期融合模型在計算效率和擴展性上更具優(yōu)勢。
多模態(tài) AI 現(xiàn)狀與面臨的挑戰(zhàn)
IT之家援引博文介紹，多模態(tài) AI 旨在同時處理圖像、文本等多種數(shù)據(jù)類型，但整合這些異構數(shù)據(jù)仍是一大難題。當前技術多采用后期融合（late-fusion）策略，即組合使用預訓練的單模態(tài)模型（如視覺編碼器和語言模型）。
這種方法雖然操作簡便，卻難以實現(xiàn)真正的多模態(tài)理解，單模態(tài)預訓練帶來的固有偏差，可能限制模型捕捉跨模態(tài)依賴關系。
此外，隨著系統(tǒng)規(guī)模擴大，各組件的參數(shù)、預訓練需求和擴展特性差異顯著，導致計算資源分配復雜，影響性能，尤其是在需要深度多模態(tài)推理的任務中。
早期融合與稀疏架構的突破
蘋果聯(lián)合團隊挑戰(zhàn)了傳統(tǒng)架構選擇，深入研究從頭訓練的原生多模態(tài)模型（NMMs）的擴展特性。
團隊對比了早期融合（early-fusion）和后期融合模型，發(fā)現(xiàn)從頭訓練時，兩者性能相當，但早期融合模型在低計算預算下更高效且易于擴展。
研究還探索了專家混合（MoE）稀疏架構，發(fā)現(xiàn)其能動態(tài)分配參數(shù)，針對不同模態(tài)進行專項優(yōu)化，相較于稠密模型，可以顯著提升性能，這點在小規(guī)模模型中優(yōu)勢明顯。
分析顯示，稀疏模型更傾向于優(yōu)先擴展訓練數(shù)據(jù)（training tokens）而非活躍參數(shù)（active parameters），這與稠密模型的擴展模式形成鮮明對比。
研究團隊通過系統(tǒng)實驗，訓練了從 0.3 億到 40 億活躍參數(shù)的多模態(tài)模型，驗證了早期融合和稀疏架構在多模態(tài)處理中的潛力。
結果表明，原生多模態(tài)模型的擴展規(guī)律與語言模型相似，但跨模態(tài)數(shù)據(jù)類型和訓練組合會略微影響擴展系數(shù)。此外，稀疏模型在等效推理成本下持續(xù)優(yōu)于密集模型，展現(xiàn)出處理異構數(shù)據(jù)的強大能力。
這些發(fā)現(xiàn)挑戰(zhàn)了傳統(tǒng)設計理念，表明統(tǒng)一早期融合架構結合動態(tài)參數(shù)分配，或將成為未來高效多模態(tài) AI 系統(tǒng)的重要方向。
