中國多模態大模型產業洞察——未來展望

通過不同策略構建多模態輸入輸出空間、設計對齊架構與訓練策略、進行全面可靠評測，以及將輸入輸出擴展框架應用于具身智能場景，最終目標是構建具有一般性能力的世界基座模型

多模態大模型未來展望分析（將離散或連續模態表示與文本空間結合）

主流策略

構建混合空間：以連續形式整合模態信息，并與離散文本對齊。

統一離散表示：使用離散化的形式建模多種模態，確保生成與理解任務的統一處理。

優勢對比

混合空間：在理解類任務上表現出色，但在多模態生成任務中支持有限。

統一離散表示：適配生成與理解任務，在理解任務上的效果略遜。

未來展望

學術社區正在積極探索更高效的模態表示方法和編碼器，旨在兼顧生成和理解任務。

離散與連續模態表示的選擇和優化目標密切相關，兩者在設計思路和訓練方法上存在互相借鑒和促進的可能性。

多模態大模型未來展望分析（設計模型架構與訓練策略）

問題2：如何設計模型架構與訓練策略，完成多模態輸入輸出空間的對齊？

模型架構

根據輸入空間設計對應的輸入端對齊模塊，根據不同模態的輸出形式設計輸出對齊模塊。

引入額外的內部模塊，以更好地建模跨模態的交互。

訓練策略

經歷預訓練和指令微調兩個階段，前者用于對齊多模態表示，后者學習多模態場景下的指令遵循能力。

根據應用和優化的目標選擇和混合訓練數據，確保數據的豐富度、質量和規模。

根據模型架構設定合適的參數，如可訓練參數等。

挑戰與機遇

模型架構的設計存在多種選擇，且不同設計間存在tradeoff，需要通過實證性分析獲取相對較優的設定。

訓練策略的選擇同樣重要，需要平衡數據豐富度、質量和規模，以及模型架構的復雜性。

知前沿，問智研。智研咨詢是中國一流產業咨詢機構，十數年持續深耕產業研究領域，提供深度產業研究報告、商業計劃書、可行性研究報告及定制服務等一站式產業咨詢服務。專業的角度、品質化的服務、敏銳的市場洞察力，專注于提供完善的產業解決方案，為您的投資決策賦能。

轉自頭豹信息科技南京有限公司 研究員：袁栩聰/陳慶民