在人工智能領域，隨著模型規模的不斷擴大，推理成本和訪存效率已成為制約大模型廣泛應用的關鍵瓶頸。傳統方法如moe（mixtureofexperts）雖然通過稀疏激活機制成功實現了計算和參數的解耦，但在推理場景下，其高昂的訪存成本和較慢的速度卻成為了不可忽視的問題。近日，字節跳動豆包大模型團隊提出的ultramem架構，為這一難題提供了全新的解決方案，并在iclr2025上得到了認可。本文將深入探討ultramem的創新之處，以及它如何引領大模型推理的未來。
ultramem：高效推理的新紀元
ultramem是一種將計算和參數解耦的稀疏模型架構，它在保證模型效果的前提下，顯著解決了推理時的訪存問題。相較于moe，ultramem在推理速度上實現了2-6倍的提升，推理成本最高可降低83%。這一突破性的成果，無疑為構建大規模語言模型（llm）提供了有力的支持。
在transformer架構下，模型的性能與其參數數量和計算復雜度密切相關。然而，隨著llm規模的不斷增大，推理成本急劇增加，速度變慢，成為制約其廣泛應用的關鍵因素。moe架構雖然通過稀疏激活機制降低了計算量，但在推理時，較小的batchsize會激活全部專家，導致訪存急劇上升，推理延遲大幅增加。而ultramem則通過一系列創新設計，有效解決了這一問題。
ultramem的創新之處
ultramem的創新主要體現在三個方面：優化模型結構、優化value檢索方式以及隱式擴展稀疏參數。
首先，在模型結構上，ultramem借鑒了pkm（productkeymemory）的設計，但對其進行了改進。pkm的memorylayer只有一層，插在整個transformer的中間層，這對大規模訓練并不友好。ultramem則拆分出多個小memorylayer，以固定的間隔分布在transformerlayer中，并增加了skip-layer操作。這使得模型可以并行地執行memorylayer的訪存操作和transformerlayer的計算，從而提高了推理效率。
其次，在value檢索方式上，ultramem采用了更復雜的乘法方法tuckerdecomposedquery-keyretrieval（tdqkr）。這一方法受啟發于tuckerdecomposition，通過組合乘加行score和列score，提高了value檢索的復雜度，從而優化了模型效果。
最后，在隱式擴展稀疏參數方面，ultramem提出了implicitvalueexpansion（ive）方法。該方法通過引入virtualmemory和physicalmemory的概念，隱式地擴展了稀疏參數的數量，從而提高了模型的性能。同時，由于ive方法中沒有非線性操作，因此可以與physicalmemorytable進行融合，生成全新的memorytable，進一步降低了顯存和部署成本。
ultramem的實驗驗證與性能評估
為了驗證ultramem的有效性，研究團隊在多個尺寸的激活參數上進行了廣泛實驗。實驗結果表明，ultramem在680m和1.6b的激活參數上具有顯著的效果優勢。隨著稀疏參數的增加，ultramem的效果和推理速度均表現出良好的擴展性。
此外，研究團隊還進行了消融實驗，以探究ultramem各項改進對模型性能的影響。實驗結果表明，通過逐漸增加一些技巧和上文提出的結構改進，ultramem能夠顯著降低c4validationloss，同時稀疏參數和計算量幾乎不變。
ultramem的應用前景與挑戰
ultramem的提出，為開發更高效和可擴展的語言模型提供了一個有希望的方向。它不僅能有效地應用于對延遲要求較高的推理場景（如代碼補全），還能在通用場景下展現出顯著的速度優勢。然而，ultramem的技術演進仍存在若干值得探索的方向。例如，如何高效優化稀疏參數、如何提升稀疏模型推理能力、如何更優地激活稀疏參數等，都是后續研究的重要切入點。
總的來說，ultramem作為一種全新的稀疏模型架構，通過一系列創新設計，成功解決了大模型推理時的訪存問題，實現了推理速度和成本的雙重突破。它的提出，不僅為構建大規模語言模型提供了有力的支持，也為人工智能領域的未來發展開辟了新的道路。我們期待看到更多像ultramem這樣的創新成果不斷涌現，共同推動人工智能技術的不斷進步。</p>