要點:
1. 代碼預訓練提升LLM在推理能力上的表現，能應用於更復雜的自然語言任務。
2. 代碼生成結構化的中間步驟，可以通過函數調用連接到外部執行終端。
3. 利用代碼編譯和執行環境提供了更多樣化的反饋信號，為模型的進一步改進提供支持。
站長之傢（ChinaZ.com）1月29日 消息:伊利諾伊大學香檳分校的研究團隊發表了關於代碼集成到LLM訓練數據中的好處。這項研究概述了代碼預訓練對LLM的影響，並追蹤了LLM作為智能智能體時的作用。將LLM連接到其他功能終端有助於模型更準確地執行任務，具備獲取外部知識和多種模態數據的能力。
論文地址
:https://arxiv.org/pdf/2401.00812v1.pdf
然而，選擇反饋信號時需要謹慎，因為嘈雜的提示可能會影響模型在下遊任務上的表現。此外，研究人員認為在訓練數據中加強代碼屬性可以直接提高模型的推理能力。
研究人員設想探索多樣化的訓練目標和新穎的架構將為進一步增強模型推理能力提供更多機會。對於數據密集型領域中更復雜的任務，模型需要精確掌握各種功能終端的使用方法，這是將LLM連接到不同的功能終端時面臨的挑戰。