英伟达重塑AI模型外部工具能力：DeepSeek-R1引领新RL范式，颠覆业界期待

重塑AI模型外部工具能力：英伟达引领新RL范式的探索

随着科技的发展，人工智能（AI）模型在各个领域的应用越来越广泛。尤其在语言模型领域，大型语言模型（LLMs）的表现日益出色，成为搜索引擎、计算器、视觉工具和Python解释器等领域的佼佼者。然而，随着技术的进步，我们也面临新的挑战。为了进一步提升LLMs的性能，英伟达联合宾夕法尼亚州立大学、华盛顿大学，组建专业团队，探索新的强化学习（RL）范式，以重塑AI模型外部工具的能力。

英伟达的这一创新举措，无疑将引领业界期待的新方向。他们借鉴了DeepSeek-R1的成功，开发了轻量级监督机制，专注于工具调用的结构有效性和功能正确性。这一机制并非依赖显式标注的推理轨迹，而是采用二元奖励机制，让模型自主发展推理策略。

为了实现这一目标，研究者统一处理了xLAM和ToolACE等数据集的子集，并设计了轻量级提示模板，指导工具生成过程。这个模板使用“think...”标签明确指示中间推理，并用“tool_call”标签封装工具调用，这样有效地避免了过度拟合特定提示模式。

主干模型采用了Qwen2.5-7B/14B，并测试了LLaMA系列变体，以评估其泛化能力。在BFCL基准测试中，Nemotron-Research-Tool-N1-7B/14B模型表现出色，超越了封闭源模型GPT-4o以及专用微调模型xLAM-2-70B和ToolACE-8B。与相同数据源的SFT基准相比，该模型的优势明显，证明了RL方法的有效性。

更值得一提的是，在API-Bank基准上，Tool-N1-7B/14B的准确率分别比GPT-4o高出4.12%和5.03%。这一显著提升进一步验证了新方法的潜力，表明了从传统SFT向RL范式的转变。

这些成果不仅体现了英伟达在AI领域的领先地位，也展示了他们对于AI未来发展的独特见解。他们认识到现有的研究方法依赖合成数据集，无法捕捉明确的推理步骤，导致模型仅模仿表面模式，而非真正理解决策过程。因此，他们选择了强化学习这一更具灵活性和适应性的方法。

强化学习是一种机器学习方法，通过环境对模型的反馈（奖励或惩罚），调整模型的行为以最大化预期的奖励。在这种方法中，模型需要自主地探索和优化其行为，以获得更好的性能。DeepSeek-R1的成功正是源于其采用了新型强化学习范式，强化了模型推理能力。

此外，英伟达还积极探索其他策略以提升LLMs的工具使用能力。他们不仅通过数据集整理和模型优化来整合LLMs与外部工具，还致力于改进推理过程。从传统的训练时扩展到测试时复杂策略的指导，为LLMs提供了更广阔的发展空间。

总的来说，英伟达通过联合研究团队，积极探索新的强化学习范式，已经取得了显著的成果。他们的努力不仅提升了LLMs的性能，也为AI领域的发展开辟了新的可能性。我们期待看到更多这样的创新举措，推动AI技术的进一步发展。

生成海报

（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）

本文来源于极客网，原文链接: https://www.fromgeek.com/ai/686214.html