Meta开源MobileLLM-R1：不足10亿参数，专攻数理编程难题

近日，Meta正式发布了MobileLLM-R1系列小型语言模型，包含1.4亿、3.6亿和9.5亿参数三个版本。该系列模型专为在移动设备等资源受限环境中运行而设计，突出轻量化与高效能的特点。

与面向通用对话的大型语言模型不同，MobileLLM-R1经过监督式微调，重点优化了数学推理、编程任务及科学问题解答能力。以规模最大的950M参数模型为例，其预训练阶段仅使用约2TB高质量token数据，总训练数据量不足5TB，却在多项基准测试中表现优异。

在MATH、GSM8K、MMLU、LiveCodeBench等权威评测中，MobileLLM-R1 950M的成绩超越了使用36TB token数据训练的Qwen 3-0.6B模型。具体而言，其在数学测试中的准确率达到Olmo 1.24B模型的5倍，同时也是SmolLM 1.7B模型的2倍。在编程任务评估中，该模型同样显著优于上述对比模型，展现出在有限参数规模下实现高性能的潜力。

Meta指出，这一成果得益于模型架构的优化与高质量训练数据的筛选。MobileLLM-R1采用Llama4ForCausalLM架构，开发者可通过vLLM推理引擎进行部署，只需在ModelRegistry中登记相应架构即可使用。目前，该系列模型已基于Apache 2.0协议在Hugging Face平台开源，为社区研究和小型设备应用提供了新的工具选择。

MobileLLM-R1的发布体现了小型化模型在专业领域的应用价值。其通过精准的任务定向训练和高效的数据利用，在参数规模大幅缩减的情况下仍保持竞争力，为边缘计算与移动端人工智能的发展提供了有益探索。未来，此类模型或将在教育辅助、专业工具开发等场景中发挥更重要的作用。

（注：本文在资料搜集、框架搭建及部分段落初稿撰写阶段使用了 AI 工具，最终内容经人类编辑核实事实、调整逻辑、优化表达后完成。）

生成海报

（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）

本文来源于极客网，原文链接: https://www.fromgeek.com/ai/704531.html