奇富科技PrAd框架入选EMNLP 2025，大模型微调效率再提升

近日，奇富科技在大模型高效参数微调领域的研究成果PrAd（Prompt Adaptive Tuning for Decoder-only Language Models）被国际顶级学术会议EMNLP 2025 Findings正式收录。这一进展标志着中国企业在人工智能基础研究方面再次获得国际学术界的高度认可，同时也为当前大语言模型在实际业务中高效适配多任务提供了新的技术路径。

EMNLP（Conference on Empirical Methods in Natural Language Processing）是自然语言处理领域最具权威性和影响力的国际会议之一，与ACL、NAACL并称为NLP“三大顶会”。其评审流程严格，论文录取率极低，被广泛视为全球NLP研究者展示创新成果、交流前沿思想的核心平台。奇富科技的研究能够入选，反映出公司在人工智能基础研究与技术创新方面的持续积累和实质性突破。

随着大语言模型在金融、医疗、教育等多个行业加速落地，如何实现高效、低成本的多任务适配已成为行业共同面临的挑战。传统的全参数微调方法虽然效果显著，但存在计算资源消耗大、存储成本高的问题。而现有的参数高效微调技术，如Prompt Tuning和Adapter Tuning，尽管在一定程度上降低了资源需求，但仍普遍存在训练不稳定、推理延迟高、序列长度膨胀等局限。

针对这些痛点，奇富科技研究团队提出了一种面向仅解码器架构（Decoder-only）大模型的创新微调框架PrAd。该方法的突出特点是将结构优化与推理流程深度融合，仅在预填充（Prefill）阶段引入轻量级Adapter模块对提示信息进行特征变换，而在解码（Decoding）阶段则完全保持模型原始结构，不引入任何额外计算开销。

PrAd框架在多个维度实现了显著提升。首先，在训练效率方面，该方法不增加输入序列长度，初始化过程简单，训练稳定性强，效果可媲美甚至超越当前主流基线模型。其次，在推理阶段，PrAd仅在生成第一个token时产生微小延迟，后续解码过程无额外负担，并支持多任务批处理推理。实际测试显示，其推理速度在多任务场景下较LoRA方法提升最高超过10倍。最后，在运维成本方面，PrAd显著降低了Adapter管理的复杂度和显存占用，降幅可达50%，极大简化了多任务模型的部署与批量推理流程。

实验验证显示，PrAd在文本分类、语义理解、情感分析等六类典型NLP任务中均达到了与最优方法相当或更优的性能表现，同时在推理效率和资源利用率方面展现出明显优势。该技术特别适用于金融领域常见的高并发、低延迟、多任务并行的实际应用场景，有望进一步提升人工智能技术在风险控制、智能投顾、客户服务等核心业务中的实用性和可靠性。

奇富科技首席算法科学家费浩峻表示，PrAd不仅是一项技术上的突破，更是公司“科技赋能金融”理念的具体实践。未来，团队将继续致力于推动大语言模型在金融场景中的高效、可靠和规模化应用，为行业提供更多基础性、前瞻性的技术支持。

总体来看，PrAd框架的提出为解决大模型微调中的效率与成本问题提供了新的思路，其入选国际顶会也体现出中国科技企业在人工智能基础研究领域的持续进步与全球贡献。

生成海报

本文来源于极客网，原文链接: https://www.fromgeek.com/latest/701538.html