编译/前方智能
Meta 的研究团队近日发布了一项重要研究,推出了名为 MobileLLM 的新型语言模型。这项技术旨在为智能手机等资源受限设备创建高效的 AI 模型,挑战了传统认为高效语言模型必须庞大的观念。
图源:Meta
MobileLLM 的核心创新在于优化少于 10 亿参数的模型,相比 GPT-4 等超大模型,规模大幅缩小。研究团队采用了多项创新技术,包括优先考虑模型深度、实施嵌入共享和分组查询注意力机制,以及使用新型即时分块权重共享技术。
测试结果显示,MobileLLM 在常见基准任务上的表现比同等规模模型提高了 2.7% 至 4.3%。特别值得注意的是,仅有 3.5 亿参数的 MobileLLM 版本在某些 API 调用任务上展现出与 70 亿参数 LLaMA-2 模型相当的准确性。
Meta 首席 AI 科学家 Yann LeCun 强调了这项研究的重要性。虽然 MobileLLM 尚未公开使用,但 Meta 已开源预训练代码,为未来研究奠定基础。这一发展预示着更高效、更易获得的 AI 技术即将到来,有望在个人设备上实现更先进的 AI 功能,为用户带来全新的应用体验。
来源:Meta