Ai2发布了OLMo 2，这是一个开源语言模型系列，它推进了人工智能的民主化，缩小了开放和专有解决方案之间的差距。
新模型有 7B 和 13B 参数版本，可在多达 5 万亿个词库上进行训练，其性能水平可媲美或超越同类完全开放模型，同时在英语学术基准上与 Llama 3.1 等开放重量级模型保持竞争力。
“Ai2 解释说："自 2024 年 2 月发布首个 OLMo 以来，我们看到开放语言模型生态系统迅速发展，开放模型与专有模型之间的性能差距不断缩小。
开发团队通过多项创新实现了这些改进，包括增强的训练稳定性措施、分阶段训练方法以及源自 Tülu 3 框架的最先进的后期训练方法。值得注意的技术改进包括从非参数层规范转换到 RMSNorm 以及旋转位置嵌入的实施。
训练过程采用了复杂的两阶段方法。第一阶段使用的是 OLMo-Mix-1124 数据集，该数据集包含约 3.9 万亿个词库，来自 DCLM、Dolma、Starcoder 和 Proof Pile II。第二阶段通过 Dolmino-Mix-1124 数据集，将精心策划的高质量网络数据和特定领域内容混合在一起。
特别值得一提的是 OLMo 2-Instruct-13B 变体，它是该系列中能力最强的模型。与 Qwen 2.5 14B instruct、Tülu 3 8B 和 Llama 3.1 8B instruct 模型相比，该模型在各种基准测试中都表现出了卓越的性能。
下一条： 美国大科技公司的人工智能支出达到新高度
