Mistral AI 发布了与英伟达™（NVIDIA®）合作开发的 12B 模型 NeMo。这一新模型拥有多达 128,000 个代币的惊人上下文窗口，并宣称在推理、世界知识和编码准确性方面达到了同类产品的一流水平。
Mistral AI 与英伟达™（NVIDIA®）的合作不仅推动了该模型的性能发展，而且将易用性放在了首位。Mistral NeMo采用标准架构，可无缝替换目前使用Mistral 7B的系统。
为了鼓励采用和进一步研究，Mistral AI 在 Apache 2.0 许可下提供了预训练的基本检查点和指令调整的检查点。这种开源方法很可能会吸引研究人员和企业，从而加速该模型与各种应用的整合。
Mistral NeMo 的主要特点之一是在训练过程中具有量化意识，可在不影响性能的情况下实现 FP8 推理。对于希望高效部署大型语言模型的机构来说，这一功能至关重要。
Mistral AI 提供了 Mistral NeMo 基本模型与两个最新开源预训练模型的性能比较： Gemma 2 9B 和 Llama 3 8B。
"该模型专为全球多语言应用而设计。它通过函数调用进行训练，有一个大的上下文窗口，在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语方面表现尤为突出，"Mistral AI 解释说。
"这是迈向将前沿人工智能模型以构成人类文化的所有语言带到每个人手中的新一步。"
Mistral NeMo 推出了基于 Tiktoken 的新标记符号生成器 Tekken。Tekken 在 100 多种语言上进行了训练，与之前 Mistral 模型中使用的 SentencePiece 标记符号器相比，Tekken 提高了自然语言文本和源代码的压缩效率。该公司报告称，Tekken 在压缩源代码和几种主要语言方面的效率提高了约 30%，在压缩韩语和阿拉伯语方面的效果更为显著。
Mistral AI公司还称，Tekken在所有语言的文本压缩方面超过了Llama 3令牌识别器的85%，这可能会让Mistral NeMo在多语言应用中更具优势。
该模型的基本版本和指导版本的权重现在都可以在 HuggingFace 上找到。开发人员可以使用 mistral-inference 工具开始尝试使用 Mistral NeMo，并使用 mistral-finetune 对其进行调整。对于使用 Mistral 平台的开发者，可以 open-mistral-nemo 的名称访问该模型。
为了表示与英伟达™（NVIDIA®）的合作，Mistral NeMo 还被打包为英伟达™（NVIDIA®）NIM 推理微服务，可通过 ai.nvidia.com 访问。对于已经在英伟达™（NVIDIA®）人工智能生态系统中投资的机构来说，这种整合可以简化部署。
Mistral NeMo的发布标志着高级人工智能模型的民主化向前迈出了重要一步。通过将高性能、多语种能力和开源可用性相结合，Mistral AI 和英伟达将该模型定位为适用于各行业和研究领域广泛人工智能应用的多功能工具。
上一条： FRVR AI让任何人都能进行游戏创作
