人工智能优化初创公司 Neural Magic 开发了一款软件,使人工智能推理模型能够在基于商用 CPU 的硬件上高效运行。
Red Hat宣布计划收购Neural Magic,这是一家专注于生成式人工智能性能工程、模型优化算法以及高性能GPU和CPU推理服务的公司。
Neural Magic 于 2018 年从麻省理工学院分离出来,它提供的软件和算法可以加速生成式人工智能推理工作负载。它在大型语言模型方面的专长,以及红帽在混合云上支持这些模型的能力,与红帽提出的让更多组织更容易获得创成式人工智能的目标不谋而合。
红帽打算通过可在任何地方运行的开源授权模型,将人工智能的力量平民化。这将增强企业定制大型语言模型的能力,利用推理性能工程提高基础设施效率,并与开源生态系统合作,为硬件和芯片架构提供更广泛的选择。
“红帽公司总裁兼首席执行官马特-希克斯(Matt Hicks)在一份声明中说:"人工智能工作负载需要在混合云中客户数据所在的任何地方运行;这使得灵活、标准化和开放的平台和工具成为必要,因为它们使企业能够选择最符合其独特运营和数据需求的环境、资源和架构。