戴尔 PowerEdge XE9680 配备了 Instinct MI300X 加速器,这是 AMD 的高端 GPU 加速器,旨在与 Nvidia Hopper 处理器竞争。
戴尔目前正在出货装载了 AMD 最新 Instinct GPU 加速器的 PowerEdge 服务器,并为快速构建生成式 AI 应用程序提供部署支持服务和软件。
戴尔PowerEdge XE9680可配备AMD Instinct MI300X加速器,这是AMD的顶级产品,可与Nvidia的Hopper一代处理器竞争。PowerEdge 服务器专为利用生成式人工智能的企业而设计,最多可配备 8 个 MI300X 加速器,合计 1.5 TB HBM3 内存和 42 petaFLOPS 的峰值理论 FP8 稀疏精度性能。
这种配置旨在加快大型语言模型(LLM)的训练和推理速度。作为测试的一部分,戴尔在配备单个 MI300X 加速器的服务器上部署了一个 700 亿参数的 Llama 2 模型。戴尔还在一台配备八个 AMD Instinct MI300X 加速器的戴尔 PowerEdge XE9680 服务器上以 FP16 精度对同一模型进行了微调。
PowerEdge XE9680包括戴尔的OpenManage Enterprise集中服务器管理软件、快速简单的部署、APEX AIOps自动化软件以及集成的网络恢复和零信任安全功能。
戴尔的新产品还包括采用 AMD 的生成式人工智能验证设计(Validated Design for Generative AI),这是为运行自己的 LLM 的组织提供的标准框架。经过验证的设计于今年 5 月发布,目前已经上市,旨在帮助企业更轻松地部署用于 LLM 推断和模型定制的系统。
"该设计指南为企业和开发人员提供了全面的指导,帮助他们实施 LLM 推断和模型定制,以及微调和检索增强生成 (RAG) 等先进技术。戴尔人工智能解决方案技术营销工程团队总监卢克-马洪(Luke Mahon)在一篇关于新产品和服务的博文中写道:"戴尔人工智能解决方案技术营销工程团队以开放标准为基础,减少了对专有人工智能软件套件的需求,开发人员可以利用包括Hugging Face和Meta在内的合作伙伴提供的开源LLM模型简化开发并自由定制工作流程。
在软件方面,戴尔将提供由AMD ROCm驱动的框架,为PyTorch、TensorFlow、ONNX-RT和JAX等开源LLM提供支持,并为AMD Instinct加速器提供全套驱动程序、开发工具包和API。
此外,"戴尔Omnia简化了人工智能集群的创建和管理,可自动配置以实现高效的工作负载处理,"Mahon写道。(Omnia是一个开源工具包,用于为高性能计算、人工智能和数据分析工作负载部署和管理高性能集群)。
据Mahon称,戴尔科技公司的企业级SONiC发行版将开源SONiC平台与戴尔PowerSwitch相结合,提供了一个可扩展的网络解决方案,具有先进的功能和企业级支持。
为了帮助客户实施人工智能计划,戴尔于9月份推出了平台实施服务。顾问将帮助客户建立一个平台,用于构建和部署人工智能工具和框架。戴尔还将提供为期半天的加速研讨会,帮助企业确定如何从人工智能中获得最大价值。
上一条: 三星通过可折叠设备和穿戴设备增强人工智能