IBM Cloud 用户现在可以访问 Nvidia H100 Tensor Core GPU 实例,用于 AI 和高性能计算工作负载。
IBM 正在提供对 IBM Cloud 上 Nvidia GPU 的扩展访问,以帮助企业客户推进其 AI 实施,包括大型语言模型 (LLM) 训练。IBM Cloud 用户现在可以在 Virtual Private Cloud 和托管的 Red Hat OpenShift 环境中访问 Nvidia H100 Tensor Core GPU 实例。
H100 Tensor Core GPU 实例的加入补充了 IBM 已经支持的 Nvidia GPU 和软件系列。
IBM Cloud 产品和行业平台总经理 Rohit Badlaney 撰写了一篇关于新 GPU 支持的博客文章,他表示,与当前的 A100 Tensor Core 相比,Nvidia H100 Tensor Core GPU 的推理性能可以提高 30 倍,并将为 IBM Cloud 客户提供一系列处理能力,同时解决企业范围的 AI 调优和推理成本问题。
“企业可以从小处着手,训练小规模模型,微调模型,或部署聊天机器人、自然语言搜索等应用程序,并使用 Nvidia L40S 和 L4 Tensor Core GPU 的预测工具,”Badlaney 写道。“随着需求的增长,IBM Cloud 客户可以相应地调整他们的支出,最终将 H100 用于要求最苛刻的 AI 和高性能计算用例。”
IBM Cloud 拥有强大的网络来处理增加的工作负载。
“IBM Cloud 网络完全基于以太网。对于集群中的多个 H100 系统部署,我们正在华盛顿特区和法兰克福构建先进的计算中心,允许客户通过 RoCE/RDMA 设置连接多个系统,允许高达 3.2 Tbps 的 GPU 到 GPU 通信,“IBM 表示。“对于单服务器部署,GPU 使用 Nvidia NVLink 连接,它在 GPU 和 NVSwitch 之间提供高速、直接、点对点的连接,NVSwitch 是 Nvidia 的高速交换结构,可连接多个 GPU。这些技术共同构成了 Nvidia A100 或 H100 Tensor Core GPU 的 Nvidia DGX 交钥匙配置。
据 Badlaney 称,IBM Cloud 服务包括各种多级安全协议,旨在保护 AI 和 HPC 流程并防止数据泄露和数据隐私问题。“它还包括内置控件,用于为 AI 工作负载建立基础设施和数据护栏,”他写道。
此外,IBM Cloud 还包括部署自动化功能。“IBM Cloud 自动部署 AI 驱动的应用程序,以帮助解决手动配置可能发生的时间和错误,”Badlaney 写道。“它还提供基本服务,例如 AI 生命周期管理解决方案、无服务器平台、存储、安全和解决方案,以帮助客户监控其合规性。”
Badlaney 表示,客户还可以利用 IBM 的 watsonx AI 工作室、数据湖仓一体和治理工具包进行更深入的 AI 开发。
H100 部署只是 IBM Cloud 和 Nvidia 之间众多技术合作伙伴关系中的最新一项(Nvidia 与许多云提供商建立了合作伙伴关系)。
例如,今年早些时候,IBM 表示,它是首批访问新的 Nvidia 生成式 AI 微服务的公司之一,客户和开发人员可以使用这些微服务来创建和部署针对 Nvidia GPU 优化的自定义应用程序。
此外,IBM 还提供 Nvidia L40S 和 Nvidia L4 Tensor Core GPU,以及对 Red Hat Enterprise Linux AI 和 OpenShift AI 的支持,以帮助企业开发和支持 AI 工作负载。
IBM 还将 Nvidia GPU 集成到其 Watson AI 平台中,以加速各种 AI 工作负载,包括深度学习、自然语言处理和计算机视觉。
下一条: .MX域名注册局带上墨西哥玉米饼走上世界