与 NVIDIA 合作的全新 VMware Private AI Foundation 使企业能够为生成式 AI 做好准备；进一步支持数据隐私、安全和控制的平台
拉斯维加斯—VMware Explore— VMware, Inc.（纽约证券交易所股票代码：VMW）和 NVIDIA（纳斯达克股票代码：NVDA）今天宣布扩大战略合作伙伴关系，让在 VMware 云基础设施上运行的数十万家企业做好迎接生成式 AI 时代的准备。
VMware Private AI Foundation 与 NVIDIA 合作将使企业能够定制模型并运行生成式 AI 应用程序，包括智能聊天机器人、助手、搜索和摘要。该平台将是一个完全集成的解决方案，配备 NVIDIA 的生成式 AI 软件和加速计算，基于 VMware Cloud Foundation 构建并针对 AI 进行了优化。
VMware 首席执行官 Raghu Raghuram 表示：“生成式 AI 和多云是完美的搭配。” “客户数据无处不在——在他们的数据中心、边缘和云中。我们将与 NVIDIA 合作，让企业能够自信地在数据附近运行生成式 AI 工作负载，同时解决企业数据隐私、安全和控制问题。”
NVIDIA 创始人兼首席执行官黄仁勋表示：“世界各地的企业都在竞相将生成式 AI 融入其业务中。” “我们与 VMware 的扩大合作将为金融服务、医疗保健、制造等领域的数十万客户提供他们所需的全栈软件和计算，以使用利用自己的数据构建的自定义应用程序来释放生成式 AI 的潜力。”
全栈计算增强生成式人工智能
为了更快地实现商业利益，企业正在寻求简化生成式人工智能应用程序的开发、测试和部署。麦肯锡估计，生成式人工智能每年可为全球经济增加 4.4 万亿美元。VMware Private AI Foundation 与 NVIDIA 合作将使企业能够利用这一功能，定制大型语言模型；为其内部使用生成更安全和私密的模型；向用户提供生成式人工智能服务；并且，更安全地大规模运行推理工作负载。
该平台预计将包括集成的人工智能工具，使企业能够以经济高效的方式运行在其私人数据上训练的经过验证的模型。该平台基于VMware Cloud Foundation和NVIDIA AI Enterprise软件构建，其预期优势将包括：
隐私——将使客户能够在拥有数据的任何地方轻松运行人工智能服务，并采用能够保护数据隐私并实现安全访问的架构。
选择——企业将在构建和运行模型的位置上有多种选择——从 NVIDIA NeMo™ 到 Llama 2 及更高版本——包括领先的 OEM 硬件配置，以及未来的公共云和服务提供商产品。性能——正如最近的行业基准测试所证明的那样，在某些用例中，在 NVIDIA 加速基础设施上运行将提供相当于甚至超过裸机的性能。数据中心规模——虚拟化环境中的 GPU 扩展优化将使 AI 工作负载能够跨单个虚拟机中的多达 16 个 vGPU/GPU 以及多个节点进行扩展，以加快生成式 AI 模型的微调和部署。降低成本——将最大限度地利用 GPU、DPU 和 CPU 上的所有计算资源，以降低总体成本，并创建一个可以在团队之间高效共享的池化资源环境。加速存储——VMware vSAN Express存储架构将提供性能优化的NVMe存储，并支持基于RDMA的GPUDirect®存储，允许从存储到GPU的直接I/O传输，无需CPU参与。加速网络——vSphere 和 NVIDIA NVSwitch™ 技术之间的深度集成将进一步支持多 GPU 模型的执行，而不会出现 GPU 间瓶颈。快速部署和实现价值 — vSphere Deep Learning 虚拟机映像和映像存储库将提供稳定的交钥匙解决方案映像（其中包括预装的框架和性能优化库），从而实现快速原型设计功能。
该平台将采用NVIDIA NeMo，这是一个端到端的云原生框架，包含在 NVIDIA AI Enterprise（NVIDIA AI 平台的操作系统）中，允许企业几乎在任何地方构建、定制和部署生成式 AI 模型。NeMo 结合了定制框架、护栏工具包、数据管理工具和预训练模型，为企业提供一种简单、经济高效且快速的方式来采用生成式人工智能。
为了在生产中部署生成式 AI，NeMo 使用 TensorRT for Large Language Models (TRT-LLM)，它可以加速和优化 NVIDIA GPU 上最新 LLM 的推理性能。借助 NeMo，VMware Private AI Foundation 与 NVIDIA 将使企业能够提取自己的数据，在 VMware 的混合云基础设施上构建和运行自定义生成式 AI 模型。
在 VMware Explore 2023 大会上，NVIDIA 和 VMware 将重点介绍企业内的开发人员如何使用新的NVIDIA AI Workbench来提取社区模型（例如Hugging Face 上提供的Llama 2 ）、远程定制它们以及在 VMware 环境中部署生产级生成式 AI。
VMware Private AI Foundation 与 NVIDIA 的广泛生态系统支持，与 NVIDIA 合作的 VMware Private AI Foundation 将得到 Dell Technologies、Hewlett Packard Enterprise (HPE) 和 Lenovo 的支持，这将是首批提供通过 NVIDIA L40S GPU、NVIDIA BlueField®-3 DPU 增强企业 LLM 定制和推理工作负载的系统的公司之一和NVIDIA ConnectX®-7 智能网卡。
与 NVIDIA A100 Tensor Core GPU 相比，NVIDIA L40S GPU 的生成式 AI 推理性能提高了 1.2 倍，训练性能提高了 1.7 倍。
NVIDIA BlueField-3 DPU 可加速、卸载虚拟化、网络、存储、安全和其他云原生 AI 服务的巨大计算负载，并将其与 GPU 或 CPU 隔离。NVIDIA ConnectX-7 SmartNIC 为数据中心基础设施提供智能、加速的网络，以提升世界上一些要求最严苛的 AI 工作负载。VMware Private AI Foundation 与 NVIDIA 建立在双方长达十年的合作伙伴关系之上。他们的联合工程优化了 VMware 的云基础设施，以运行 NVIDIA AI Enterprise，其性能可与裸机相媲美。共同客户进一步受益于 VMware Cloud Foundation 提供的资源和基础架构管理以及灵活性。
可用性
VMware 计划于 2024 年初与 NVIDIA 一起发布 VMware Private AI Foundation。
引文
1-“生成式人工智能的经济潜力：下一个生产力前沿”，麦肯锡，2023 年
关于 NVIDIA
自 1993 年成立以来，NVIDIA（纳斯达克股票代码：NVDA）一直是加速计算领域的先驱。该公司于 1999 年发明的 GPU 激发了 PC 游戏市场的增长，重新定义了计算机图形，点燃了现代人工智能时代，并推动了跨市场的工业数字化。NVIDIA 现在是一家全栈计算公司，提供正在重塑行业的数据中心规模产品。
关于 VMware
VMware 是一家为所有应用程序提供多云服务的领先提供商，通过企业控制实现数字创新。作为加速创新的值得信赖的基础，VMware 软件为企业提供了构建未来所需的灵活性和选择。VMware 总部位于加利福尼亚州帕洛阿尔托，致力于通过公司的 2030 年议程建设更美好的未来。
