NVIDIA NeMo Megatron 框架；可定制的大型语言模型Megatron 530B；多GPU、多节点Triton推理服务器助力基于语言的AI开发和部署，推动产业和科技发展
NVIDIA 为全球企业开发和部署大规模语言模型打开了一扇新大门 - 使这些企业能够构建自己的、特定领域的聊天机器人、个人助理和其他 AI 应用程序，并以前所未有的水平理解语言的微妙之处和细微差别。
NVIDIA 推出了专为训练具有数万亿个参数的语言模型而优化的 NVIDIA NeMo Megatron 框架、Megatron 530B（用于训练新领域和语言的可定制大语言模型 (LLM)）以及多 GPU、具有多节点的 NVIDIA Triton 推理服务器分布式推理能力。
这些工具与 NVIDIA DGX 系统相结合，提供了可以部署到实际生产环境中的企业级解决方案，以简化大型语言模型的开发和部署。
“大规模语言模型已被证明是灵活和强大的，使它们能够回答深层次的领域问题、翻译语言、理解和总结文档、编写故事和计算程序，而无需专门的培训或监督。” Learning 研究副总裁 Bryan Catanzaro 表示，NVIDIA 应用 深度。 “为新语言和领域构建大型语言模型可能仍然是超级计算最大的应用，现在这些能力也为世界各地的企业所触手可及。”
NVIDIA NeMo 威震天和威震天 530B
加速大型语言模型开发
NVIDIA NeMo Megatron 是一个在 Megatron 基础上开发的开源项目。它由 NVIDIA 研究人员领导，研究大规模转换语言模型的高效训练。 Megatron 530B 是世界上最大的可定制语言模型。
NeMo Megatron 框架使企业能够克服训练复杂自然语言处理模型的挑战。经过优化，可在 NVIDIA DGX SuperPOD 的大型加速计计算基础设施上进行扩展。
NeMo Megatron 通过数据处理库自动处理 LLM 培训的复杂性，这些数据处理库可以摄取、管理、组织和清理数据。利用先进的数据、张量和管道并行化技术，它使大型语言模型的训练能够有效地分布在数千个 GPU 上。企业可以通过 NeMo Megatron 框架进一步训练它，以服务新的领域和语言。
NVIDIA Triton 推理服务器
支持实时大型语言模型推理
此外，今天发布的最新NVIDIA Triton 推理服务器中的多 GPU、多节点功能使大型语言模型推理工作负载能够实时扩展到多个 GPU 和节点。这些模型需要的内存超出了单个 GPU 甚至包含多个 GPU 的大型服务器所能提供的内存，并且实际应用对其推理的实时性能有着极高的要求。
通过Triton推理服务器，Megatron530B可以在两个NVIDIA DGX系统上运行，将处理时间从CPU服务器上的1分多钟减少到半秒，使得部署大型语言模型以进行实时计算成为可能。时间应用。
全球开发的大规模定制语言模型
早期使用 NVIDIA DGX SuperPOD 构建大型复杂语言模型的客户包括 SiDi、京东研究院和 VinBrai。巴西大型人工智能研发机构 SiDi 采用了三星虚拟助手，供全国 2 亿巴西葡萄牙语使用者使用。 SiDi 首席执行官 John Yi 表示：“SiDi 团队在 AI 虚拟助手和聊天机器人的开发方面拥有丰富的经验，这既需要强大的 AI 性能，也需要经过训练以适应人类语言不断变化的细微差别的专用 AI 软件。NVIDIA DGX SuperPOD 非常适合推动我们团队的高级工作，并帮助我们为巴西的葡萄牙语使用者提供领先的人工智能服务。”京东发现研究院，领先的供应链技术与服务提供商京东的研发部门，他们使用NVIDIA DGX SuperPOD开发NLP，应用于智能智能客服、智能零售、智能物流、物联网、医疗健康等领域。越南医疗AI公司VinBrain使用DGX SuperPOD为100家医院的放射科医生和远程医疗医生开发和部署临床语言模型。在这些医院中，已有 600 多名医疗保健从业人员在使用该模型。
可用性
企业可以使用今天同时发布的NVIDIA LaunchPad免费体验大规模语言模型的开发和部署。行业组织可以申请加入抢先体验计划，了解用于训练大规模语言模型的 NVIDIA NeMo Megatron 加速框架。
NVIDIA Triton 可从 NVIDIA NGC 目录获取，该目录是 GPU 优化的 AI 软件 的中心，包括框架、工具包、预训练模型和 Jupyter 笔记本，也可以从 Get Triton GitHub 存储库中的开源代码或y。
Triton 还包含在 NVIDIA AI Enterprise 软件套件中，该套件经过优化、认证并由 NVIDIA 支持。企业可以使用该软件套件在本地数据中心和私有云的主流加速服务器上运行语言模型推理。
NVIDIA DGX SuperPOD 和 NVIDIA DGX 系统可通过 NVIDIA 的全球经销商购买，经销商可根据合格客户的要求提供定价。
责任编辑：haq
-->
