英伟达发力机器人，平台与训练工具双管齐下

【蜂耘网  机器人】生成式 AI 通过理解人类的语言提示，对模型进行更改，从而极大地提高了易用性。这些 AI 模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活，并借此超越了基于卷积神经网络（CNN）的传统模型。

据 ABI Research 预测，到 2033 年，生成式 AI 将为全球制造业务增收 105 亿美元。

NVIDIA 嵌入式和边缘计算副总裁 Deepu Talla 表示：“生成式 AI 具有前所未有的泛用性、易用性和精确性，这将显著加快边缘 AI 的部署。我们在 Jetson 平台上对 Metropolis 和 Isaac 框架进行了有史以来规模最大的软件扩展，并结合 Transformer 模型与生成式 AI 的强大功能来满足这一需求。”

NVIDIA Jetson 生成式 AI 实验室为 Jetson 开发者提供经过优化的工具和教程，用以部署开源大语言模型（LLM）、以交互方式生成惊艳图像的扩散模型、视觉语言模型（VLM）以及视觉 Transformer （ViT）。其中，ViT 结合了视觉 AI 和自然语言处理，可提供对场景的全面理解。

开发者还可以使用 NVIDIA TAO Toolkit，为边缘应用创建高效而精确的 AI 模型。TAO 提供了一个用于微调和优化 ViT、视觉基础模型等视觉 AI 模型的低代码接口。此外，还可以定制并微调 NVIDIA NV-DINOv2 等基础模型或 OpenCLIP 等公共模型，用很少的数据创建高度精确的视觉 AI 模型。现在，TAO 还推出了一个基于 Transformer 的新型缺陷检测模型 —— VisualChangeNet。

NVIDIA Metropolis 能够帮助企业更轻松、更经济高效地使用全球顶尖的视觉 AI 解决方案，以改善至关重要的运营效率和安全问题。该平台提供了一系列功能强大的应用编程接口和微服务，供开发人员快速开发基于视觉的复杂应用。

包括宝马集团、百事、克罗格、泰森食品、印孚瑟斯和西门子在内的 1,000 多家公司正在使用 NVIDIA Metropolis 开发者工具，通过视觉 AI 来解决物联网（IoT）、传感器处理和运营方面的难题。NVIDIA Metropolis 开发者工具的采用速度日益加快，目前已被希望构建视觉 AI 应用的用户下载了 100 多万次。

为了帮助开发者快速构建和部署可扩展的视觉 AI 应用程序，NVIDIA Jetson 平台上的 Metropolis API 和微服务扩展集将在年底前推出。

数百家客户使用 NVIDIA Isaac 平台，在农业、仓储自动化、最后一公里配送、服务机器人等多个领域开发了高性能机器人解决方案。

在 ROSCon 2023 上，NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 软件的全新版本，对感知和模拟功能进行了重大改进。基于常用的开源机器人操作系统（ROS）的 Isaac ROS，为自动化带来了感知能力，让移动的物体有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所拥有的强大功能（包括视觉里程测量、深度知觉、3D 场景重建、定位和规划等），机器人开发者就拥有了为不同应用快速定制机器人解决方案所需要各种的工具。

随着 Isaac ROS 2.0 最新版本的发布，Isaac ROS 已达到生产就绪状态，能够帮助开发者使用 Jetson 平台创建并推出高性能机器人解决方案。

开源机器人基金会首席技术官 Geoff Biggs 表示：“ROS 在不断发展进化，并为整个机器人社区提供开源软件。NVIDIA 此次版本中全新预构建的 ROS 2 软件包将助力广大 NVIDIA Jetson 开发者社区随时使用 ROS 2，从而加速这一发展。”

为开发生产级 AI 解决方案，需要开发和训练针对特定用例定制的 AI 模型，在平台上实现强大的安全功能，编排应用，管理机队，建立边缘到云的无缝通信等。

NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精选 AI 工作流参考，帮助开发者快速采用整个工作流或有选择性地集成独立的部分，从而大幅减少开发时间和成本。三个 AI 工作流包括： 网络视频录制、自动光学检测和自主移动机器人。

Tirias Research 首席分析师 Jim McGregor 表示：“NVIDIA Jetson 凭借其广泛而多样化的用户群与合作伙伴生态，助推了边缘机器人和 AI 革命。随着应用需求的日益复杂化，我们需要从根本上转向能够简化和加速边缘部署创建的平台。NVIDIA 的这一重要软件扩展为开发者带来了全新的多传感器模型和生成式 AI 功能。”

NVIDIA 推出了一系列系统服务，为每个开发者提供在构建边缘AI解决方案时必不可少的基本功能，简化与工作流的集成，使他们不必再费时费力地从头开始构建这些服务。

全新 NVIDIA JetPack 6 将于今年年底推出，AI 开发者将无需全面升级 Jetson Linux 就能保持在计算领域的最前沿，从而大幅加快开发进度，不再依赖 Jetson Linux。JetPack 6 还将通过与 Linux 发行版合作伙伴的合作，扩大基于 Linux 的发行版的选择范围，包括 Canonical 的优化及经过验证的 Ubuntu、Wind River Linux、并行实时 Redhawk Linux 以及各种基于 Yocto 的发行版。

Jetson 合作伙伴生态系统提供了从硬件、AI 软件和应用设计服务到传感器、连接和开发者工具的广泛支持。这些创新的合作伙伴作为 NVIDIA 合作伙伴网络（NPN）中的一部分，是为市场上在售的众多产品提供构件和子系统的中坚力量。

除了扩展机器人平台，NVIDIA Research 开发的一款名为 Eureka 的新型 AI 智能体还可以教机器人复杂的技能，它教会了机器人手快速转笔，并且第一次转得像人类一样好。

魔术表演是机器人通过 Eureka 学会熟练完成的近 30 项任务之一，Eureka 可以自动编写奖励算法来训练机器人，还教会了机器人完成打开抽屉和柜子、抛接球、操作剪刀等任务。

于 10 月 20 日发布的这一 Eureka 研究包含一篇论文和该项目的 AI 算法，开发者可以使用 NVIDIA Isaac Gym（一款用于强化学习研究的物理模拟参考应用）进行实验。Isaac Gym 基于 NVIDIA Omniverse 而构建，后者是一个用于基于 OpenUSD 框架构建 3D 工具和应用的开发平台。Eureka 自身是由 GPT-4 大型语言模型驱动的。

NVIDIA AI 研究高级总监、Eureka 论文作者之一的 Anima Anandkumar 表示：“在过去十年，强化学习取得了空前成功，但依然面临许多挑战，比如奖励设计需要不断试错才能完成。Eureka 是朝着开发将生成式和强化学习方法结合以解决这些艰巨的任务的新算法迈出的第一步。”

据该论文介绍，Eureka 生成的奖励程序（可让机器人进行试错学习）在超过 80% 的任务上优于人类专家编写的程序，这使得机器人的平均性能提高了 50% 以上。

该 AI 智能体使用 GPT-4 LLM 和生成式 AI 编写软件代码，为机器人进行强化学习提供奖励。它不需要任何特定任务提示或预定义的奖励模板，并且能够随时结合人类的反馈改进其奖励，使结果更加精准地符合开发者的愿望。

利用 Isaac Gym 中的 GPU 加速模拟，Eureka 能够快速评估大批奖励候选者的质量，从而提高训练效率。

Eureka 随后会基于训练结果汇总关键统计数据，并指导 LLM 改进其奖励函数的生成。通过这种方式，AI 可以自我完善。Eureka 教会了各类机器人，包括四足机器人、双足机器人、四旋翼机器人、灵巧手、协作机器人臂等，来完成不同类型的任务。

该研究论文对 20 个 Eureka 训练任务进行了深入评估，这些任务基于开源的灵巧性基准，要求机器人手展示一系列复杂的双手任务。

该项目的贡献者之一、NVIDIA 高级研究科学家 Linxi “Jim” Fan 表示：“Eureka 是一个独特的组合，将大型语言模型与 NVIDIA GPU 加速的模拟技术相结合，可以实现灵巧的机器人控制，并且为艺术家提供了一种制作物理逼真动画的新方法。”

除了 NVIDIA Research 最近取得的进展（比如使用 GPT-4 构建的能够自主玩 《我的世界》的 AI 智能体 Voyager）之外，这项突破性的研究成果也必将让开发者们脑洞大开。

NVIDIA Research 由全球数百名科学家和工程师组成，团队专注于 AI、计算机图形学、计算机视觉、自动驾驶汽车、机器人学等领域的研究。

（蜂耘机器人网  责任编辑：娱悦）