EVERYTHING
За даними Nvidianews, NVIDIA оголосила про випуск значної колекції відкритих навичок фізичного AI. Мета цієї ініціативи — оптимізувати весь стек фізичного AI для роботи з агентами, перетворюючи традиційні бібліотеки та фреймворки у функції, доступні для виклику агентом. Це дозволяє розробникам створювати високомасштабні робочі процеси в сферах автономного водіння, промислових цифрових двійників, комп'ютерного зору та робототехніки з мінімальними витратами часу та ресурсів.
Інструментарій для фізичного AI
NVIDIA інтегрувала ключові свої платформи в Agent Toolkit. Це включає NVIDIA Cosmos, який слугує основою для розуміння та генерації даних у реальному світі; бібліотеки NVIDIA Omniverse для симуляцій та цифрових двійників; а також NVIDIA Isaac для симуляції роботів і навчання. Додатково до цього набору входять NVIDIA Metropolis для комп'ютерного зору, NVIDIA Alpamayo для автономного водіння та платформа NVIDIA Jetson для розробки AI на периферії (edge AI).
Прискорення агентської розробки у ключових галузях
Нові навички дозволяють агентам виконувати складні завдання, що раніше вимагали ручного втручання. Це значно прискорює процес від збору даних до готового розгортання системи.
- Робототехніка та edge AI: Розробники можуть використовувати навички для прискорення всього пайплайну, починаючи від генерації навчальних даних для сприйняття та мобільності, симуляції, автоматизації навігаційного навчання і тонкого налаштування систем Jetson.
- Автономні транспортні засоби: Агенти можуть керувати процесом реконструкції даних, зібраних флотом автомобілів, у симуляційних середовищах та генерувати фотореалістичні сценарії водіння в великих обсягах для розширення покриття навчання.
- Агенти комп'ютерного зору в реальному часі: Для автоматизованої інспекції та відеоаналізу навички допомагають командам генерувати синтетичні навчальні дані, проводити тонке налаштування моделей і створювати агенти для пошуку, узагальнення та аналізу відео.
- Промисловий AI: Інженери можуть використовувати ці можливості для перетворення інженерних даних на активи комп'ютерного проєктування (CAD) для симуляції цифрових двійників.
Впровадження безпеки та масштабування
Для забезпечення безпечного розгортання автономних агентів NVIDIA надає шаблон NemoClaw та середовище виконання NVIDIA OpenShell. Ці інструменти забезпечують політику безпеки та управління конфіденційністю як на локальному, так і в хмарному обладнанні. Таким чином, цей комплексний підхід не лише прискорює розробку, але й гарантує її відповідність корпоративним стандартам.
Ця колекція інструментів та навичок знаменує собою важливий етап у перетворенні фізичних систем на агентські, що відкриває шлях до створення більш інтелектуального та автоматизованого світу.