Время обращено к всемирному собранию ITF 2023 года, в котором основатель и генеральный директор NVIDIA хуан инхун заявил в своей речи: «следующая волна искусственного интеллекта будет новой системой искусственного интеллекта, известной как искусственный интеллект, т.е. интеллектуальной системой, способной понимать, рассуждать и взаимодействовать с физическим миром». В какой-то момент «телескопический интеллект» в качестве индустриальных термических терминологий не имел места, и такие компании, как NVIDIA, уже давно начали работу в этой области. Андроиды или умные системы могут взаимодействовать в реальном времени через восприниматели и исполнители с окружающей средой, в которой они находятся. В концептуальном плане существует широкий спектр примеров физического интеллекта, в Том числе робототехники, автопилотирования и общения с роботами. Мы в основном сосредоточены на развитии гуманоидных роботов. Согласно данным агентства рыночных исследований Markets and Markets, предполагается, что размер мирового рынка гуманоидов вырастет с 1,8 МЛРД долларов в 2023 году до 13,8 миллиардов долларов в 2028 году, а совокупный ежегодный рост составит 50,2 %. √ олдман — акс, международный инвестиционный банк, в долгосрочной перспективе прогнозировал, что мировой рынок гуманоидных роботов достигнет $154 МЛРД к 2035 году. Огромный рыночный потенциал заставляет технологические компании уделять большое внимание развитию гуманоидных роботов и продолжать итерацию собственных программ программного обеспечения и оборудования, и NVIDIA не является исключением. Как отметил хун в NVIDIA GTC 2024, разработка универсальных моделей гумаников-роботов является одной из самых захватывающих тем в мире искусственного интеллекта. Лидеры робототехники по всему миру объединяют различные технологии, предоставляющие энергию для достижения прорыва в области искусственных роботов. На встрече NVIDIA выпустила базовую модель Project GR00T для гумаников-роботов и провела значительные обновления на платформе Isaac. Эти новые программы отражают размышления NVIDIA о необходимости программного обеспечения для гуманоидных роботов, и позволяют увидеть конкретные направления развития некоторых будущих гуманоидных роботов. Технологии гуманоидных роботов и NVIDIA размышляют относительно традиционных роботов, которые лучше чувствуют и реагируют на окружающую среду. Основная причина заключается в Том, что гуманоиды обладают способностью воспринимать, распознавать, принимать решения и действовать в соответствии с изменениями окружающей среды, в то время как традиционные роботы, в основном, зависят от запрограммированных инструкций. Для того чтобы загрузить так много возможностей в систему роботов, важность модели очевидна, и это также определяет, каким техническим путем будут следовать гуманоиды. Если посмотреть на всю современную индустрию гуманоидов, то можно увидеть примерно четыре модели: LLM(большая лингвистическая модель), VNM(визуальная модель навигации), VLM(визуальная-лингвистическая модель) и VLA (модель изображения-язык-движения). На технологическом пути LLM основным способом реализации является гуманоид-робот +LLMs. В настоящее время LLM является большой моделью ии, находящейся на передовых технологиях, которая демонстрирует очень сильную интеллектуальную силу. Тем не менее, между LLM и гуманоидными роботами существует огромная разница в Том, как они будут размещены, и первое зависит от массивных скоплений вычислительной силы, которые относятся к одномерному интеллекту и зависят от онтологической силы. Таким образом, маршрут гуманоидного робота +LLMs должен быть количественным для LLM, а затем преобразовывать внешнюю информацию, как, например, директивы человека, в коды управления роботами на высоком уровне, через количественные модели. Преимущество гуманоидного робота +LLMs заключается в Том, что сам LLM уже обладает сильной способностью во многих случаях, и после развертывания он может делать только быстрые выводы. Тем не менее, благодаря современным гуманоидным роботам, несущим на себе LLM, можно также заметить, что их недостаточность заключается в Том, что их возможности в количественном диапазоне будут настолько превосходны, что за их пределами появится заметное картон, а также явное непонимание инструкций и ограниченная подвижность роботов. Как и в китайском переводе, VNM +VNMs может быть истолкована как передача визуальной автоматической системы автопилота от конца автомобиля к порту гуманоида, которую некоторые называют «автогеном автотранспорта». Поскольку VNM в основном отвечает за восприятие, принятие решений и управление в различных транспортных условиях, основная нейронная сеть вводит информацию из камеры, лазерного радара и т.п., гуманоид +VNMs обладает более мощными двигательными возможностями. В частности, VNM, состоящая из синтеза технологий, таких как BEV, Transfomer, автоматическая маркировка и т.п., обладает очень сильной способностью и обладает «божественной перспективой». Сложность гуманоидного робота +VNMs заключается в Том, как расширить интерактивность вне движущейся силы, что требует большей интеграции новых моделей в VNM-объекты, с помощью которых тренировки и скорость интеграции новых моделей определяют эффект гуманоида +VNMs. VLM по маршруту гуманоида +VLMs учится от интернет-данных и данных о роботах и преобразует их в универсальные команды, управляемые роботами. VLM сначала изучает язык предсказания и движения предсказания, основываясь на этом, а затем объединяет контекст зрительной системы для принятия окончательного решения. VLM обладает большим преимуществом в точности миссии, однако базовые модели, такие как язык и движения, не такие как LLM и VNM. Так какой технический курс у NVIDIA? На всемирном конгрессе ITF в 2023 году NVIDIA выпустила свои механические руки, основанные на больших моделях VIMA, поддерживающие ввоз многомодных форм, таких как текст, визуальные, голосовые и другие, как роботы, посредством систематических универсальных тестов, включающих в себя эмулятивные базовые тесты, 600 000 траектории экспертов, несколько протоколов оценки уровней и т.д. В этот момент NVIDIA предварительно продемонстрировала свою способность многомодального состояния в области робототехники. В NVIDIA GTC 2024 компания выпустила базовую модель Project GR00T. Согласн представ, проект GR00T был для гуманоид универсальн базов модел, управля сво робот (от имен универсальн робот 00 технолог) сможет понима естествен язык, и наблюд за человеческ поведен имитир движен уч быстр координац, гибкост и друг навык, чтоб навигац, приспосаблива к реальност и взаимодействова. Ниже представлен технологический блок Project GR00T, который грубо сравнивается с технологическими путями VLM, а на самом деле является дальнейшим VLA. Возможность того, что технические рамки Project GR00T могут быть сформулированы не интуитивно, мы можем снова взглянуть на тренировочный механизм Project GR00T, и мы можем обнаружить, что он действительно интегрирует LLM, VNM и VLM в способность интегрировать голоса, движения и данные о роботах в большие модели в качестве базовых модулей, Приобретайте обобщающую способность и способность мыслить целями. Институт по ценным бумагам в янцзы, обучающий механизм Project GR00T, ранее отметил в научно-исследовательской статье, что на ранних стадиях развития гумаников LLM может быть снабжен человековидными роботами, значительно увеличивая их интеллектуальную взаимосвязь; На промежуточной фазе от 1 до 3 лет модель VLM будет значительно улучшать взаимодействие и способность робота принимать решения в окружающей среде; В долгосрочной перспективе, VLA с модой языка, движения и профессиональных знаний о роботах станет окончательной программой развертывания, и зрелые модели VLA смогут реализовать человеческий интеллект робота-гуманоида. В действительности, это также является продуктом многодисциплинарной взаимопомощи между различными дисциплинами, такими как робототехника, глубокое обучение, машинное зрение, усиление обучения, естественный язык, компьютерная графика и когнитивная наука. С этой точки зрения стратегический взгляд NVIDIA Project GR00T является очень долгосрочным. Методы развертывания гуманоидных роботов и реакция NVIDIA на доминирующий в них искусственный интеллект приведут к значительным изменениям в развитии технологий искусственного интеллекта, которые необходимы для приземления универсального искусственного интеллекта. Многие специалисты считают, что прогресс в коммерциализации посадки гуманоидов является важным показателем зрелости универсального искусственного интеллекта. Когда дело доходит до приземления гуманоидных роботов, необходимо разместить вышеупомянутые модели в гуманоидных роботах. В последние два года гуманоидные роботы совершили значительный прорыв в ключевых технологиях, в особенности в моделях, которые можно назвать «дневными и лунными». Тем не менее, в science security of security отмечено, что гуманоиды должны приземлиться, а детали двигаться вперед. Многие компоненты, используемые гуманоидами, передаются от традиционных роботов, таких как вращающиеся исполнители, линейные исполнители, ручные исполнители, упаковки от батарей, визуальные сенсоры и т.д. Однако, в связи с изменениями в форме гумаников и идеях, поставщики традиционных промышленных компонентов робототехники не могут занимать позиции основных поставщиков, которые являются поставщиками высокопроизводительных чипов вычислений, которые находятся на «институциональном уровне», а компоненты, представленные предыдущими, находятся на «уровне принятия решений». На рисунке ниже показано, что чип является носителем человеческого «мозга» робота-гуманоида. Рисунок: поиск пути консультаций в концептуальной концепции: как умные машины, так и гуманоидные роботы являются примерами физического интеллекта, как и аппаратные системы, которые сравнительно схожи друг с другом, так и компании, которые решили пересадить алгоритмы автопилотирования и чипы интеллектуального вождения на роботов-гуманоидов, а затем интегрировать их в другие формы. Этот подход имеет свои плюсы и минусы, о которых говорилось выше, и мы не можем говорить более подробно. В то же время, при создании системы, более гуманоидные роботы, чем интеллектуальные системы вождения, требуют большего на микроскопическом уровне. Для вещ способн распознава эт, чжи на в основн распозна, машин, дорог человек логотип из вожден распространен, гуманоид андроид нуж идентифицирова значительн больш вещ в, и бол подробн, как чтоб гуманоид могл взял объект и не повред объект, объект вес, объём, текстур и захват способ всем нужн идентификац. Например, в сценарии на NVIDIA GTC 2024 хван инхун приветствовал зрителей вместе с роботами-гуманиками, управляемыми чипами NVIDIA и услугами, которые не были необходимы для интеллектуального вождения. Таким образом, большая модель, применимая к гуманоидным роботам, будет иметь больше модальных состояний, с одной стороны, которые должны быть лучше измерены в моделях, а с другой стороны, необходимо, чтобы чипы обеспечивали более высокую мощность ии, что является одной из основных проблем, с которыми сталкиваются гуманоиды на уровне развертывания. Так как же NVIDIA помогает разработчикам программ гуманоидов справляться с этими проблемами? Мы поищем ответы на вычислительной платформе Jetson Thor. Jetson Thor — это новая вычислительная платформа, созданная NVIDIA специально для гуманоидных роботов, способная выполнять сложные задачи, безопасно взаимодействовать с людьми и машинами, с модульной архитектурой, нацеленной на производительность, энергоемкость и оптимизацию размера. SoC содержит следующее поколение GPU с transformer engine, которое может обрабатываться несколькими сенсорными данными, что является жизненно важным для гумаников-роботов, широко использующих сенсоры. Более важно то, что Jetson Thor предоставляет возможности AI, которые могут управлять человекообразными роботами, которые могут обеспечить производительность AI в 800 триллионов раз в секунду с 8 — битной плавучей операцией для запуска многомодных моделей AI, таких как GR00T. За этим стоит архитектура NVIDIA Blackwell. Архитектура блэкуэлла дает всестороннее повышение в производительности, потреблении энергии, безопасности, размерах и модулях, которые могут лучше обеспечить развитие гуманоидов. Архитектура блэкуэлла смотрит в первую очередь на производительность и потребление энергии, в которой упоминаются свойства чипа джетсона тора, но не интуитивно без конкурентного продукта. Если мы сравним архитектуру блэкуэлла с архитектурой предыдущего поколения Hopper в NVIDIA, то, как видно из нижней диаграммы, архитектура блэкуэлла внесла в несколько раз больше улучшений во всех ключевых характеристиках. Кроме того, ядро Blackwell Tensor добавило новую точность и поддержало 4 — битные версии AI, основанные на двигателе второго поколения Transformer, построенном на этой архитектуре, удвоив вычислительную мощность и модель. Сравнивая их с другими, блэкуэлл GPU в четыре раза лучше обучен, чем предыдущее поколение Hopper GPU, рассуждения в 30 раз лучше, чем Hopper GPU и в 25 раз эффективнее, чем Hopper GPU. Преимущества производительности Blackwell GPU в применении гуманоидных роботов позволяют значительно увеличить размеры моделей, которые могут нести моноиды, и сохранить больше модальных состояний, а также более надежное возобновление полётов роботов. Тогда взгляните на масштаб и модульную мощность. Архитектура блэкуэлла позволила NVIDIA MCM-GPU осуществить реализацию, в которой MCM является Multi-Chip-Module, принадлежащей самой NVIDIA технологии Chiplet. Таким образом, архитектура блэкуэлла способна интегрировать многовековые технологии NVIDIA и гибко регулировать производительность одного SoC. При более глубоком рассмотрению архитектура блэкуэлла привнесла больший размер и модульную мощность SoC, что позволило чипам, основанным на архитектуре блэкуэлла, удовлетворять потребности в применении гуманоидов на различных уровнях. Это также объясняет, почему 1X Technologies, Agility Robotics, Apptronik, бостонская энергетическая компания, Figure AI, фурье интеллект, Sanctuary Такие компании, как AI, wootree technologies и little papper, могут получать выгоду от вычислительной платформы для роботов-гуманоидов, разработанной NVIDIA. Наконец, поговорим о безопасности архитектуры блэкуэлла. Архитектура блэкуэлла, как сообщается, содержит засекреченные вычислительные технологии NVIDIA, которые могут быть защищены от несанкционированного доступа с помощью мощных защитных данных и моделей ии, основанных на оборудовании. Блэкуэлл является первым GPU в отрасли, имеющим надежную возможность выполнять функции ввода/вывода (TEE) окружающей среды (TEE), который может не только обеспечить высокопроизводительные, высокотехнологичные решения для вычисления и обеспечения безопасности в реальном времени с помощью технологий NVLink. Это очень важно для развития гуманоидных роботов и является частью индустриального спроса. Почему ты так говоришь? С точки зрения политики в китае в руководстве по развитию инноваций в области развития гуманоидных роботов особое внимание уделяется повышению эффективности работы гуманоидов в области безопасности, обеспечению того, чтобы соответствующие технические товары были дружелюбны к людям и окружающей среде, укрепляли защиту от кибер-безопасности, повышая доступ к информации, взаимодействие данных, безопасность данных и т.д. Будущ развит гуманоид и NVIDIA преимуществ индустр динамическ перспектив, сегодняшн развит мы наход в гуманоид индустр роботостроен фаз 1: под гуманоид оболочк,, чтоб робот выполня конкретн разумн функц, ориентирова на производств «прост и повторя» альтернативн сво труд, эт гуманоид от «0» до «1» DaoRuQi. В начале промышленного развития большая модель специализированных гуманоидов и чипы вычислительной силы были двумя основными звенями. На уровне моделей, LLM, VNM и VLM будут постепенно находить области, в которых они могут быть хороши, такие как LLM, более приспособленные для сопровождения роботов, и VNM будет более благоприятным для развертывания в складские области и т.д. Конечно, в долгосрочной перспективе у модели VLA больше пространства, а такие проекты, как NVIDIA Project GR00T, обещают создать действительно универсальные телесные интеллектуальные тела. Из архитектуры блэкуэлла и джей и