Большая модель развертывается на концах — это размещение больших нейросетевых моделей на мобильных терминальных устройствах, позволяющих этим устройствам работать непосредственно на них, и таким образом выполнять различные задачи искусственного интеллекта, такие как распознавание изображений, распознавание голоса, обработка на естественном языке и т.д. С увеличением спроса на миниатюризацию больших моделей и реализацию сцен, рассуждения постепенно расширяются от облаков к бокам. Эта тенденция особенно очевидна в терминальных продуктах, таких как PC и сотовые телефоны. Процесс ускорения развертывания больших моделей на концах обычно включает в себя несколько этапов, начиная с этапов подготовки моделей, на которых используется большое количество данных для обучения соответствующим моделям файлов. Во время обучения необходимо учитывать размер и расчётное количество модели, чтобы приспособиться к условиям аппаратного обеспечения для концевого бокового оборудования. Далее следует моделируемое сжатие, которое обычно требует сжатия модели для того, чтобы уменьшить ее хранение и эксплуатационное давление на концевое устройство. Это может быть достигнуто путем разрезания ветвей, количественного измерения и т.п., с тем чтобы уменьшить размер модели и уменьшить сложность вычислений. Кроме того, модель развертывается на этом этапе, перекладывая постсжатую модель на боковое устройство. Это включает в себя передачу моделируемого файла на устройство, установку необходимых двигателей дедукции на устройство и создание условий для работы. Наконец, после завершения развертывания модели, end-боковое устройство может использовать эти модели для расчетов. Это обычно включает в себя такие шаги, как загрузка модели, предварительная обработка входных данных, моделирование вычислений, вывод результатов. В ходе развертывания на большом конце модели необходимо учитывать некоторые технические проблемы и ограничения. Например, аппаратные условия для консольного оборудования обычно намного хуже, чем на облачных серверах, поэтому необходимо полностью учитывать эти факторы на этапе разработки и сжатия модели. Кроме того, сетевая пропускная способность и задержка консольного устройства также могут оказать влияние на действительность и точность модельных рассуждений. Для преодоления этих проблем и ограничений были разработаны некоторые технические инструменты и платформы, такие как MLflow, Ray Serve, Kubeflow, Seldon Core, BentoML и ONNX Runtime. Эти инструменты могут помочь пользователям более удобно строить, развертывать и управлять машинами для обучения, тем самым повышая производительность и доступность моделей на боковых устройствах. В настоящее время развёртывание больших моделей на концах ускоряется. В области ПК, после того, как intel выпустила первый процессор AI PC, группа ассоциаций, hewlett-packard, acer и другие производители выпустили несколько новых моделей AI PC. Было сообщено, что более 10 ноутбуков могут работать на больших моделях AI локально, и что на рынке появится новая партия. В области мобильных телефонов начиная со второй половины 2023 года производители мобильных телефонов, такие как сяоми, оппо, vivo и другие производители мобильных телефонов, начали увеличивать свои возможности в новых системах. К январю 2024 года на китайском рынке мобильных телефонов Top5, за исключением apple, было выпущено множество крупных моделей с их собственной стороны. Преимущества размещения больших моделей в конце также становятся все более заметными. С одной стороны, развертывание с одной стороны может снизить задержку передачи данных и ограничения пропускной способности, повысить действительность и скорость реакции. С другой стороны, одностороннее развертывание может лучше защитить личную жизнь пользователя и безопасность данных, поскольку данные могут обрабатываться локально, а не передаются в облако. Производители, как внутри страны, так и за рубежом, запускают большие модели, поддерживающие развертывание чипов на боковых концах, которые не могут быть размещены без поддержки чипа на сайтах, а также intel, goughton, unifacco и т. д., реализуют чипы, необходимые для размещения больших моделей на таких мобильных концах, как PC, сотовые телефоны и т.д. Intel выпустила первый продукт линейки core Ultra series (Meteor Lake), разработанный первым поколением процессоров, основанных на технологии Intel 4, разработанный компанией Chiplet (ядер) и собственный Foveros, интегрированный в NPU (нейросетевой процессор). Можно использовать 20 миллиардов параметров больших моделей локально и генерировать высококачественные полиморфные данные без подключение к сети. Qualcomm опубликова трет поколен Xiao 8 мобильн платформ Дракон, явля перв предназнач для генерир AI созда мобильн платформ. Платформа поддерживает модель с 10 миллиардами параметров, работающую с одной стороны терминала, а также ориентирована на 7 миллиардов моделей предсказаний, которые генерируют до 20 токен в секунду, и могут генерировать изображения через Stable Diffusion с другой стороны терминала. Кром тог, qualcomm такж AI хаб, эт искусствен интеллект для разработчик модел, включ традиц AI модел и генерир AI, поддержа на Xiao Дракон и qualcomm платформ развертыван. Библиотека этой модели поддерживает более 75 моделей AI, таких как Whisper, ControlNet, Stable Diffusion и Baichuan-7B, которые разработчики могут легко получить и интегрировать в свои приложения. Организация Объединенных Наций развертывала глубокое сотрудничество с ариюном, реализуя концевое развертывание на мобильных платформах GMBH 9300 и gang8300. Flyficidae mobile чипы серии «брег», такие как «брег 9300» и «брег 8300», являются высокопроизводительными и эффективными мобильными вычислительными платформами. Эти чипы не только обладают мощной вычислительной мощностью, они также поддерживают передовые технологии 5G и генерируемые технологии AI, которые обеспечивают прочную основу для развертывания крупных моделей с одной стороны. Кроме того, компании, такие как «ядро», «ядро» и другие компании, специализирующиеся на оптимизации продукции, используемой крупными моделями в конце. Чип AX650N с сердечным сердечником демонстрирует значительное преимущество в размещении больших моделей с боковой стороны. В частности, AX650N может сохранять высокую точность и эффективность при развертывании больших визуальных моделей, таких как Swin Transformer. Поскольку большинство чипов с боковой стороны ии не слишком оптимизированы в архитектуре для MHA (Multi-Head Attention), часто требуются изменения в структуре сетей при развертывании крупных моделей, которые могут привести к снижению точности и переподготовке. Однако, с помощью своей уникальной архитектуры и оптимизации, AX650N может непосредственно поддерживать разверщение оригинальной версии Swin Transformer, которая занимает всего пять минут от тестовых пластин до демо-релиза, а работа частных моделей в частной среде занимает всего Один час. Кроме того, AX650N обладает такими характеристиками, как 32 — канальная декодировка/видео-обработка, пассивное рассеивание, поддержка кодов с низкой задержкой времени, вывод HDMI и USB 3.0, что делает его достаточно пригодным для применения в различных видоисках и краевых вычислений. Что касается развертывания с большой стороны модели, AX650N предоставляет не только мощную вычислительную мощность, но и больше возможностей для практического применения с помощью особенностей легко развертывания и низкой мощности. End technology technology — компьютерная компания, созданная в цинхуа для производства чипа Ай-чипа, которая представила карты ускорения asureblade l.2 для больших моделей. Эта карта обладает мощными характеристиками, позволяющими работать с большими моделями, и ее размер составляет всего 80 мм (длина) x22 мм (ширина), что идеально подходит для размещения на таких терминальных устройствах, как PC. Карты ускорения asureblade L серии M.2 были реализованы в качестве катализатора для таких моделей, как Llama 2, Stable Diffusion и другие. Эта карта ускорения M.2, обладающая малым объёмом, мощной мощностью и универсальным интерфейсом, способна преодолеть ограниченные вычислительные и запоминающие возможности терминального бокового устройства, предоставляя возможность для больших моделей приземляться на боковой стороне. Написание на последней большой модели в конце-боковой части представляет собой сложный процесс, который требует учета различных факторов и технических проблем. Но с помощью рационального моделирования, сжатия и оптимизации, а также использования соответствующих инструментов и платформ, можно было бы создать более сильное искусственное интеллект с помощью разумного дизайна, сжатия и оптимизации. В настоящее время, благодаря усилиям всех сегментах целевой цепи, крупные модели, расположенные в боковой части, демонстрируют тенденцию ускорения, и ожидается, что применение больших моделей в боковой части в будущем будет расширяться по мере того, как технологии будут прогрессировать и оптимизироваться.

ET-436-A-FX-R2-SR-16GB-NOV