Tether выпустила фреймворк для обучения ИИ-моделей на смартфонах и обычных GPU

• Компания заявила о возможности дообучения моделей ИИ прямо на мобильных устройствах.
• Фреймворк поддерживает чипы AMD, Intel, Apple и мобильные GPU.
• Решение снижает зависимость от Nvidia и облачной инфраструктуры.

Компания Tether объявила о запуске нового фреймворка для обучения искусственного интеллекта. Он позволяет дорабатывать языковые модели на потребительском оборудовании, включая смартфоны и видеокарты, не относящиеся к Nvidia. 

Решение стало частью продукта QVAC, который является платформой для создания и управления ИИ-приложениями

По данным компании, технология использует архитектуру BitNet от Microsoft и методы LoRA, что позволяет существенно снизить требования к памяти и вычислительным ресурсам. Это упрощает запуск и обучение моделей на устройствах с ограниченной мощностью.

Фреймворк поддерживает кроссплатформенную работу и может использовать чипы AMD, Intel, Apple Silicon, а также мобильные графические процессоры от Qualcomm и Apple. Таким образом, Tether расширяет доступ к инструментам ИИ за пределы традиционной инфраструктуры.

В компании заявили, что инженерам удалось дообучить модели с объемом до 1 млрд параметров на смартфонах менее чем за два часа. При этом более компактные модели достигали желаемых результатов за считанные минуты. 

Поддержка моделей до 13 млрд параметров также распространяется на мобильные устройства.

Как отметили в Tether, использование однобитной архитектуры позволяет снизить требования к видеопамяти до 77,8% по сравнению с 16-битными моделями. Это дает возможность запускать более крупные модели на массовом оборудовании.

Кроме того, фреймворк ускоряет вывод результатов, поскольку мобильные GPU обрабатывают модели быстрее центральных процессоров. Среди возможных сценариев применения компания выделяет обучение на устройстве и федеративные модели, при которых данные не покидают устройство пользователя.

Запуск происходит на фоне роста интереса криптокомпаний к ИИ и вычислительной инфраструктуре. 

Так майнинговые компании и разработчики блокчейн-сервисов активно инвестируют в HPC и решения для автономных ИИ-агентов. По мнению экспертов, это формирует новый сегмент на стыке криптоиндустрии и искусственного интеллекта.

Напомним, мы писали, что разработчик гуманоидных роботов Neura Robotics получит $1,2 млрд инвестиций при участии Tether. 

Сообщение Tether выпустила фреймворк для обучения ИИ-моделей на смартфонах и обычных GPU появились сначала на INCRYPTED.