азвертывание тяжелых языковых моделей напрямую на мобильных чипах долгое время вынуждало инженеров идти на неприятные компромиссы: урезать модель статическим прунингом и мириться с падением качества рассуждений либо тратить миллионы на длительное дообучение, чтобы хоть как-то восстановить базовые метрики. Совместное исследование ученых из Samsung Research America, Amazon AGI, Университета штата Флорида и партнерских институтов, опубликованное в журнале Transactions on Machine Learning Research, предлагает решение проблемы — динамический фреймворк ToMoE, который полностью исключает необходимость переобучения весов.
Команда доказала, что функциональные разреженные сети экспертов уже скрыты внутри стандартных плотных весов, и их не нужно создавать с нуля путем ресурсоемкого дополнительного предобучения.
«ToMoE превращает плотные LLM в модели Mixture-of-Experts (MoE), выявляя экспертов, изначально заложенных внутри плотных структур, без необходимости обновления весов».
Объединяя динамический структурный прунинг и калибровку маршрутизатора в один этап, ToMoE заставляет монолитные чекпоинты работать как условные системы Mixture-of-Experts, сохраняя их исходные неизменяемые параметры.
Динамический структурный прунинг в слоях MHA и MLP
Стандартная архитектура разреженных MoE обеспечивает эффективную работу за счет активации лишь части параметров для каждого токена. В ToMoE это поведение напрямую связано с прунингом, зависящим от входных данных. В блоках внимания Multi-Head Attention (MHA) алгоритм применяет маршрутизацию top-K вместе со статическим прунингом для отсечения лишних вычислений. В блоках прямого распространения MLP фреймворк разбивает плотные слои на выделенные подсети под управлением динамической маршрутизации top-1.
В тестах на моделях Phi-2, LLaMA-2, LLaMA-3 и Qwen-2.5 метод ToMoE стабильно опережал классический структурный прунинг и стандартные алгоритмы конвертации плотных моделей в MoE. Активация только критически важных для токена параметров радикально снижает нагрузку на память и число рабочих циклов NPU, позволяя мобильному железу запускать ранее неподъемные плотные модели без перегрева и троттлинга.
Что это значит
Для технических лидеров и архитекторов платформ, проектирующих локальные ИИ-системы, ToMoE дает готовый пайплайн для тестирования разреженного исполнения на устройствах без затрат на дообучение. Однако теоретическое сокращение вычислительных операций (FLOP) не означает автоматическую экономию заряда аккумулятора на практике. Главным барьером остается коммерческое кремниевое железо: динамической маршрутизации top-1 и ядрам разреженного внимания еще предстоит преодолеть ограничения пропускной способности памяти и жесткую архитектуру фиксированных NPU-ускорителей в потребительских чипах, прежде чем пользователи увидят субмиллисекундную задержку в реальных задачах.