ехнологические гиганты пытаются убедить всех, что искусственный интеллект невозможен без дата-центров мощностью в гигаватты и миллиардов долларов венчурного капитала. Этот удобный миф помогает продавать облачные подписки, специализированные чипы-ускорители и бесконечные корпоративные лицензии. Однако проект MacMind разработчика Шона Лавиня доказал: базовые принципы современных нейросетей — вовсе не эзотерическая тайна, спрятанная за серверными стойками. Это чистая, доступная математика, которая прекрасно работает даже на бежевом компьютере эпохи поздней холодной войны.
Лавинь создал полностью рабочую трансформерную нейросеть (архитектуру, на которой построены современные чат-боты) на компьютере Macintosh SE/30 1989 года выпуска. Вместо привычных инструментов на Python он написал систему с нуля на HyperTalk — встроенном скриптовом языке среды Apple HyperCard. В коде реализованы все ключевые компоненты современных языковых моделей: векторизация токенов, позиционное кодирование, механизм внимания, функция потерь, обратное распространение ошибки, стохастический градиентный спуск и остаточные связи.
Текстовые строки HyperCard против современных матриц
Запуск архитектуры современных моделей на процессоре Motorola 68030 с частотой 16 МГц предсказуемо уперся в ограничения ретро-железа. Модель насчитывает всего 1216 параметров, распределенных по шести матрицам весов — микроскопический объем по меркам индустрии. Из-за того, что в HyperTalk нет поддержки массивов данных, Лавиню пришлось сохранять таблицы весов в виде обычного текста, разделенного запятыми, в скрытых текстовых полях. Компьютеру приходится посимвольно разбирать эти строки при каждой математической операции.
Наблюдать за тем, как 16-мегагерцовый Macintosh заново открывает алгоритм, десятилетиями служивший основой цифровой обработки сигналов, — впечатляющая демонстрация возможностей даже крошечной нейросети.
Несмотря на колоссальный дефицит вычислительной мощности, сам процесс обучения в точности повторяет работу современных гигантских дата-центров: прямой проход, расчет ошибки, обратный проход, обновление весов и новый цикл. Сети поставили задачу вычислить алгоритм перестановки битов, необходимый для быстрого преобразования Фурье. Логику в модель не закладывали вручную: MacMind самостоятельно вывел закономерность по учебным примерам. После обучения нейросеть успешно сошлась, отрисовав классический паттерн прямо на своей карте внимания.
Открытая система, которую можно изучить руками
Проект работает как интерактивная программа из пяти карточек HyperCard, где можно обучать сеть, тестировать ее на собственных данных, изучать карты внимания и следить за вычислениями по простым пояснениям. Любой желающий может кликнуть по интерфейсу с зажатой клавишей Option и увидеть исходный код, отследив каждое матричное умножение прямо на винтажном кремнии.
MacMind сбивает пафос корпоративного мифа об искусственном интеллекте и наглядно показывает базовую арифметику под капотом. Промышленные мощности нужны для скорости и универсальности, но для понимания сути технологии не требуется арендовать стойки с топовыми чипами: базовые принципы легко освоить на настольном компьютере 35-летней давности.