Microsoft представила 1-битную ИИ-модель, работающую на обычном CPU
В Microsoft создали компактную языковую модель BitNet b1.58, которая работает даже на процессорах без мощных видеокарт. Она использует всего 1,58 бита на параметр и потребляет в три раза меньше памяти, чем аналоги.
BitNet b1.58 является открытой ИИ-моделью с 2 млрд параметров, обученной на 4 трлн токенов (эквивалент более 33 млн книг). В отличие от традиционных ИИ с 16- или 32-битными весами, она оперирует всего тремя значениями: -1, 0 и +1. Это позволяет ей занимать всего 400 МБ памяти, например, в сравнении с 1,4 Гбайт у Google Gemma 3 1B.
Модель может запускаться даже на процессорах вроде Apple M2, что делает её вполне доступной для пользователей без дорогих GPU. Как отмечают разработчики, BitNet b1.58 «открывает путь к локальному ИИ на обычных устройствах», однако для максимальной скорости потребуется специальный фреймворк bitnet.cpp — стандартные библиотеки, например, Transformers, не подойдут из-за невозможности обеспечить необходимый прирост.
Хотя BitNet уступает крупным моделям в точности, её энергоэффективность является ключевым преимуществом. В тестах она показала сопоставимые результаты с LLaMa от Meta (1B) и Gemma от Google (1B), а в некоторых задачах даже обошла их. Модель уже доступна на Hugging Face, а оптимизированный фреймворк bitnet.cpp можно скачать на GitHub. Пока он поддерживает только CPU, но в будущем добавится совместимость с NPU и GPU.
BitNet — это часть тренда сегодняшнего дня по сокращению энергопотребления ИИ. Такие модели снижают зависимость от дата-центров и позволяют запускать нейросети даже на старых компьютерах. «Это ни больше не меньше шаг к демократизации ИИ», — заключают в Microsoft.
Единственный минус минус заключается в необходимости использовать bitnet.cpp. Без него экономия памяти и скорости будет не такой значительной. Также модель пока не поддерживает ИИ-ускорители, но разработчики обещают их интеграцию в будущем. Пока BitNet b1.58 это только эксперимент, но он может изменить правила игры в индустрии, считают эксперты.
Источник: Tom's Hardware
