Исследователи из Carnegie Mellon University представили ИИ-модель LegoGPT, способную создавать уникальные проекты из конструктора Lego на основе текстовых описаний. Система уже доступна бесплатно на платформе GitHub и может использоваться как для личных проектов, так и в образовательных целях.

Для обучения искусственного интеллекта (ИИ) исследователи использовали набор данных, содержащий более 47 000 Lego-структур, собранных из 28 000 уникальных трёхмерных объектов. Среди них — книжные полки, стулья, автомобили, корабли, гитары и другие предметы. На основе этого массива данных модель научилась понимать, как соединять отдельные элементы, чтобы получались устойчивые и функциональные конструкции.

Инструмент можно комбинировать с компьютерным зрением или моделями обработки изображений. Например, сделав фото имеющихся Lego-кирпичей, можно загрузить снимок в систему, которая предложит множество вариантов сборки, используя только те детали, которые имеются в наличии, что делает LegoGPT не просто творческой игрушкой, но и практическим помощником в обучении основам проектирования и инженерии.

Чтобы обеспечить работоспособность и устойчивость создаваемых конструкций, в процесс генерации были внедрены проверка на корректность и механизм отката при выявлении ошибок. Модель на каждом этапе проверяет, правильно ли форматирован кирпич, существует ли он в библиотеке и не пересекается ли с уже установленными элементами. Если система определяет, что конструкция теряет устойчивость, она возвращается к последнему стабильному состоянию и продолжает сборку с этого места.

В основе работы LegoGPT лежит специально подготовленный датасет StableText2Lego. В нём текстовые запросы преобразуются в трехмерные модели (ShapeNetCore mesh), которые затем переводятся в воксельную сетку размером 20x20x20. На основе этой сетки определяется начальное расположение элементов Lego. После этого алгоритм вносит вариации, сохраняя общую форму объекта, а затем отсеивает нестабильные конструкции. Оставшиеся рендерятся с 24 ракурсов, а GPT-4o генерирует к ним описания.

Полученные таким образом данные позволяют LegoGPT устанавливать связь между текстовым описанием и физической конструкцией. Модель разбивает проект на слои, конвертируя их в текстовые токены, и строит пошаговые инструкции. Это помогает пользователю понять, как именно собирается объект и какие элементы используются в каждой его части.

Мнение HDHai

Честно говоря, LegoGPT — это как мечта детства, ставшая реальностью. Наконец-то можно просто сказать «собери мне крутой космический корабль» и получить не абстрактную 3D-модель, а реальную схему из Lego. Правда, есть нюанс: нейросеть пока требует технической подкованности (GitHub всё-таки), но сам факт, что ИИ научился учитывать законы физики и откатывать неудачные конструкции, впечатляет. Интересно, как скоро энтузиасты прикрутят к этому красивый интерфейс? Тогда LegoGPT может стать Must Have для родителей, которым надоело придумывать новые домики из кубиков после работы. Главное, чтобы ИИ не начал выдавать слишком сложные схемы, иначе придётся объяснять ребёнку, почему его «простой дракон» состоит из 2000 деталей и требует инженерного образования.