Ютубер sammyuri разработал в Minecraft уникальную языковую модель CraftGPT, построенную исключительно на редстоун-схемах. Модель содержит 5 миллионов параметров, словарь из 1920 слов и контекстное окно в 64 токена. Несмотря на использование специального плагина MCHPR и увеличения скорости тиков сервера до 40 тысяч раз, генерация одного ответа занимает около двух часов, а без ускорения процесс занял бы свыше десяти лет.
В конструкции модели используется более 438 млн блоков, и для её запуска не потребовались ни моды, ни дата-паки. Качество генерируемого текста низкое, модель допускает много ошибок и теряет нить разговора. Проект требует сервер с минимум 32 ГБ оперативной памяти, а оптимально — 64 ГБ. Код проекта и инструкции размещены на GitHub.
Характеристики CraftGPT были удивительно скромными в сравнении с крупными языковыми моделями: 5 млн параметров, что примерно в 23 раза меньше модели GPT-1 и в 175 тыс. раз меньше модели GPT-3. При этом модель обучена на датасете TinyChat, который содержит разговорные фразы на английском.
Несмотря на ограничения, проект sammyuri представляет собой любопытный эксперимент в рамках Minecraft, демонстрирующий, что можно создавать базовые языковые модели даже с использованием игровых механик. Тем не менее, недостатки в качестве и скорости работы проекта поднимают вопросы о целесообразности использования таких подходов. Модель CraftGPT, хотя и имеет потенциал для простых диалогов, демонстрирует, что работы в этой области ещё много.
Как отмечает автор, для запуска игрового мира требуется современное оборудование, способное поддерживать такие задачи. Модель имеет размерность встраивания 240, словарный запас 1920 токенов и 6 слоёв, что делает её компактной версией ChatGPT. Однако использование технологии Distant Horizons в записи кадров иногда приводит к искажениям из-за низкого разрешения, что также стоит учитывать.
Таким образом, CraftGPT в Minecraft — это интересная попытка интегрировать технологии ИИ в игровые механики, позволяющая игрокам наблюдать за попытками создания диалоговых систем в необычной среде.