Нейросеть Oasis Minecraft AI: как работает, возможности и ограничения

Что такое Oasis Minecraft AI и чем он отличается от обычного Minecraft

Oasis Minecraft AI — это экспериментальный проект компании Decart AI, который представляет собой полностью сгенерированную нейросетью интерактивную среду, стилизованную под Minecraft. В отличие от оригинальной игры, где каждый блок, текстура и физический закон жёстко заданы движком, в Oasis всё создаётся искусственным интеллектом в реальном времени. Нет заранее построенных карт, нет фиксированной физики — модель на основе трансформеров и диффузионных процессов сама решает, как должен выглядеть мир и как объекты должны реагировать на действия игрока.

Ключевое отличие — это подход к генерации. В обычном Minecraft мир procedurally генерируется один раз при создании новой карты, а затем остаётся статичным (за исключением изменений, внесённых игроком). В Oasis каждый кадр — это результат работы нейросети, которая получает на вход нажатия клавиш и предыдущий кадр, а на выходе выдаёт новое изображение. Это означает, что мир может меняться непредсказуемо, а границы возможного определяются не кодом игры, а тем, чему научилась модель.

Проект был анонсирован в октябре 2024 года, и с тех пор доступна демо-версия в браузере. Разработчики подчёркивают, что это исследовательский прототип, а не коммерческий продукт. Тем не менее, Oasis уже позволяет выполнять базовые действия: перемещаться, прыгать, подбирать и выбрасывать предметы, разрушать блоки. Всё это происходит без какого-либо игрового движка — только силами нейросети.

Как работает технология Oasis: архитектура и ключевые компоненты

В основе Oasis лежит комбинация двух основных компонентов: пространственного автоэнкодера и диффузионной основы. Оба построены на архитектуре Transformer. Автоэнкодер, основанный на ViT (Vision Transformer), отвечает за сжатие визуальной информации в компактное представление. Диффузионная основа, построенная по принципу DiT (Diffusion Transformer), генерирует новые кадры на основе этого представления и действий пользователя.

Модель работает авторегрессионно: каждый новый кадр генерируется с учётом предыдущего и текущего ввода с клавиатуры и мыши. Это принципиально отличает Oasis от таких систем, как Sora от OpenAI, которые создают видео целиком, но не позволяют влиять на него в реальном времени. Для обеспечения интерактивности модель должна выдавать новый кадр каждые 0,05 секунды (20 кадров в секунду), что более чем в 100 раз быстрее, чем современные модели текст-в-видео.

Особое внимание разработчики уделили проблеме временной стабильности. При авторегрессионной генерации ошибки имеют свойство накапливаться: малейший артефакт в одном кадре может привести к серьёзным искажениям в последующих. Для борьбы с этим была применена техника динамического зашумления (dynamic noising): на первых шагах диффузии в кадр намеренно добавляется шум, чтобы снизить накопление ошибок, а затем шум постепенно убирается, позволяя модели сохранить высокочастотные детали.

Модель обучалась на видеозаписях игрового процесса Minecraft. Использовались техники Diffusion Forcing, которые позволяют задавать независимые уровни шума для разных токенов, что даёт возможность применять новые схемы декодирования. Размер обученной модели, которую можно запустить локально, составляет 500 миллионов параметров. Для демо-версии используется более крупный чекпоинт.

Какие нейросетевые подходы легли в основу Oasis

Oasis объединяет несколько передовых направлений в области генеративных моделей. Прежде всего, это трансформеры для распознавания изображений — работа опирается на исследование "An Image is Worth 16x16 Words" (Dosovitskiy и др.), которое показало, что архитектура Transformer может эффективно обрабатывать визуальные данные, разбивая изображение на патчи.

Второй важный компонент — масштабируемые диффузионные модели с трансформерами (DiT), предложенные в работе Peebles и др. "Scalable Diffusion Models with Transformers". Именно они служат базовым "движком" для генерации графики в реальном времени. Дополнительно используются результаты исследования "Diffusion Models Are Real-Time Game Engines" (Valevski и др.), которое показало, что диффузионные модели могут выступать в роли игрового движка.

Для улучшения визуальных деталей применяются диффузионные модели для моделирования миров, основанные на работе "Diffusion for World Modeling: Visual Details Matter in Atari" (Alonso и др.). Видео-симуляция мира использует подходы, близкие к решениям OpenAI, а предсказание следующего действия реализовано с помощью техники Diffusion Forcing (Chen и др.), которая объединяет предсказание следующего токена с полной последовательной диффузией.

Для создания плавных переходов в игровом процессе применяется модель Genmo Mochi 1, а для повышения качества кадров — Runway Gen-3 Alpha. Обучение модели взаимодействию с миром происходило на основе видео-примеров, в частности, использовался подход "Learning to Act by Watching Unlabeled Online Videos", позволяющий модели перенимать действия и реакции из наблюдений.

Как начать играть в Oasis: пошаговая инструкция

Для того чтобы попробовать Oasis Minecraft AI, не требуется скачивать или устанавливать какие-либо программы. Всё работает в браузере на компьютере или ноутбуке. Операционная система значения не имеет — подойдут Windows, macOS или Linux. Разработчики рекомендуют использовать современные браузеры: Chrome, Opera, Safari — проблем с совместимостью обычно не возникает.

Чтобы начать, перейдите на официальный сайт oasis.decart.ai и нажмите кнопку Start. После этого вам будет предложено выбрать один из пяти предустановленных игровых миров:

• Village Outpost — деревня среди холмов с сельскохозяйственными угодьями;
• Dense Forest — лесная местность с высокими деревьями;
• Rugged Coastline — отвесный берег, переходящий в океан;
• Desert Expanse — пустынная местность с дюнами;
• Mountain Meadow — склон горы с дикими цветами и зелёными лугами.

После выбора мир генерируется за несколько секунд, и можно приступать к игре. Управление стандартное для жанра: WASD для перемещения, мышь для осмотра, пробел для прыжка, Ctrl для бега. Клавиша E открывает инвентарь, цифры 1-9 используются для выбора предметов, левая кнопка мыши — подобрать или выбросить предмет, правая кнопка или Q — ударить. Для паузы нажмите ESC.

Одна игровая сессия длится не более 15 минут из-за высокой нагрузки на серверы. После завершения можно скачать видео игрового процесса в формате MP4. Звуковое сопровождение включается и отключается кнопкой с динамиком.

Возможные проблемы и способы их решения

Поскольку Oasis — это экспериментальный проект, пользователи могут столкнуться с рядом проблем. Самая распространённая — необходимость ожидания в очереди. Из-за высокой популярности и ограниченных серверных мощностей доступ к игре может открываться не сразу. Обычно время ожидания не превышает минуты, но в пиковые часы может быть дольше. Если кнопка Start неактивна или серая, нужно просто подождать.

Вторая по частоте проблема — сбои в работе игры. Поскольку весь игровой процесс происходит в браузере, многие неполадки решаются простой перезагрузкой страницы. Если это не помогает, стоит попробовать сменить браузер или очистить кэш. Разработчики отмечают, что игра может работать нестабильно: возможны баги, в том числе исчезновение предметов, графические артефакты и временные зависания.

Важно понимать, что это не полноценный коммерческий продукт, а исследовательский прототип. Разрешение игры составляет 720p при 20 кадрах в секунду — это ниже стандартов современных игр, но достаточно для знакомства с технологией. После запуска игры курсор мыши пропадает — чтобы вернуть его, нужно дважды нажать ESC.

Если игра не запускается вовсе, проверьте стабильность интернет-соединения и обновите браузер до последней версии. На момент написания статьи версии для скачивания не существует, несмотря на наличие кода в открытом доступе на GitHub. Полноценная версия, возможно, выйдет в будущем, но точных сроков разработчики не называют.

Технические ограничения и перспективы развития Oasis

Несмотря на впечатляющую демонстрацию возможностей, Oasis имеет ряд существенных ограничений, которые признают сами разработчики. Основные проблемы связаны с размытым изображением на дальних планах, временной нестабильностью некоторых объектов, ограниченной способностью к обобщению на новые ситуации, неточным управлением инвентарём и сложностями при работе с длинными игровыми сессиями.

Разработчики из Decart и Etched полагают, что большинство этих проблем может быть решено за счёт масштабирования модели и увеличения объёмов обучающих данных. Однако для этого потребуются значительные вычислительные ресурсы. Текущая модель работает на серверах Decart, но для достижения коммерчески приемлемой производительности необходимо новое специализированное оборудование.

Именно здесь в игру вступает партнёр Decart — компания Etched, которая разрабатывает специализированный ASIC-чип Sohu для ускорения трансформеров. По заявлениям разработчиков, Sohu сможет обрабатывать модели следующего поколения с сотнями миллиардов параметров в разрешении 4K. Oasis оптимизирован именно под эту архитектуру, что должно обеспечить значительный прирост производительности и снижение стоимости обслуживания.

В перспективе разработчики видят возможность управления игровым миром не только с помощью клавиатуры, но и через текст, голос или другие модальности. Это открывает путь к созданию полностью адаптивных игровых сред, где игрок может просто описать желаемый сценарий, и нейросеть сгенерирует его в реальном времени.

Практическое применение Oasis: от стримов до образования

Несмотря на экспериментальный статус, Oasis уже находит практическое применение в нескольких областях. Для стримеров и контент-креаторов это уникальный инструмент: каждая игровая сессия неповторима, что создаёт естественный интерес у зрителей. Можно заранее выбрать один из пяти миров и показывать, как нейросеть реагирует на действия игрока, — это зрелищно и познавательно.

В образовательных целях Oasis может использоваться для демонстрации возможностей современных нейросетей. Студенты и школьники могут наглядно увидеть, как работает генеративная модель в реальном времени, понять разницу между традиционным игровым движком и нейросетевым подходом. Это может стать отличным дополнением к курсам по машинному обучению и искусственному интеллекту.

Для разработчиков и исследователей Oasis представляет интерес как платформа для тестирования возможностей ИИ в реальном времени. Открытый код и опубликованные веса модели позволяют экспериментировать с дообучением, модификациями и интеграцией в другие проекты. Это может ускорить развитие направления генеративных игровых сред.

Наконец, для обычных пользователей Oasis — это возможность прикоснуться к будущему игровой индустрии. Даже в текущем ограниченном виде проект даёт представление о том, как могут выглядеть игры, полностью создаваемые искусственным интеллектом, где каждый мир уникален и адаптируется под конкретного игрока.

Сравнение Oasis с другими нейросетевыми игровыми проектами

Oasis — не единственный проект, пытающийся использовать нейросети для генерации игрового процесса. Среди ближайших аналогов можно выделить GameNGen от Google, который также использует диффузионные модели для симуляции игры Doom, и DIAMOND, ориентированный на Atari-игры. Однако Oasis отличается от них принципиально: он использует исключительно трансформеры, а не свёрточные сети, что обеспечивает более предсказуемое масштабирование и совместимость со специализированным оборудованием Etched.

В отличие от Sora от OpenAI, которая генерирует видео высокого качества, но не позволяет взаимодействовать с ним в реальном времени, Oasis делает ставку на интерактивность. Скорость генерации — 20 кадров в секунду — достигается за счёт оптимизированного инференса и компромиссов в качестве. Для сравнения, Sora может тратить 10-20 секунд на создание одной секунды видео даже на нескольких GPU.

Важное преимущество Oasis — открытость. Разработчики опубликовали код, веса модели и техническое описание, что позволяет сообществу исследователей и энтузиастов изучать и улучшать проект. Это контрастирует с закрытыми подходами многих коммерческих компаний.

Однако по качеству графики и стабильности Oasis пока уступает традиционным играм. Разрешение 720p и 20 FPS — это далеко не стандарты современного гейминга. Тем не менее, для первого в своём роде проекта, работающего без игрового движка, это впечатляющий результат, демонстрирующий потенциал направления.

Будущее Oasis: что ждать от проекта в ближайшее время

Разработчики из Decart и Etched чётко дают понять, что Oasis — это исследовательский проект, а не готовый продукт. Однако они активно работают над его развитием. Основные направления будущих улучшений включают масштабирование модели, увеличение разрешения до 4K, улучшение временной стабильности и расширение набора возможных действий.

Ключевым фактором, который определит судьбу проекта, является выход специализированного чипа Sohu. Если он оправдает ожидания, Oasis сможет работать значительно быстрее и дешевле, что сделает возможным коммерческое использование. Разработчики оценивают, что Sohu сможет обслуживать более чем в 10 раз больше пользователей даже на моделях с сотнями миллиардов параметров.

В долгосрочной перспективе Oasis может стать основой для нового класса игр, где нейросеть выступает не просто инструментом, а полноценным игровым движком. Это открывает возможности для создания бесконечно разнообразных миров, адаптивных сюжетов и уникального игрового опыта для каждого пользователя.

Пока же проект остаётся доступным в виде браузерной демо-версии. Разработчики приглашают всех желающих попробовать Oasis и присылать обратную связь. Возможно, именно ваши отзывы помогут сделать следующий шаг в развитии этой технологии.

Вопросы и ответы