Представьте себе игру, в которой Вы могли бы вести интеллектуальные, непредсказуемые и динамичные разговоры с неигровыми персонажами (NPC). У этих персонажей были бы устойчивые личности, меняющиеся со временем, точные лицевые анимации и выражения. И все это на родном языке игрока.
Сила генеративного ИИ делает это реальностью, и на COMPUTEX 2023 компания NVIDIA представила новую технологию – NVIDIA Avatar Cloud Engine (ACE) for Games. NVIDIA ACE for Games – это специализированный сервис для создания моделей ИИ, который предназначен для модификации компьютерных игр путем добавления интеллекта неигровым персонажам.
“Генеративный ИИ способен революционизировать взаимодействие игроков с NPC и значительно увеличить эффект присутствия”, – сказал Джон Спитцер (John Spitzer), вице-президент по технологиям для разработчиков и производительности в NVIDIA. “Опираясь на наш опыт в MI и десятилетия работы с разработчиками игр, NVIDIA впервые использует генеративный ИИ в играх”.
Модели искусственного интеллекта NVIDIA ACE for Games
Разработчики программного обеспечения, инструментов и компьютерных игр смогут использовать NVIDIA ACE for Games для создания и внедрения индивидуальных моделей речи, разговоров и анимации в свои программы и игры, как в облаке, так и на ПК.
Оптимизированные базовые модели MI включают в себя следующие интересные технологии:
- NVIDIA NeMo, которая предоставляет базовые языковые модели и инструменты настройки, чтобы разработчики могли еще больше адаптировать модели для игровых персонажей. Эта настраиваемая Большая языковая модель (Large Language Model, LLM) позволяет создавать истории и личности персонажей, которые соответствуют миру игры разработчика.
- NVIDIA Riva, которая обеспечивает функции автоматического распознавания речи (ASR) и преобразования текста в речь (TTS) для живых разговоров с NVIDIA NeMo.
- NVIDIA Omniverse Audio2Face, которая мгновенно создает выразительные лицевые анимации для игровых персонажей, используя только источник звука. Технология Audio2Face Omniverse подключена к движку Unreal Engine 5, поэтому разработчики могут добавлять лицевую анимацию прямо в персонажей MetaHuman.
Как работает NVIDIA ACE для игр?
Чтобы продемонстрировать возможности NVIDIA ACE для игр и показать, как разработчики будут создавать NPC в ближайшем будущем, NVIDIA сотрудничает с Convai (стартап NVIDIA Inception), который создает платформу для создания и внедрения персонажей MI в компьютерные игры и виртуальные миры.
“С NVIDIA ACE for Games инструменты Convai могут достичь задержек и качества, необходимых для того, чтобы сделать AI NPC доступными практически для любого разработчика, причем с минимальными затратами”, – сказал Пурнанд Мукерджи (Purnand Mukherjee), основатель и генеральный директор Convai.
В демонстрации Kairos использовались NVIDIA Riva для преобразования речи в текст и текста в речь, NVIDIA NeMo для работы с разговорным MI и Audio2Face для создания лицевой анимации с помощью MI на основе голосового ввода. Эти модули были интегрированы в сервисную платформу Convai и использованы с Unreal Engine 5 и MetaHuman, чтобы оживить NPC по имени Джинн.
Сцена с Джинном и его закусочной Ramen была создана командой художников NVIDIA Lightspeed Studios и полностью отрисована в Unreal Engine 5 с использованием трассировки лучей NVIDIA RTX Direct Illumination (RTXDI) для освещения и теней, а также DLSS для обеспечения максимально возможной частоты кадров и качества изображения.
Эта демонстрация в реальном времени показывает, что возможно с видеокартами GeForce RTX, технологиями NVIDIA RTX и NVIDIA ACE for Games. Здесь мы можем увидеть возможности будущих игр, в которых будет использоваться эта новая инновационная технология.
NVIDIA ACE: оживляем NPC
Несколько разработчиков игр уже используют технологии генеративного МИ от NVIDIA. Например, GSC Game World использует Audio2Face в долгожданной компьютерной игре S.T.A.L.K.E.R. 2 Heart of Chornobyl. А инди-разработчик Fallen Leaf использует Audio2Face для анимации лиц персонажей в научно-фантастическом триллере Fort Solis, действие которого происходит на Марсе. А компания Charisma.ai, которая занимается созданием виртуальных персонажей с помощью MI, использует Audio2Face для создания анимации в своем разговорном движке.
Перспективы на будущее
В целом, технология NVIDIA ACE for Games способна произвести революцию в компьютерных играх, позволив NPC генерировать уникальные разговоры, эмоции и даже интонации голоса в реальном времени, подстраиваясь под каждую игровую ситуацию и действия игрока. Это может сделать миры компьютерных игр гораздо более живыми и увлекательными, поскольку каждый NPC может стать уникальной личностью со своей собственной историей и реакциями.
В будущем эта технология может развиваться и включать в себя все более сложные модели эмоций, черты характера и даже способность учиться на основе взаимодействия с игроками, создавая все более реалистичные и непредсказуемые виртуальные миры, которые предлагают уникальный опыт для каждого игрока.