З часом SIMA навчиться грати в будь-яку відеогру, навіть у ті, що не мають лінійного шляху до кінця гри, та ігри з відкритим світом. Хоча він не призначений для заміни наявних ігрових ШІ, його можна вважати, ще одним гравцем команди. Він поєднує навчання природною мовою з розумінням 3D-світів і розпізнаванням зображень, пише The Verge.
«. Дослідники підключили SIMA до таких ігор, як No Man’s Sky, Teardown, Valheim і Goat Simulator 3, щоб навчити його, як грати в ігри. Для цього SIMA не потрібен спеціальний API або доступу до вихідних кодів.
Для цього команда спочатку створила нове середовище в Unity, де ШІ потрібно було створити скульптури, щоб перевірити своє розуміння маніпуляцій з об’єктами. Потім Google записала пару гравців-людей, один з яких керував грою, а інший давав вказівки, що робити далі, щоб зафіксувати мовні інструкції. Після цього гравці грали самостійно, щоб показати, до чого призводять їхні дії в грі. Все це було передано SIMA, щоб вони навчилися передбачати, що станеться далі на екрані.
Зараз SIMA має близько 600 базових навичок, таких як поворот ліворуч, підйом по драбині та відкриття меню для використання карти. З часом, сказав Гарлі, SIMA можна буде доручити виконувати складніші функції в грі. Такі завдання, як «знайти ресурси та побудувати табір», все ще є складними, оскільки ШІ не може виконувати дії за людей.
Співкерівник проєкту SIMA Фредерік Бесс сказав, що ще занадто рано говорити про те, яку користь подібні ШІ можуть принести в ігри поза дослідницькою сферою.
SIMA все ще вчиться грати в ігри та адаптується до тих, у які раніше не грав.