Искусственный интеллект компании Tencent обыграл алгоритмы StarCraft II

Искусственный интеллект компании Tencent обыграл алгоритмы StarCraft II Исследователи искусственного интеллекта (ИИ) всегда были в восторге от создания ботов, которые могут играть в игры так же хорошо, как человек.


Еще в июне команда OpenAI Five, команда ботов искусственного интеллекта, разгромила людей-любителей в видеоигре Dota 2. В августе OpenAI Five bots побили команду бывших профессионалов в Dota 2. Теперь исследователи из китайского технологического гиганта Tencent недавно разработали пару агентов ИИ, которые успешно превзошли уровень искусственного интеллекта в StarCraft II в полном объеме игры.
Starcraft II считается самой сложной игрой в режиме реального времени из-за большого пространства для наблюдения, огромного пространства действий, частичного наблюдения, многопользовательской модели одновременной игры и долговременного решения.
В сообщении компании Tencent описываются два агента ИИ: TSTARBOT 1 и TSTARBOT 2. Первый - это агент контроллера макроуровня, основанный на глубоком усилении обучения по структуре плоских действий. Он контролирует несколько конкретных алгоритмов, предназначенных для обработки функций нижнего уровня.
TSTARBOT2, более надежный из двух, является макро-микроконтроллером, состоящим из нескольких модулей, которые обрабатывают целые грани игрового процесса независимо.
ИИ боты Tencent играли в игру, используя методы, подобные щелчкам мыши и макросам, и играли точно так же, как и игрок-человек. ИИ видел игру, интерпретируя видеовыход в режиме «от кадра к кадру» и переводя информацию в данные, с которыми он может работать. ИИ Tencent сыграл StarCraft II с включенным «туманом войны». Это означает, что ИИ не мог видеть вражеские единицы ИИ и базу до тех пор, пока не разведает карту. TSTARBOTs были предназначены для имитации процесса мышления человека.
Агенты были протестированы в полной игре 1на1 Zerg-vs-Zerg. Они играли против встроенного ИИ от уровня 1 (самый легкий) до 10 уровня (самый сложный). Обучение использовало Abyssal Reef, карту, которая, как известно, мешала AI нейронной сети выигрывать от встроенных AI StarCraft II.
Интересно, что Tencent обучил агентов, используя только один процессор. Это, однако, заняло большое количество процессоров для обработки данных, необходимых для обучения ботов на миллиардах кадров видео. Исследователи применяли 1920 параллельных участников (с 3840 процессорами на 80 машинах) для создания переходов воспроизведения со скоростью около 16 000 кадров в секунду.
Васильев Виталий






Смотрите также: