Nes-AI-Extravaganza

Мой первый персонаж 120 уровня! С нетерпением жду нового аддона, несите же скорее!

В World of Wacraft почти все персонажи в начале выбирают сторону, на которой они будут сражаться — за Орду или Альянс. Но есть исключения —например, герои-пандарены, которые выбирают сторону лишь после того, как пройдут цепочки квестов на стартовой локации Скитающийся остров. Этих заданий хватает лишь до 10-15 уровня. Поэтому Doubleagent пришлось «качаться» на травах и добычи руды. Если персонаж освоил соответствующие профессии, то он получает немного опыта за сбор трав и руды.

Впервые о Doubleagent услышали, когда он достиг максимального уровня (90-го по тем временам) в аддоне Mists of Pandaria, в котором разработчики и добавили пандаренов. С тех пор он регулярно возвращается в игру после выхода очередного аддона и повышает своему герою уровень до «потолка».

В 2017-м году PC Gamer брал интервью у Doubleagent — издание пыталосьвыяснить, сколько времени он потратил на прокачку. Известно, что на достижение 90 уровня у игрока ушло чуть больше 175 дней реального времени (свыше 4000 часов). Чтобы повысить уровень до 110, он потратил ещё 244 часа. В разговоре с PC Gamer игрок подчеркнул, что находит такую рутину расслабляющей и отметил, что нет «правильного» способа играть в видеоигры.

Нейросеть AlphaStar одолела профессиональных игроков в StarCraft II

Программа AlphaStar, разработанная DeepMind, смогла обыграть двух профессиональных игроков в стратегию в реальном времени StarCraft II. Каждого из игроков-людей нейросеть победила в пяти матчах. Описание работы программы доступно на сайте DeepMind, а посмотреть на AlphaStar в деле можно на YouTube.

Для обеих частей StarCraft уже достаточно давно разрабатываются боты и даже проводятся соревнования подобных программ, однако до сих пор таким алгоритмам не удавалось победить человека. Дело в том, что несмотря на победу программы AlphaGo в настольной игре го(которая долгое время считалось слишком сложной для машин) со стратегией в реальном времени все обстоит иначе — это игра с закрытой информацией, в которой нужно решать большое количество задач одновременно. Компания Blizzard объявила о создании открытого API для StarCraft II еще летом 2017 года, но с тех пор заметного прогресса почти не было — даже нейросеть, разработанная DeepMind, долгое время не могла показать блестящего результата и проигрывалалегкому уровню сложности встроенных алгоритмов.

Теперь компания DeepMind (входит в состав холдинга Alphabet) продемонстрировала, что их новая программа AlphaStar способна обыграть профессиональных игроков. При создании AlphaStar использовался метод глубокого обучения с подкреплением, а также обучение с учителем, в качестве тренировочного датасета разработчики использовали предоставленные компанией Blizzard анонимизированные записи игр настоящих людей. Обученная на этих играх нейросеть научилась побеждать встроенные алгоритмы StarCraft II на самой высокой сложности в 95 процентах случаев, после чего специалисты DeepMind заставили программу играть с самой собой. Разработчики отмечают, что сначала в «лиге AlphaStar» доминировал раш — тактика быстрой победы путем строительства большого количества сравнительно дешевых юнитов. Однако затем нейросеть научилась бороться с такими атаками и начала делать упор в том числе и на экономическое развитие. Всего на «лигу AlphaStar» ушло 14 дней игры агентов друг с другом, что эквивалентно 200 годам игры в StarCraft II.

Сначала нейросеть выиграла пять матчей из пяти против TLO (Дарио Вунш, Германия), а затем другая версия нейросети победила пять раз подряд игрока MaNa (Гжегож Коминч, Польша). Оба профессионала входят в сотню сильнейших игроков в StarCraft II. Интересно, что средний APM (количество действий в минуту) нейросети оказался значительно меньше, чем у ее противников.

DeepMind

Поделиться

    

Стоит отметить что все же небольшое преимущество у AlphaStar было — несмотря на то, что туман войны закрывал карту для нейросети так же, как и для человека, программа получала для обработки не частичное изображение известной области (условный экран), а видела сразу все, что позволяет увидеть игра. Благодаря этому нейросети не приходилось постоянно переключаться между разными зонами карты для контроля за происходящим. Когда же для еще одного демонстрационного матча с MaNa разработчики заставили AlphaStar играть с обычным ограничением масштаба видимой области, то нейросеть проиграла человеку. Правда, в DeepMind отмечают, что самостоятельно двигающая камеру версия программы обучалась в «лиге AlphaStar» всего семь дней.

Первая часть StarCraft тоже представляет собой сложную задачу даже для методов глубокого обучения. Так, в октябре 2017 года своего бота для этой игры представила компания Facebook, и он оказался слабеепрограмм, созданных программистами-любителями. Специалистам из Alibaba Group и Университетского колледжа Лондона удалось научить свою программу неплохому уровню микроконтроля юнитов при ведении боя, но на полноценную игру их разработка все еще не способна.

Сурс