нейроная сеть

Нейросеть AlphaStar одолела профессиональных игроков в StarCraft II

Программа AlphaStar, разработанная DeepMind, смогла обыграть двух профессиональных игроков в стратегию в реальном времени StarCraft II. Каждого из игроков-людей нейросеть победила в пяти матчах. Описание работы программы доступно на сайте DeepMind, а посмотреть на AlphaStar в деле можно на YouTube.

Для обеих частей StarCraft уже достаточно давно разрабатываются боты и даже проводятся соревнования подобных программ, однако до сих пор таким алгоритмам не удавалось победить человека. Дело в том, что несмотря на победу программы AlphaGo в настольной игре го(которая долгое время считалось слишком сложной для машин) со стратегией в реальном времени все обстоит иначе — это игра с закрытой информацией, в которой нужно решать большое количество задач одновременно. Компания Blizzard объявила о создании открытого API для StarCraft II еще летом 2017 года, но с тех пор заметного прогресса почти не было — даже нейросеть, разработанная DeepMind, долгое время не могла показать блестящего результата и проигрывалалегкому уровню сложности встроенных алгоритмов.

Теперь компания DeepMind (входит в состав холдинга Alphabet) продемонстрировала, что их новая программа AlphaStar способна обыграть профессиональных игроков. При создании AlphaStar использовался метод глубокого обучения с подкреплением, а также обучение с учителем, в качестве тренировочного датасета разработчики использовали предоставленные компанией Blizzard анонимизированные записи игр настоящих людей. Обученная на этих играх нейросеть научилась побеждать встроенные алгоритмы StarCraft II на самой высокой сложности в 95 процентах случаев, после чего специалисты DeepMind заставили программу играть с самой собой. Разработчики отмечают, что сначала в «лиге AlphaStar» доминировал раш — тактика быстрой победы путем строительства большого количества сравнительно дешевых юнитов. Однако затем нейросеть научилась бороться с такими атаками и начала делать упор в том числе и на экономическое развитие. Всего на «лигу AlphaStar» ушло 14 дней игры агентов друг с другом, что эквивалентно 200 годам игры в StarCraft II.

Сначала нейросеть выиграла пять матчей из пяти против TLO (Дарио Вунш, Германия), а затем другая версия нейросети победила пять раз подряд игрока MaNa (Гжегож Коминч, Польша). Оба профессионала входят в сотню сильнейших игроков в StarCraft II. Интересно, что средний APM (количество действий в минуту) нейросети оказался значительно меньше, чем у ее противников.

DeepMind

Поделиться

    

Стоит отметить что все же небольшое преимущество у AlphaStar было — несмотря на то, что туман войны закрывал карту для нейросети так же, как и для человека, программа получала для обработки не частичное изображение известной области (условный экран), а видела сразу все, что позволяет увидеть игра. Благодаря этому нейросети не приходилось постоянно переключаться между разными зонами карты для контроля за происходящим. Когда же для еще одного демонстрационного матча с MaNa разработчики заставили AlphaStar играть с обычным ограничением масштаба видимой области, то нейросеть проиграла человеку. Правда, в DeepMind отмечают, что самостоятельно двигающая камеру версия программы обучалась в «лиге AlphaStar» всего семь дней.

Первая часть StarCraft тоже представляет собой сложную задачу даже для методов глубокого обучения. Так, в октябре 2017 года своего бота для этой игры представила компания Facebook, и он оказался слабеепрограмм, созданных программистами-любителями. Специалистам из Alibaba Group и Университетского колледжа Лондона удалось научить свою программу неплохому уровню микроконтроля юнитов при ведении боя, но на полноценную игру их разработка все еще не способна.

Сурс

Продолжая вчерашнюю тему Сигмы. Если всё таки исходить не из возможных коллабораций с другими тайтлами аниме, а все таки из уже подтвержденного One Punch Man и тем фактом, что облик Кирико долгое время хранили в тайне, то чей облик мог бы получить наш любимый дедус?

Фанаты уже прикинули, что Бласт мог бы стать отличным персонажем для коллаборации с Сигмой и подкрепили свои доводы изображениями нейросети.