Overeat h

Нейросеть AlphaStar одолела профессиональных игроков в StarCraft II

Программа AlphaStar, разработанная DeepMind, смогла обыграть двух профессиональных игроков в стратегию в реальном времени StarCraft II. Каждого из игроков-людей нейросеть победила в пяти матчах. Описание работы программы доступно на сайте DeepMind, а посмотреть на AlphaStar в деле можно на YouTube.

Для обеих частей StarCraft уже достаточно давно разрабатываются боты и даже проводятся соревнования подобных программ, однако до сих пор таким алгоритмам не удавалось победить человека. Дело в том, что несмотря на победу программы AlphaGo в настольной игре го(которая долгое время считалось слишком сложной для машин) со стратегией в реальном времени все обстоит иначе — это игра с закрытой информацией, в которой нужно решать большое количество задач одновременно. Компания Blizzard объявила о создании открытого API для StarCraft II еще летом 2017 года, но с тех пор заметного прогресса почти не было — даже нейросеть, разработанная DeepMind, долгое время не могла показать блестящего результата и проигрывалалегкому уровню сложности встроенных алгоритмов.

Теперь компания DeepMind (входит в состав холдинга Alphabet) продемонстрировала, что их новая программа AlphaStar способна обыграть профессиональных игроков. При создании AlphaStar использовался метод глубокого обучения с подкреплением, а также обучение с учителем, в качестве тренировочного датасета разработчики использовали предоставленные компанией Blizzard анонимизированные записи игр настоящих людей. Обученная на этих играх нейросеть научилась побеждать встроенные алгоритмы StarCraft II на самой высокой сложности в 95 процентах случаев, после чего специалисты DeepMind заставили программу играть с самой собой. Разработчики отмечают, что сначала в «лиге AlphaStar» доминировал раш — тактика быстрой победы путем строительства большого количества сравнительно дешевых юнитов. Однако затем нейросеть научилась бороться с такими атаками и начала делать упор в том числе и на экономическое развитие. Всего на «лигу AlphaStar» ушло 14 дней игры агентов друг с другом, что эквивалентно 200 годам игры в StarCraft II.

Сначала нейросеть выиграла пять матчей из пяти против TLO (Дарио Вунш, Германия), а затем другая версия нейросети победила пять раз подряд игрока MaNa (Гжегож Коминч, Польша). Оба профессионала входят в сотню сильнейших игроков в StarCraft II. Интересно, что средний APM (количество действий в минуту) нейросети оказался значительно меньше, чем у ее противников.

DeepMind

Поделиться

    

Стоит отметить что все же небольшое преимущество у AlphaStar было — несмотря на то, что туман войны закрывал карту для нейросети так же, как и для человека, программа получала для обработки не частичное изображение известной области (условный экран), а видела сразу все, что позволяет увидеть игра. Благодаря этому нейросети не приходилось постоянно переключаться между разными зонами карты для контроля за происходящим. Когда же для еще одного демонстрационного матча с MaNa разработчики заставили AlphaStar играть с обычным ограничением масштаба видимой области, то нейросеть проиграла человеку. Правда, в DeepMind отмечают, что самостоятельно двигающая камеру версия программы обучалась в «лиге AlphaStar» всего семь дней.

Первая часть StarCraft тоже представляет собой сложную задачу даже для методов глубокого обучения. Так, в октябре 2017 года своего бота для этой игры представила компания Facebook, и он оказался слабеепрограмм, созданных программистами-любителями. Специалистам из Alibaba Group и Университетского колледжа Лондона удалось научить свою программу неплохому уровню микроконтроля юнитов при ведении боя, но на полноценную игру их разработка все еще не способна.

Сурс

Минувшей ночью Blizzard провела новую зачистку читеров в шутере Overwatch. Это спровоцировало нешуточный всплеск среди забаненных игроков. Это уже вторая волна банов игроков Overwatch — первая прошла в начале июня. В прошлый раз банили настолько жестоко, что проштрафившиеся покупатели второй копии игры незамедлительно получали бан, хотя и не пытались использовать читы во второй раз. В этот раз баны раздавали не менее сурово. Под прицел сотрудников Blizzard попали игроки, которые используют всевозможных ботов. Особо жестоко банили игроков с триггерботами — это такая специальная программа, которая автоматически открывает огонь по вражескому герою, попавшему в перекрестье прицела. Не остались без внимания и пользователи классических аимботов — читов, которые наводят прицел на врагов без какого-либо участия со стороны пользователя.

Как и в прошлый раз, игрок, замеченный в использовании читов, лишается всех своих аккаунтов и приобретенных копий Overwatch. Но Blizzard пошла дальше и вычислила аккаунты всех разработчиков триггерботов, после чего забанила и их. Теперь создатели читов не смогут подключиться к серверам игры, чтобы проверить новые хаки в действии. Большая часть создателей читов оказалась настолько умна, что не использовала читы в игре, поручая это дело третьим лицам. Как разработчикам удалось их вычислить — загадка.

Краткий экскурс по форумам Overwatch позволяет сказать, что забаненные игроки крайне недовольны жесткой политикой Blizzard. Известно, что в бан отправились даже пользователи, замеченные за использованием чита всего один раз. Один пользователь в ярости предложил организовать DDOS-атаку на серверы Overwatch. Другой использовал читы с аккаунта старшего брата, и теперь он не знает, как сказать ему, что тот уже никогда не сможет вернуться в Overwatch. Последний пользователь объявил войну Blizzard и предложил всем читерам мира объединяться.

Позиция Blizzard по данному вопросу остается неизменна. Все игроки в Overwatch должны быть равны в правах. Нарушители будут продолжать баниться, что оговорено в официальном соглашении игры.