Задолго до ChatGPT компания OpenAI учила нейросеть играть в Dota 2. Проект OpenAI Five шёл с 2016 по 2019 год и закончился тем, что бот обыграл действующих чемпионов The International, команду OG. Опыт, полученный на Dota 2, пригодился OpenAI в работе над следующими системами, в том числе над ChatGPT.
Зачем OpenAI понадобилась Dota 2
Сами разработчики называли OpenAI Five исследовательской площадкой для систем искусственного интеллекта общего назначения. Dota 2 подходила для этого почти идеально. Матч длится 30-45 минут, решения приходится принимать каждую долю секунды, карта частично скрыта туманом войны, а у каждого героя десятки возможных действий. Плюс к этому командная игра: пятерым агентам нужно договариваться без слов.
Шахматы и го, на которых раньше проверяли ИИ, устроены проще: полная информация о доске и поочерёдные ходы. Dota 2 гораздо ближе к хаосу реального мира, поэтому успех в ней показывал, что методы обучения можно масштабировать на по-настоящему сложные задачи.
Как учился бот
Бота не программировали на конкретные приёмы и не заставляли заучивать правила. Он играл сам с собой, раз за разом, и постепенно находил выгодные решения. Этот подход называется обучением с подкреплением: система получает награду за удачные действия, например за добитых крипов, убийства и разрушенные башни, и корректирует поведение.
Масштаб обучения был огромным. На тысячах процессоров и видеокарт бот ежедневно проживал игровой опыт, равный многим годам непрерывных матчей. Для обучения OpenAI использовала алгоритм PPO (Proximal Policy Optimization), который компания сама разработала в 2017 году. Позже этот же алгоритм стал частью обучения языковых моделей на отзывах людей.
Путь OpenAI Five к победе над чемпионами
Проект развивался поэтапно: сначала дуэли один на один, затем ограниченные командные матчи и наконец игра против лучших команд мира.
| Год | Событие | Результат |
|---|---|---|
| 2017 | Дуэли 1 на 1 на The International 7 | Бот обыграл Dendi на главной сцене |
| 2018 | Показательные матчи 5 на 5 | Победа над командой бывших профи и комментаторов |
| 2018 | Матчи на The International 8 | Поражения от профессиональных команд |
| 2019 | OpenAI Five Finals | Победа над OG со счётом 2:0 |
| 2019 | Открытая арена для всех желающих | 99,4% побед за три дня |
Дуэли на The International 2017
В 2017 году на главном турнире года бот сыграл один на один с известными мидерами, в том числе с Arteezy и SumaiL. Самый громкий матч прошёл на главной сцене против Даниила "Dendi" Ишутина, одного из самых популярных мидеров в истории Dota 2. Бот уверенно победил. Позже игроки нашли в нём слабые места и научились иногда его обыгрывать, но процент побед всё равно оставался очень высоким.
Зрителей тогда поразило не умение идеально добивать крипов или точно рассчитывать, когда вступать в драку, а когда отступать. Это ожидаемо от машины. Удивило другое: бот делал ложные замахи, имитируя начало атаки или заклинания, чтобы соперник отступил. Такого хитрого поведения от программы мало кто ждал.
Командные матчи 2018 года
Следующим шагом стала полноценная игра пять на пять. Летом 2018 года OpenAI Five обыграла команду из бывших профессионалов и известных комментаторов, но играла с ограниченным пулом героев и упрощёнными правилами. На The International 8 бот проиграл профессиональным командам. Стало ясно, что в командной игре ему ещё есть куда расти.
Победа над OG в 2019 году
В апреле 2019 года на OpenAI Five Finals в Сан-Франциско бот встретился с OG, действующими чемпионами The International, и выиграл обе карты. Это был первый случай, когда ИИ победил чемпионов мира в киберспортивной дисциплине. Многие сравнивают этот момент с победой Deep Blue над Гарри Каспаровым в 1997 году.
Сразу после финала OpenAI на несколько дней открыла бота для всех желающих. За три дня матчей против обычных игроков он выиграл 99,4% игр. После этого проект официально завершили.
Как OpenAI Five связан с ChatGPT
ChatGPT вышел в ноябре 2022 года и быстро стал одним из самых популярных сервисов в мире. Он пишет тексты и код, объясняет сложные темы и отвечает на вопросы. Напрямую из бота для Dota 2 он не вырос: это разные системы, и ChatGPT основан на языковых моделях семейства GPT.
Связь между проектами в другом. На OpenAI Five компания научилась обучать модели в огромном масштабе на распределённых вычислениях и отработала методы обучения с подкреплением. Тот самый алгоритм PPO затем использовали при обучении языковых моделей на оценках людей, и именно эта техника сделала ответы ChatGPT заметно полезнее. Так что Dota 2 можно назвать одной из тренировочных площадок, где OpenAI набралась опыта перед созданием своего главного продукта.
Если вы следите за самой Dota 2, загляните в наш разбор патча 7.30c и материал о том, сколько принёс боевой пропуск The International 10.
Частые вопросы
Короткие ответы на вопросы об OpenAI Five.
Что такое OpenAI Five
Это система из пяти нейросетевых агентов, которая играла в Dota 2 командой. OpenAI разрабатывала её с 2016 по 2019 год как исследовательский проект в области искусственного интеллекта.
Кого обыграл бот OpenAI в Dota 2
В 2017 году бот выиграл дуэль у Dendi на The International 7. В 2019 году OpenAI Five победила команду OG, действующих чемпионов мира, со счётом 2:0.
Можно ли сейчас сыграть против OpenAI Five
Нет. Бот был открыт для публики только несколько дней в апреле 2019 года, после чего проект завершили. Публичной версии для игры нет.
ChatGPT и OpenAI Five - это одна и та же нейросеть
Нет, это разные системы. Общие у них компания-разработчик, опыт масштабного обучения и алгоритм PPO, который применялся в обоих проектах.