Кто бы мог подумать, что путь технологического развития планеты определит дуэль на Shadow Fiend.
К 2026 году искусственный интеллект стал одной из главных технологий в мире. Созданные ИИ-картинки не отличить от реальных фото, нейросети отвечают на обращения в техподдержку вместо реальных людей, а цены на технику взлетели до небес — из-за роста сферы простым пользователям почти не достать новые видеокарты и модули памяти.
И если восстание машин когда-нибудь случится, теперь мы знаем виновника: это 36-летний киберспортсмен Данил Dendi Ишутин. В 2017 году победитель чемпионата мира The International, один из лучших игроков в Dota 2 сыграл шоу-матч против бота от OpenAI (разработчики ChatGPT) — и глазах сотен тысяч людей был вынужден признать поражение.
Тогда ещё начинающая компания представила модель ИИ, которая смогла разобраться в такой сложной игре, как Dota 2. Та победа компьютера над человеком стала в каком-то смысле прорывом для нейросетей. Недавно про это вспомнил и сам Денди:
Очевидно, именно тогда началась эра ИИ. Если бы я победил того бота в 2017 году, возможно, мир сейчас был бы совсем другим. У меня был шанс остановить ИИ, но…
Заявление прозвучало иронично, но в обсуждение в соцсетях включился один из бывших разработчиков OpenAI: Пшемыслав Дембяк утверждает, что в словах Dendi лишь доля шутки.
Можете смеяться, но я почти уверен, что, если бы Dendi победил, OpenAI впоследствии привлекла бы гораздо меньше денег, а развитие ИИ шло бы медленнее. В то время мы были относительно малоизвестной исследовательской лабораторией, около 50 человек — и это был первый случай, когда OpenAI попала в массовые СМИ.
Можно по-разному относиться к Dota 2 и киберспорту, но та игра и проект в целом действительно оказали огромное влияние на дальнейшее развитие искусственного интеллекта — и в конечном счёте привели к тому, что мы видим сегодня.
OpenAI в Dota 2: первый шаг
До лета 2017 года будущие создатели ChatGPT уже разрабатывали программы, которые умели обыгрывать людей — например, в шашки, шахматы и го. Но Dota 2 (даже в формате «один на один») оказалась более сложной и комплексной. Кроме того, компьютеру пришлось выполнять задачи в реальном времени: если в шахматах ходы делаются по очереди, в «Доте» нужно было передвигать героя и наносить урон постоянно.
Над такой задачей OpenAI начали работать весной 2017 года, а уже в августе состоялся тот самый матч. Как вспоминает Дембяк, проект едва удалось закончить в срок:
За несколько дней до шоу-матча бот всё ещё был недостаточно хорош, чтобы побеждать про-игроков. Мы продолжали вносить изменения в самый последний момент прямо во время TI. У нас не было времени протестировать изменения, поэтому мы буквально отправили всё сразу в «производство».
К счастью, это сработало. Ни Dendi, ни другие игроки ещё не понимали нюансов работы нейросетей, поэтому пытались обыграть бота «на скилле». Это оказалось ошибкой: программа идеально рассчитывала урон, добивала крипов и удерживала нужную дистанцию для защиты. Во многом именно поэтому первый матч человека с компьютером завершился победой ИИ.
Впоследствии топ-игроки научились побеждать Shadow Fiend от OpenAI хитростью: они «ломали» его логику за счёт нестандартных действий. Кто-то уводил с линии крипов, другие выкладывали предметы на землю, чтобы бот не увидел их в инвентаре. А спустя сотни попыток это дважды подряд сделал Доминик Black Райтмайер, за что получил прозвище Современный Джон Коннор.
Мы знали о нескольких уловках, которые можно было использовать против бота. Наша среда обучения была недостаточно универсальной, поэтому можно было делать много странных вещей — например, заманивать бота к другим вышкам. При этом я был уверен, что победить бота в честной схватке один на один на микроскилле практически невозможно.
Победы Black и других стримеров, которые позже получили доступ к боту, уже не могли остановить прогресс, а только помогли ему, развивая модель дальше. Про это уже никто не хотел слышать после матча на сцене «Ки Арены» в Сиэтле — Dendi явно оказался не готов к встрече с идеальным соперником и без шансов уступил 0:2.
OpenAI Five: Судный день
На самом деле громкие заголовки о победе компьютера над человеком в Dota 2 не были до конца правдивыми. Выиграть «один на один» на Shadow Fiend — всё равно что забить больше голов в футбольной серии пенальти, которая является лишь очень простой частью полноценного матча. Так и первый бот OpenAI мог совершать только ограниченный пул действий: контроль крипов на линии, атаки по героям и покупку предметов по заранее подготовленному шаблону.
Однако на том же The International 2017 представители OpenAI заявили, что через год искусственный интеллект сможет сразиться с киберспортивной командой уже в матче «пять на пять». Достичь такого всего за год казалось чем-то невероятным, но разработчики справились — и уже в августе 2018 года выиграла в шоу-матче у опытных игроков.
В результате машинного обучения ИИ научилась выбирать персонажей, совершать осмысленные атаки, собирать предметы и даже ставить варды. Но против слаженной команды этого было мало, и тот раунд нейросеть проиграла: бразильцы из paiN Gaming и сборная китайских звёзд оказались сильнее. Проекту OpenAI Five не удавалось просчитывать все варианты в поздней стадии игры, а некоторые аспекты компьютер воспринимал не самым удачным образом.
Однако спустя время нейросеть стала сильнее и умнее. В рамках следующей публичной демонстрации весной 2019 года OpenAI Five победила действующих чемпионов мира OG — это первый случай, когда ИИ оказался сильнее лучшей команды планеты по киберспортивной игре. Нейросеть использовала свои сильные стороны: давление на линиях и преимущество в простых действиях. Про-игроки пытались обмануть систему, но сделать что-то необычное почти не получалось.
В дальнейшем OpenAI сделала свою работу доступной для всех желающих, что только доказало её потенциал. За несколько месяцев весны и лета нейрокоманда выиграла 7215 из 7257 матчей, то есть показала винрейт 99,4% — лишь в 42 случаях людям удалось воспользоваться недочётами системы.
Даже финальная версия ИИ была несовершенной. В этих матчах были доступны не все герои, изучение обновлений «Доты» становилось для нейросети трудной задачей, а реальные игроки выискивали новые способы переиграть ИИ за счёт нестандартных действий. Однако продолжать эксперимент и развивать OpenAI Five разработчики уже не стали — проект выполнил свою функцию и стал основой для будущих продуктов.
ChatGPT и будущее: Восстание машин
«Дота» оказалась крайне удобной площадкой для поиска оптимальных способов обучения нейросетей. Сотрудники OpenAI сравнивали матчи с обычной жизнью, где тоже приходится реагировать на изменения вокруг и принимать решения, как это делают люди — только делать это эффективнее и быстрее.
Мы выбрали Dota 2, потому что у этой игры сложная и похожая на реальную жизнь обстановка. Эта игра не только о том, кто быстрее использует способности, а больше о стратегии. [...] Почему именно «Дота»? На тот момент на The International был самый большой призовой фонд, у игры был доступен API, и она работала на Linux. Решение было принято практически случайно.
Вероятно, к середине 2020 года проект достиг своего потолка. Можно было дальше тратить ресурсы, чтобы научить ИИ лучше реагировать на невидимых героев, ставить лучшие варды и пикать больше разных персонажей. Но к тому времени рост вширь уже не требовался, ведь опыт компании можно было использовать для создания более важных инструментов.
В сентябре вышел первый из них — модель GPT-3. Нейросеть подходила для решения любых задач, впитав в себя 570 ГБ текстовой информации и продолжая развиваться в реальном мире. Через пару лет на основе проекта представят первый полноценный чат-бот ChatGPT, которым уже будут пользоваться все желающие: ИИ помогает отвечать как на простые вопросы про столицы стран или погоду на улице, так и на сложные запросы уровня создания программного кода и математических вычислений. Что было дальше, вы уже знаете.
Dota 2 стала если не ключевым, но важным этапом в развитии ИИ. Матч Dendi с OpenAI даже нашёл отражение в фильме «Искусственный» с Юрой Борисовым — в ленте покажут кадры с обучением нейросети игре на Shadow Fiend и реальные сцены того легендарного матча.
Сложно сказать, насколько Пшемыслав Дембяк прав в важности той победы ИИ над человеком. Но мир настоящего действительно мог быть совсем другим без одной серии в компьютерной игре — и с этим уже не поспорить. Как не изменить и неудачный койл Dendi в матче с OpenAI.