Notícias

Inteligência artificial supera jogadores profissionais no jogo StarCraft II

A IA AlphaStar, da empresa DeepMind, conseguiu superar a complexidade estratégica do jogo usando aprendizado de máquina

Jogadores de StarCraft II lutam entre si em uma zona de guerra futurista. Foto: Shutterstock

Nos últimos meses, alguns jogadores do jogo de ficção científica StarCraft II enfrentaram um adversário incomum. Um algoritmo de inteligência artificial (IA) conhecido como AlphaStar, criado pela empresa DeepMind do Google, alcançou a classificação Grandmaster, a mais alta do sistema. Após ser lançado nos servidores europeus do jogo, ele ficou entre os 0,15% melhores dos 90.000 jogadores da região.

O resultado, publicado em 30 de outubro na revista Nature, mostra que um sistema de IA pode competir nos níveis mais altos do StarCraft II, um jogo de estratégia on-line extremamente popular, no qual jogadores competem em tempo real representando uma das três facções disponíveis  — a facção humana da Terra ou as alienígenas Protoss e Zerg —, lutando um contra o outro em uma zona de guerra futurista.

A empresa DeepMind, que anteriormente desenvolveu sistema de IA que jogam xadrez e Go, escolheu o StarCraft II como seu próximo alvo na busca de uma IA geral — ou seja, uma máquina capaz de aprender ou entender qualquer tarefa que os humanos realizam — por causa da complexidade estratégica e do ritmo rápido do jogo.

“Eu não esperava que a IA fosse chegar a um nível sobre-humano neste campo tão rapidamente, talvez não antes de alguns anos”, diz Jon Dodge, pesquisador do tema na Universidade Estadual de Oregon em Corvallis.

No StarCraft II, jogadores experientes realizam várias tarefas, gerenciando recursos, executando manobras de combate complexas e, como objetivo final, estruturando estratégias melhores que de seus oponentes. Os profissionais conseguem jogar em um ritmo vertiginoso, realizando mais de 300 ações por minuto. As técnicas de aprendizado de máquina relacionadas à IA da DeepMind dependem de redes neurais artificiais, que aprendem a reconhecer padrões de grandes conjuntos de dados, em vez de apenas receber instruções específicas.

A DeepMind lançou a AlphaStar pela primeira vez contra jogadores de alto nível em dezembro de 2018, em uma série de jogos de teste em laboratório. A IA jogou contra — e venceu — dois jogadores humanos profissionais. Mas alguns críticos afirmaram que essas partidas de demonstração não eram uma luta justa, porque a AlphaStar tinha velocidade e precisão sobre-humanas.

Antes de a equipe levar a AlphaStar do laboratório para os servidores europeus de StarCraft II, eles restringiram os reflexos da IA a fim de tornar a competição mais justa. Em julho, os jogadores receberam um aviso de que poderiam optar por uma chance de jogarem com a IA. Para manter o estudo cego, a DeepMind mascarou a identidade da AlphaStar.

“Queríamos que fosse como um experimento cego”, diz David Silver, co-líder do projeto AlphaStar. “Nós queríamos jogar nessas condições para realmente ter uma noção de ‘quão bem esse grupo de humanos se sairá contra nós?’”

O treinamento da AlphaStar valeu a pena: a IA esmagou oponentes de baixa patente e, no fim, acumulou 61 vitórias em 90 jogos contra jogadores de alta patente.

DESAFIANDO A COMPLEXIDADE

A complexidade do StarCraft II é um imenso desafio para IAs. Ao contrário do xadrez, o StarCraft II tem centenas de “peças” — soldados dos exércitos das facções — que se movem simultaneamente em tempo real, e não em turnos ordenados. Enquanto uma peça de xadrez tem um número limitado de jogadas permitidas, a AlphaStar tem 1026 ações para escolher a todo momento. E o StarCraft II, diferentemente do xadrez, é um jogo de informações imperfeitas — os jogadores geralmente não conseguem ver o que seu oponente está fazendo. Isso o torna imprevisível.

Por quase uma década, pesquisadores colocaram IAs que jogam StarCraft e StarCraft II para competir umas contra as outras em um evento anual. No entanto, ao contrário da AlphaStar, a maioria desses ‘bots’ conta com regras codificadas, em vez de redes neurais que podem se auto-treinar. Oriol Vinyals, que agora co-lidera o projeto AlphaStar, estava na equipe que venceu a primeira competição em 2010, representando a Universidade da Califórnia em Berkeley.

“Naquela época, eu meio que comecei a pensar que talvez devêssemos usar o aprendizado de máquina, mas ainda era muito cedo”, diz Vinyals.

Em 2016, Vinyals se juntou à DeepMind, onde começou a trabalhar com IAs que poderiam aprender a jogar StarCraft II. A AlphaStar começou seu treinamento aprendendo a imitar comportamentos humanos a partir de um conjunto de quase um milhão de jogos reais. Para melhorar ainda mais a AlphaStar, a DeepMind criou uma liga em que as versões da IA competiam entre si. Esse método faz sentido para um jogo como o StarCraft II, em que não há uma única estratégia considerada a melhor de todas — algo que também vale para outras aplicações de IA na vida real, diz Kai Arulkumaran, pesquisador do tema no Imperial College London, no Reino Unido.

JOGADORES ATENTOS

A DeepMind também impôs restrições à AlphaStar para garantir que a IA estivesse realmente ganhando pelo pensamento, e não apenas clicando mais rápido que seus oponentes humanos. Como o jogo recompensa a capacidade de clicar rapidamente, um computador que clica em velocidades sobre-humanas pode derrotar os humanos sem ser mais inteligente ou sem tomar melhores decisões. Assim, a DeepMind limitou a velocidade dos reflexos da AlphaStar para ser igual à de jogadores humanos experientes.

Nessas condições, e após 27 dias de treinamento, a AlphaStar ficou entre os 0,5% melhores de todos os jogadores do servidor europeu.

Após 50 jogos, no entanto, a DeepMind atingiu um obstáculo. Alguns jogadores notaram que três contas na plataforma de jogos Battle.net haviam jogado exatamente o mesmo número de partidas de StarCraft II em um período de tempo semelhante — eram as três contas que a AlphaStar estava usando secretamente. Ao assistir replays dessas partidas, os jogadores notaram que o proprietário da conta estava realizando ações que seriam extremamente difíceis, se não impossíveis, para um humano. Em resposta, a DeepMind começou a usar vários truques para manter o experimento cego e impedir que os jogadores identificassem a AlphaStar, como trocar de conta regularmente.

A versão final da AlphaStar contou com um acumulado de 44 dias de treinamento, frequentemente tendo jogado contra profissionais. A IA não foi capaz de vencer o melhor jogador do mundo, como fizeram as IAs que jogam xadrez ou Go, mas a DeepMind considera o objetivo atingido e diz que concluiu o desafio do StarCraft II.

Outros cientistas da área de IA ainda não estão convencidos de que a AlphaStar possa reivindicar uma vitória completa. Dave Churchill, pesquisador da Memorial University of Newfoundland, em St. John’s, Canadá, acha que a AlphaStar ainda possui uma série de pontos fracos, como uma vulnerabilidade a estratégias nunca antes vistas.

“A AlphaStar é muito impressionante e é definitivamente o sistema de IA mais forte já criado para qualquer jogo StarCraft até hoje”, diz ele. “Dito isto, o desafio do StarCraft não está nem perto de ser ‘concluído’, e a AlphaStar ainda não está nem perto de jogar no nível de um campeão mundial”.

Dan Garisto

Publicado originalmente na revista Nature e reproduzido com autorização