Estudo do Google com 133 advogados: IA ajudou, mas só seniores evoluíram

Um experimento de três meses com 133 advogados de patentes indica que a inteligência artificial melhora o trabalho de quase todo mundo, mas não ensina da mesma forma. Os resultados foram publicados em 7 de outubro no blog do Google Research, assinado por David Autor e Tanya Rodchenko, e vêm de um artigo do NBER, o centro americano de pesquisa econômica.

A conclusão central é incômoda para quem está começando na carreira: com a ferramenta liberada, os iniciantes entregaram textos melhores, mas, quando ela foi retirada, só os advogados com mais de sete anos de experiência mostraram evolução real. Para os juniores, os autores não encontraram melhora clara.

Como o estudo foi feito

Foi um experimento controlado e aleatório com advogados que trabalham com patentes em onze escritórios de propriedade intelectual. Cerca de dois terços dos profissionais de cada escritório ganharam acesso antecipado a uma ferramenta de redação de patentes baseada em IA, que ainda não era um produto lançado e hoje faz parte do Gemini Notebook. O restante recebeu treinamento sobre IA, mas só pôde usar a ferramenta depois do fim do estudo.

Especialistas independentes avaliaram o trabalho em cinco critérios: capacidade de proteção legal, precisão, ambiguidade estratégica, completude e clareza. Houve três tarefas: redigir uma patente aos 10 dias, redigir outra aos 90 dias, e revisar uma patente hipotética cheia de erros aos 90 dias, desta vez sem usar IA, para medir a habilidade própria de cada um.

• Participantes: 133 advogados de patentes em 11 escritórios.
• Duração: três meses.
• Grupos: com acesso à ferramenta e grupo de controle, que só treinou.
• Teste sem IA: revisão de uma patente com erros, aos 90 dias.

O que os números mostram

Na redação com IA, a ferramenta elevou as notas em 0,34 desvio-padrão aos 10 dias, algo como 10 pontos percentuais acima do grupo de controle, e em 0,38 aos 90 dias. O ganho veio de menos notas ruins e mais notas boas: a fatia de trabalhos excelentes não mudou. Os advogados juniores também foram cerca de 18 minutos mais rápidos do que a média de 124 minutos do grupo de controle na tarefa de 10 dias.

O ponto mais importante veio da tarefa sem IA. No geral, quem usou a ferramenta se saiu 0,32 desvio-padrão melhor, mas esse resultado vem inteiramente dos seniores, com mais de sete anos de carreira, que ficaram 0,45 desvio-padrão acima, cerca de 13 pontos percentuais. Entre os juniores, não houve melhora perceptível: as notas se dividiram, com mais resultados muito baixos e mais bons, e menos medianos.

Por que seniores e juniores reagiram de forma diferente

Na análise qualitativa, os juniores, usando ou não a ferramenta, trabalharam do começo ao fim do texto, gastaram tempo em trechos de baixo risco e muitas vezes apontaram falhas nos comentários sem corrigi-las. Os autores dizem que a IA não resolveu essa diferença de base. Já os seniores reconstruíram as reivindicações da patente, removeram trechos que poderiam reduzir a proteção legal e ligaram as mudanças à doutrina jurídica. Em entrevistas, descreveram a saída da IA como um "auditor de lógica" que os obrigava a justificar cada edição.

A leitura dos autores é que melhorar o resultado do trabalho e construir julgamento duradouro são objetivos diferentes, e que podem entrar em conflito para quem está no início. O estudo cita ainda outras pesquisas, com engenheiros de software, consultores, estudantes e médicos, em que a IA funciona como uma espécie de "exoesqueleto temporário": o ganho some quando a ferramenta é retirada.

Os limites do estudo

Os próprios autores apontam cuidados. A amostra é pequena, porque é caro estudar advogados de patentes de alto nível. Três meses é pouco perto dos anos necessários para formar expertise. E os modelos de IA e a familiaridade das pessoas com eles mudaram rápido desde o experimento, então os resultados poderiam ser outros se ele fosse repetido hoje. Por isso, o estudo é um indício importante, não uma regra para todas as profissões.

Por que isso importa para você

A mensagem prática não é "evite a IA", e sim "use a IA de um jeito que ainda te ensine". Quem está começando em qualquer área, de direito a marketing, de contabilidade a programação, tende a ganhar produtividade imediata, mas corre o risco de não desenvolver o olhar crítico que só vem de errar, corrigir e justificar. Os seniores do estudo usaram o texto da IA como material para auditar e defender, e foi isso que pareceu fazer a diferença.

Um bom hábito é pedir à ferramenta uma primeira versão e, em seguida, explicar por escrito, com as suas palavras, por que cada trecho está certo ou errado antes de aceitar. O guia de plano de carreira com IA em metas de 90 dias ajuda a transformar isso em rotina, e o texto sobre habilidades humanas que a IA não substitui no trabalho mostra quais competências vale treinar sem a ferramenta. Para quem se sente pressionado a dominar tudo de uma vez, há o artigo sobre como lidar com a pressão de ter que saber tudo de IA.

Para quem lidera equipes ou contrata, o recado é parecido: medir só a velocidade e a qualidade das entregas pode esconder se o time está aprendendo. Treinos periódicos sem a ferramenta e revisão por alguém experiente fazem parte de um uso seguro, algo que já aparece em casos de erro por falta de revisão, como o da ordem de um juiz federal com erros de IA. E, no trabalho autônomo, vale ler como se tornar insubstituível na era da IA.

O que observar a seguir

Três pontos merecem atenção. O primeiro é a repetição do estudo com modelos mais recentes e com outras profissões, já que os autores dizem que o resultado pode mudar. O segundo é se as empresas passam a desenhar o uso de IA para juniores com etapas de aprendizagem, em vez de só entregar a ferramenta. O terceiro é a pesquisa que separa o efeito de usar a ferramenta do efeito sobre o desempenho sem ela, que os autores defendem como próximo passo. Até lá, a regra de bolso é simples: use a IA para entregar melhor, e treine sem ela para continuar aprendendo.