Amazon reavalia uso de IA para melhorar resultados reais
A nova abordagem da Amazon visa avaliar o impacto da IA no trabalho, priorizando resultados em vez de métricas superficiais.
A Amazon está reavaliando a forma como mede o uso da inteligência artificial (IA) por seus engenheiros de software. Em uma nova orientação interna, a empresa destacou que a quantidade de tokens consumidos, a adoção de ferramentas e o volume de alterações de código são métricas que, na prática, se mostraram “profundamente falhas” quando utilizadas como objetivos.
É importante ressaltar que a companhia não está abandonando a IA. O foco agora é diferente: em vez de recompensar quem utiliza mais ferramentas ou gera maior volume de código, a Amazon deseja avaliar o impacto real do trabalho sobre os clientes, a empresa e as próprias equipes.
Um dos desafios enfrentados é o fenômeno conhecido como “tokenmaxxing”, que se refere ao uso excessivo de tokens para inflar indicadores internos. Esses tokens são as unidades que os modelos utilizam para processar e gerar informações, e também influenciam os custos operacionais dessas ferramentas.
De acordo com a Fortune, a Amazon alerta que transformar esse consumo em uma meta pode levar a um aumento desnecessário nas despesas, sem, de fato, melhorar os resultados. E essa questão não é apenas teórica. Funcionários da empresa chegaram a implementar agentes de IA em tarefas que não eram necessárias, apenas para melhorar seus números em um ranking interno que foi descontinuado em maio.
Para Terk Terkowitz, vice-presidente da Amazon, o foco deve estar nos resultados a longo prazo. Isso inclui o impacto sobre os clientes, a saúde do negócio e a dinâmica das equipes. Embora métricas como consumo de tokens e adoção de ferramentas não sejam descartadas, a empresa enfatiza que elas devem servir apenas para identificar padrões, e não como metas de desempenho.
Além disso, a orientação também se aplica ao oposto. Terkowitz menciona que identificar onde a IA não traz benefícios também é uma informação valiosa.
A empresa continua incentivando seus engenheiros a aprender e integrar a IA no trabalho cotidiano, acreditando que essa tecnologia será fundamental no desenvolvimento de software, em conjunto com conhecimento, experiência técnica e a habilidade de avaliar quando uma solução realmente faz sentido.
Esse debate vai além da Amazon. Um levantamento recente revelou que apenas 3% das organizações conseguiram superar suas metas de economia por meio de ganhos de produtividade com IA, mesmo com a maioria planejando aumentar os investimentos nessa tecnologia.
