Empresas monitoram uso de tokens para controlar custos com IA

Empresas estão monitorando o uso de inteligência artificial por funcionários, acompanhando o consumo de “tokens” para avaliar custos. A prática foi relatada pelo Wall Street Journal, em meio ao aumento da produtividade proporcionado pela IA.

Os “tokens” medem o processamento computacional necessário para executar tarefas em sistemas de IA. O monitoramento visa entender o impacto financeiro da tecnologia.

O que são tokens?

Tokens são unidades que medem o volume de processamento necessário para executar tarefas em sistemas de IA. Em aplicações de texto, cerca de 750 palavras podem representar aproximadamente 1.000 tokens.

O diretor de transformação em IA da Zapier, Brandon Sammut, afirmou que o uso de IA, seja para atendimento ao cliente ou fechamento de negócios, passou a ter um custo direto que precisa ser considerado pelas empresas.

Na Zapier, dashboards internos passaram a incluir esse tipo de métrica, segundo executivos da empresa. O objetivo é identificar padrões de uso.

Impactos do monitoramento

Na Vercel, um engenheiro utilizou agentes de IA para criar um serviço complexo em um dia, com custo de cerca de US$ 10 mil. Já na Kumo AI, o monitoramento individual revelou ganhos indiretos, como redução de custos em nuvem após otimizações de código geradas por IA.