Justificativa 

Todo ano milhares de empresas no Brasil usam notas fiscais para avaliar a participação de seus clientes em campanhas e promoções, mas este processo, majoritariamente feito por avaliadores humanos que olham cada nota fiscal, é lento, falho e caro. O uso de IA parece fazer sentido para simplificar o processo e torná-lo mais eficiente e efetivo, mas, para valorarmos o trabalho da IA, se fazia necessário valorarmos o trabalho médio do avaliador humano. 

Para isso nos parecia claro a necessidade de uma análise de assertividade do avaliador humano versus uma análise por IA, estudo este que realizamos ao longo de um período de 6 meses entre abril e setembro de 2025. 

Contexto e Estruturação 

A SPOT Metrics, por fornecer os sistemas usados por milhares de promoções, se encontrava numa posição ímpar para fazer esta análise: a posição de ter um grande volume de dados, incluindo fotos de notas fiscais avaliadas por avaliadores humanos e o resultado de suas análises, em seus bancos de dados. Para contexto, no último ano de 2024 as estruturas de capturas de notas fiscais usadas por clientes da SPOT Metrics, incluindo promoções pontuais de programas de fidelidade, receberam quase 4 milhões de notas fiscais e movimentaram quase R$ 1,5 bilhão. 

Em paralelo, começamos a empregar agentes de IA para fazer análises de notas fiscais para nossos clientes: durante o período de promoção de Dia dos Pais, 9 shoppings aceitaram que seus avaliadores humanos fossem, totalmente ou em parte, substituídos por agentes de IA que desenvolvemos na SPOT Metrics. 

Para garantir a integridade da análise, fizemos três tipos de coleta, todas em promoções recentes: uma análise por amostragem aleatória e uma por amostragem sequencial em dez promoções (selecionadas por recência) e uma análise de população em duas promoções (selecionadas por volume de notas fiscais). As duas promoções da análise populacional faziam parte do conjunto de dez selecionadas para as análises de amostra, justamente para termos base de comparação entre elas.  

Em todos os casos usamos promoções de shoppings para que a variedade de dados fosse completa e não contaminasse a análise (em promoções de outros tipos de empresas como, por exemplo supermercados, o CNPJ do emissor pode ser o mesmo em todas as notas fiscais, o que distorceria o percentual de acerto). Adicionalmente, em todos os casos a análise foi feita pelo método manual, olhando-se uma a uma as fotos das notas fiscais avaliadas e os dados estruturados preenchidos pelos avaliadores humanos: valor, data, CNPJ do emissor e número de série da nota fiscal. 

Como os resultados das análises foram consistentes através dos três métodos, decidimos por fazer somente a análise por amostragem sequencial (cujo resultado foi o mais próximo da análise populacional) dos agentes de IA: selecionamos dois dos nove shoppings que aceitaram fazer uso do agente (neste caso selecionamos não aleatoriamente, sendo selecionadas as promoções com o maior volume de notas). Novamente, a análise foi feita pelo método manual, olhando-se uma a uma as fotos das notas fiscais avaliadas e os dados estruturados preenchidos pelos avaliadores humanos: valor, data, CNPJ do emissor e número de série da nota fiscal. 

Resultados 

Na comparação de análise por amostragem sequencial dos avaliadores humanos versus análise por amostragem sequencial do agente de IA foram consideradas notas fiscais para cada um dos grupos que representassem um intervalo de confiança de 95% no resultado. 

O resultado da análise mostrou um abismo de assertividade: o agente de IA acertou completamente a avaliação em 95% das vezes, já o avaliador humano acertou completamente a avaliação em 42% das vezes.

 Também medimos o tempo médio de avaliação nos dois casos e a avaliação humana toma em média mais de 9hs por nota e o agente de IA toma pouco mais de 13 segundos. 

Esquentando os dois dados, a nossa posição é a de que, em termos de tempo de análise, a média dos avaliadores humanos é, por um lado, contaminada por períodos de alto volume e, por outro, não consegue atingir a rapidez de uma máquina nos períodos de baixo volume. Ou seja, nos momentos de alta demanda, como o último final de semana antes do Dia das Mães, o tempo de avaliação aumenta muito por uma falta natural de elasticidade de avaliadores humanos: não há a possibilidade de contratar pessoas de última hora. Desse modo, o tempo de avaliação aumenta muito e isso contamina a média. Por outro lado, a escalabilidade do agente de IA é quase que perfeita, mantendo um tempo médio de avaliação bastante constante. 

Do ponto de vista de assertividade, uma variável se manteve constante: a direção do erro do avaliador humano. A nossa análise é a de que o avaliador humano rapidamente percebe que, caso erre em prol do consumidor (por exemplo, atribuindo R$ 500,00 de valor para uma nota fiscal que ele não consegue distinguir se é uma nota de R$ 500,00, R$ 50,00 ou R$ 5,00), este consumidor não vai registrar uma reclamação e o contratante do seu serviço (neste caso, o shopping) não vai notar o erro. Isso é corroborado pelo fato de que em mais de 90% dos casos o erro que encontramos era em prol do consumidor.