Contar o tráfego agêntico

Resumo

Este mês trouxe de volta o Lemmid Count: as estatísticas de sites da minha plataforma, reconstruídas de raiz, sem AWStats e sem base de dados. O seu truque de salão é a dimensão que todas as outras ferramentas de análise deitam fora: os bots. Na era agêntica, a pergunta «o que leram os agentes de IA no meu site» importa tanto como «quantos humanos o visitaram». Este artigo é sobre contar o que finge não estar lá, e sobre pôr a resposta no bolso do teu cliente.

Texto completo

O Google Analytics é cego aqui

O Google Analytics funciona ao colocar um pedaço de JavaScript nas tuas páginas. Um navegador executa-o, o script envia o relatório à base, e esse relatório são as tuas estatísticas. Expliquei a diferença para as ferramentas baseadas em logs já em 2018. Em 2026 essa diferença tornou-se a história toda. GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot e companhia vão buscar o teu HTML e leem-no. Não executam o teu JavaScript. Nunca aparecem no Analytics. Se a web agêntica é de onde virão os teus próximos clientes, o teu painel está a mostrar-te um mundo que encolhe.

O servidor web vê tudo. Cada pedido, cada user agent, cada código de estado, com ou sem JavaScript. Em julho, o meu site hartvaat.nl serviu 114.883 visualizações de página. 2.187 foram de humanos. O Analytics teria mostrado as 2.187 e chamado a isso um mês calmo.

Logs, não scripts

O Lemmid Count v3 lê diretamente os logs de cada site do servidor web, de hora a hora, e condensa-os em pequenos ficheiros JSON por site e por dia. Sem base de dados em lado nenhum, sem script de rastreio nas páginas, sem terceiros em tempo de execução: o visitante nunca é tocado. Isso resolve também o que matou a versão anterior: o AWStats a despejar para sempre uma cópia quase em bruto dos logs no MariaDB. Agora os logs rodados são o armazenamento em bruto e os resumos são o produto.

Dois princípios. Páginas, nunca pessoas: sem contagem de visitantes, sem truques de unicidade, sem endereços IP em disco, o idioma do navegador em vez de geolocalização. E configuração automática: um site com um ficheiro de log tem estatísticas, ninguém tem de registar nada. Todos os sites da plataforma entram automaticamente.

Classificar, não filtrar

Cada pedido passa a ser humano ou bot, e um bot recebe uma família e um grupo: search, ai, social, seo, monitor, feed, lib, scraper. Os bots declarados são identificados pelo seu user agent. Em vez de os filtrar, o Count mostra-os como cidadãos de primeira classe: um cartão «lido por agentes de IA» com os agentes por nome, e um seletor entre tudo, humanos e bots. Isto é novo, e faz as pessoas levantar a cabeça. Num site de um restaurante, nos primeiros dias de julho, o ChatGPT tinha lido 75 páginas e o Claude 51, ao lado de 185 visualizações humanas.

Os impostores

Rotular é difícil, porque alguns bots fingem ser humanos. Um user agent de Chrome atual, HTTP/2, um cabeçalho de idioma plausível, uma página por endereço IP, milhares de endereços de fornecedores de cloud. Aí o user agent não vale nada. O comportamento vale. Os navegadores reais carregam imagens. Os visitantes reais chegam por pesquisas e ligações, e vão às mesmas páginas populares. Uma multidão que visita milhares de páginas distintas, cada uma exatamente uma vez, não é uma multidão, é uma colheita.

Alojar mais de cem sites é a vantagem estrutural: uma assinatura que aparece em muitos sites dentro de uma hora não é uma pessoa. Junta honey pots, páginas que nenhum humano pediria, e o espaço de endereços de datacenters como pista, nunca como veredicto. O classificador tem versões, e a cada atualização as últimas duas semanas de histórico são recalculadas. Isso importa, porque o outro lado também se mexe. Uma frota respondeu a uma nova regra num dia, indo buscar um único ficheiro CSS como álibi. A versão seguinte pediu imagens. Não vou listar aqui todos os sinais, é esse o objetivo de um honey pot.

Círculo completo: no teu bolso

O que se passa é isto: estatísticas detalhadas não são únicas. Qualquer pessoa com logs e paciência sabe contar. A outra metade do trabalho é traduzir isso de volta em algo simpático, de bolso e acionável. O Count é uma app que os meus clientes trazem no bolso, ao lado das outras apps Lemmid: um ecrã por site, o mês num só gráfico, as páginas mais vistas, as origens e os agentes por nome. Sem rituais de login, sem configuração, simplesmente aparece para cada site que tens.

O feedback é a melhor parte. Um cliente a mostrar as estatísticas durante a ronda de cafés, exatamente a utilização que eu tinha em mente há anos. Um dono de café a ver que o ChatGPT leu o menu setenta vezes este mês, e a tirar a conclusão óbvia: pôr o menu onde os agentes o leem. Isto é uma estatística transformada em ação, num telemóvel, em dez segundos.

Conclusão

A parte dos humanos na web vai continuar a cair, e uma ferramenta que só conta humanos vai continuar a contar-te a história errada. Conta os agentes, dá-lhes nome, e entrega a resposta a quem pode agir sobre ela. Alta tecnologia no analisador de logs, baixa tecnologia no ecrã.

Os bots leem. É melhor garantires que leem a coisa certa, ha!