Adoção não é capacidade

Um gestor precisa apresentar o resultado do primeiro ano de inteligência artificial no órgão.

Os números estão prontos e são bons. Quatrocentas licenças ativas. Setecentos e oitenta servidores capacitados. Doze processos operando com apoio de ferramentas generativas. Uma pesquisa interna em que a maioria declara usar a tecnologia com frequência.

A apresentação corre bem.

No fim, alguém faz uma pergunta simples:

"O que a gente consegue fazer hoje que não conseguia no ano passado?"

E o silêncio que se segue não é falta de preparo de quem apresentava.

É que nenhum dos números respondia àquela pergunta.

Adoção é fácil de medir, e é por isso que a medimos

Os indicadores acima têm três qualidades reais.

São obtíveis: saem do contrato, do sistema de capacitação, do registro de acesso. São verificáveis: qualquer controle interno confere. E são comparáveis: dá para colocar o número deste ano ao lado do número do ano passado e mostrar uma linha subindo.

Nenhum deles é falso.

O problema não é a veracidade. É que todos descrevem a mesma coisa — quanto da ferramenta foi distribuída — e nenhum descreve o que a instituição passou a conseguir realizar.

Distribuição não é aptidão.

Uma organização pode distribuir uma ferramenta com perfeição e continuar exatamente tão frágil quanto era, porque o que a tornava frágil nunca esteve na ausência da ferramenta.

O que cada métrica realmente mede

Vale desmontar as mais comuns, uma a uma, porque a distância entre o que elas parecem dizer e o que de fato dizem é sempre a mesma.

Licenças ativas medem contratação. Uma licença atribuída não informa se foi aberta, e uma licença aberta não informa se produziu decisão melhor.

Servidores capacitados medem exposição a um treinamento. Registram que alguém esteve presente, não que a prática de trabalho mudou depois. É o indicador mais confortável porque é o mais fácil de produzir em quantidade.

Processos “com IA” medem presença da ferramenta no fluxo. Um processo passa a contar nessa lista no dia em que alguém inseriu uma etapa automatizada — mesmo que o processo continue mal desenhado, e mesmo que a etapa automatizada tenha sido acrescentada exatamente onde não estava o problema.

Horas economizadas é a mais sedutora, e por isso a mais perigosa. Mede velocidade. Fazer mais rápido o que já se fazia não é o teste: se a rotina acelerada era desnecessária, a economia de horas apenas produziu a coisa errada em menos tempo.

Satisfação declarada de quem usa mede percepção sobre a ferramenta. É informação útil sobre adoção e quase nenhuma informação sobre resultado — a experiência de usar algo agradável e a produção de valor público não caminham necessariamente juntas.

Nenhuma dessas medidas deve ser abandonada. Todas são úteis para saber se a distribuição está acontecendo.

O erro é apresentá-las como se respondessem outra pergunta.

Capacidade é outra coisa, e tem definição

Existe uma formulação específica para isso, e é a que uso desde que a escrevi em A Gestão Pública Aumentada:

Capacidade é a aptidão coletiva para realizar algo com confiabilidade suficiente, compreender os limites, responder pelos efeitos e adaptar-se quando o contexto muda.

São quatro exigências, e vale observar que nenhum indicador de adoção alcança qualquer uma delas.

Realizar com confiabilidade suficiente não é ter a ferramenta disponível. É o resultado se repetir quando muda a pessoa, o turno, o volume ou o caso difícil.

Compreender os limites é saber onde aquele uso deixa de servir — e ter isso escrito em algum lugar que não seja a cabeça de quem implantou.

Responder pelos efeitos exige que exista alguém identificável a quem dirigir a discordância, e que essa pessoa disponha de informação e autoridade para corrigir.

Adaptar-se quando o contexto muda é conseguir alterar, substituir ou desligar sem perder o que foi aprendido.

Uma organização pode ter cem por cento de adoção e zero das quatro.

Também pode ter adoção modesta e as quatro presentes — e essa segunda organização está incomparavelmente melhor, embora seu relatório pareça pior.

O motivo pelo qual a métrica errada ganha

Há uma razão estrutural para a adoção dominar os relatórios, e ela não é preguiça de quem mede.

Capacidade quase não aparece quando funciona.

Ninguém celebra a integração que permaneceu estável durante meses. A ausência de incidentes é lida como prova de que os controles bastam, quando pode significar apenas que ninguém os testou. O trabalho de documentar critério, revisar acesso, testar recuperação e treinar substituto não produz nenhum evento visível — produz, quando dá certo, a continuidade de algo que já estava acontecendo.

Adoção, ao contrário, é visível por natureza. Tem número, tem curva, tem antes e depois.

Numa disputa por atenção e orçamento entre uma métrica que aparece e uma condição que só se nota quando falta, a métrica que aparece vence quase sempre.

É por isso que o diagnóstico não pode perguntar apenas o que está funcionando. Precisa perguntar o que sustenta esse funcionamento — e essa é uma pergunta que nenhum painel responde sozinho.

Cinco perguntas que adoção nenhuma responde

A obra propõe observar a capacidade por testes, e não por escala. São cinco, e a utilidade prática deles é que qualquer um pode ser aplicado a um uso concreto numa tarde.

O teste da ausência. Outra pessoa autorizada consegue localizar, compreender, operar e revisar aquilo? Se a resposta depende de uma pessoa específica estar disponível, não há capacidade — há uma pessoa.

O teste da recuperação. O que deveria proteger a continuidade funciona em condição real? Uma cópia de segurança precisa restaurar, não constar do inventário.

O teste da contestação. Alguém afetado consegue apresentar informação, obter resposta e corrigir? Um canal de recurso precisa permitir nova análise, não apenas registrar a inconformidade.

O teste da mudança. A organização consegue alterar a configuração sem perder o sentido da decisão anterior? Trocar um parâmetro sem saber por que ele era aquele é começar de novo com aparência de ajuste.

O teste do encerramento. Manter também precisa ser uma escolha. Se não existe caminho para desligar, a decisão de continuar nunca foi tomada — apenas nunca foi revista.

Os cinco compartilham a mesma lógica, e ela é o oposto da lógica da adoção: uma exigência declarada não é uma exigência atendida.

A tentação do índice

Chegando aqui, o movimento seguinte parece óbvio. Se adoção é a métrica errada, basta construir a certa — um índice de maturidade, uma nota por capacidade, um painel com faixas coloridas e uma média geral que suba a cada trimestre.

É exatamente o que não se deve fazer, e a razão é técnica, não estética.

As capacidades de uma instituição não se compensam entre si.

Uma prática pode produzir benefício real e ter governança insuficiente. Pode estar bem controlada e não gerar valor relevante. Pode funcionar perfeitamente e continuar presa à memória de uma pessoa. Nos três casos, uma média aritmética apresentaria um resultado intermediário tranquilizador — e apagaria justamente a informação que precisava ser vista.

Há um segundo motivo. O nível suficiente de cada capacidade depende do efeito pretendido: o que basta para um uso interno de baixo impacto é insuficiente para um uso que decide sobre direito de alguém. Uma nota fixa supõe um padrão único onde a exigência é proporcional.

E há um terceiro, mais prosaico: índice de maturidade vira meta, e meta vira o que se otimiza. A organização começa a produzir as evidências que sobem a nota em vez de produzir a capacidade que a nota deveria representar. Aconteceu com quase toda escala de maturidade já adotada na administração pública.

Um vocabulário serve para organizar o problema.

No momento em que vira instrumento de avaliação com número, ele deixa de descrever a instituição e passa a governá-la — e no sentido errado.

O que dá para levar para a próxima prestação de contas

Nada disso significa apresentar menos números. Significa apresentar dois conjuntos e não os confundir.

O primeiro continua sendo o de adoção, apresentado pelo que é: a medida de quanto a ferramenta foi distribuída e utilizada. Sem promessa de resultado embutida.

O segundo é o que responde à pergunta do começo, e ele quase sempre é narrativo antes de ser numérico. Um caso concreto em que a decisão melhorou, com o critério que passou a existir. Um processo que foi compreendido antes de ser automatizado. Um conhecimento que antes estava numa pessoa e hoje está registrado. Um uso que foi encerrado porque não sustentava o teste — e encerrar bem também é capacidade.

Esse segundo conjunto é mais trabalhoso de montar e menos vistoso de exibir.

É também o único que sobrevive à troca de ferramenta, de fornecedor e de gestão — que é, no fim, o que distingue apenas produzir de construir capacidade.

Quem quiser o vocabulário completo encontra as seis capacidades e os três critérios no verbete de Gestão Pública Aumentada, e o argumento inteiro na Introdução do Livro 02, aberta aqui no site.

O ponto

Adoção responde quantos usam.

Capacidade responde o que a instituição consegue.

As duas podem crescer juntas, e o cenário desejável é esse. Mas elas também podem divergir por anos sem que nenhum relatório registre a divergência, porque só uma das duas produz linha em gráfico.

Um órgão que perde o contrato, perde a ferramenta e perde a equipe que a operava descobre, no mês seguinte, exatamente quanto de capacidade havia construído.

Adoção é o que a instituição contratou.

Capacidade é o que restaria dela se o contrato acabasse amanhã.