Foto: UX Indonesia / Unsplash
IA
Escolher os exemplos do prompt sem equilibrar as categorias e sem testar a ordem faz o modelo repetir a resposta mais frequente ou a mais recente em vez de julgar o caso
Pedro Toledo · 2 de novembro de 2026 · 3 min de leitura
Escolher os exemplos do prompt sem equilibrar as categorias e sem testar a ordem faz o modelo repetir a resposta mais frequente ou a mais recente em vez de julgar o caso — porque, segundo a pesquisa sobre aprendizado com poucos exemplos, os modelos tendem a favorecer o rótulo que mais aparece no prompt e o que aparece por último, e o resultado muda bastante conforme os exemplos escolhidos. Por que três exemplos bons parecerem suficientes, o que caracteriza um conjunto de exemplos testado, e como perceber se o prompt está empurrando o modelo pra uma resposta.
Dar três exemplos bons ao modelo costuma parecer o suficiente pra ele entender a tarefa. Rodar o mesmo conjunto de teste com a ordem dos exemplos trocada revela se o resultado vem do julgamento do modelo ou do arranjo do prompt.
Escolher os exemplos do prompt sem equilibrar as categorias e sem testar a ordem faz o modelo repetir a resposta mais frequente ou a mais recente em vez de julgar o caso — porque a pesquisa sobre aprendizado com poucos exemplos mostra esses vieses.
Por que três exemplos bons parecem suficientes
Funcionam nos próprios exemplos e em alguns casos fáceis. O que o teste raramente mostra é que a mesma tarefa, com outra seleção ou outra ordem dos exemplos, pode produzir resultados diferentes, e o prompt parece mais robusto do que é.
O que caracteriza um conjunto de exemplos testado
Um conjunto testado equilibra as categorias, inclui casos difíceis e mede o resultado em casos separados dos exemplos. Isso tem relação direta com avaliar um agente de IA só com um conjunto pequeno e fácil de exemplo, sem caso extremo nem execução repetida — os dois casos apontam pro mesmo princípio de fundo: um resultado só é confiável quando foi medido em casos variados e difíceis, seja na avaliação do agente, seja na escolha dos exemplos do prompt.
O que a pesquisa mostra
O artigo "Calibrate Before Use", de Zhao e colegas, de 2021, identificou três vieses — pelo rótulo majoritário, pela recência e por termos comuns — e mostrou que o desempenho pode ser muito instável conforme a escolha do prompt. Num dos casos, com exemplos "positivo, positivo, positivo, negativo", cerca de 90% das previsões saíram negativas. O estudo é de modelos mais antigos, e os atuais tendem a ser mais robustos, mas o cuidado de testar variações continua prudente.
Como perceber se o prompt empurra o modelo pra uma resposta
A forma prática é rodar o mesmo conjunto de teste com a ordem dos exemplos trocada e com um exemplo de cada categoria removido. Se os resultados mudam bastante, o modelo está seguindo o padrão dos exemplos, e vale equilibrar as categorias, acrescentar casos de fronteira e fixar a ordem que se mostrou mais estável.
Um exemplo prático
Uma empresa classifica leads em "quente", "morno" e "frio" com cinco exemplos no prompt, quatro deles de "frio". O modelo passa a classificar a maioria dos leads novos como "frio". Ela equilibra os exemplos, inclui dois casos de fronteira entre "morno" e "quente", testa três ordens diferentes em cem leads já classificados por humanos e escolhe a combinação com menos divergência.
O ponto central
Antes de confiar nos exemplos de um prompt, vale trocar a ordem e rodar de novo. Quando o resultado depende do arranjo dos exemplos, o modelo não está aprendendo a tarefa; está copiando o padrão do prompt.
