Estudo revela que LLMs ainda não são totalmente confiáveis para substituir amostras humanas
Os modelos de inteligência artificial generativa, como o ChatGPT, ainda não estão prontos para substituir ou complementar amostras humanas em pesquisas de mercado, segundo a Kantar Brasil. A empresa realizou testes comparando respostas do GPT-4 com dados coletados de cerca de 5 mil respondentes sobre um produto de luxo e suas atitudes em relação à tecnologia e concluiu que os LLMs ainda apresentam vieses e não capturam todas as nuances necessárias.
A pesquisa criou uma “amostra sintética” com características demográficas idênticas às da amostra humana, utilizando fatores como localização, idade e renda no condicionamento de prompts para o ChatGPT. Apesar de os dados sintéticos já serem utilizados há décadas para modelagem preditiva, a Kantar alerta que confiar exclusivamente em um LLM pode comprometer a qualidade dos insights, sendo essencial partir de uma base de dados reais e robustos.
“Na pesquisa de mercado, conjuntos de dados sintéticos podem introduzir vieses ou distorções e não refletirem com precisão as características e preferências de uma população-alvo, como confirmado pelos nossos testes”, afirma Juliana Cavallari, diretora de contas da Kantar Brasil. “Portanto, é crucial entender os casos de uso, as metodologias de solução e os frameworks de avaliação antes de confiar em dados sintéticos para informar decisões comerciais importantes.”
Por outro lado, a combinação entre amostras humanas e sintéticas começa a se mostrar viável para ampliar a abrangência das pesquisas. A Kantar destaca três usos principais dessa abordagem: o impulsionamento de amostras para incluir grupos sub-representados, o aumento preditivo para preencher lacunas de dados e o conceito de “gêmeos digitais”, que utiliza históricos de painelistas para prever comportamentos e tendências futuras.
“Os dados sintéticos têm muito potencial, mas a indústria tem muito mais trabalho a fazer para construir soluções tecnicamente e metodologicamente sólidas”, diz Juliana. “Embora seja possível aproveitar ao máximo o potencial de alguns dos algoritmos e tecnologias mais recentes, é preciso abordar as principais questões e desafios que os dados sintéticos apresentam, como sua precisão e viés, sua viabilidade em situações particulares e sua robustez.”