Notícias

Jul 24, 2023

Teste-se com 10 AI

O questionário de notícias é uma tradição da TIME que remonta a 1935. Iterações do

O questionário de notícias é uma tradição da TIME que remonta a 1935. Repetições do teste foram usadas em escolas de todo o país para examinar o conhecimento de assuntos atuais, e até veio em uma versão de palavras cruzadas.

Agora, a recente remoção do paywall digital da TIME abriu um século de jornalismo para todos, pronto para testar seu conhecimento sobre as pessoas que moldaram a história. Como o arquivo da TIME contém 200 milhões de palavras, é uma tarefa adequada para a nova geração de tecnologia de IA, que é capaz de analisar grandes quantidades de texto gerado por humanos em segundos.

Então, o que acontece quando você transforma o poder da IA ​​de ponta na tarefa de gerar questionários de notícias com base em artigos de revistas?

Abaixo, você encontrará 10 questionários que treinamos a tecnologia por trás do ChatGPT para produzir, com base em 10 histórias escolhidas a dedo nos arquivos da TIME, que agora estão disponíveis gratuitamente para todos. Basta clicar no título do artigo, ao lado da data de edição original, para pular para a história em que cada questionário se baseia. Abaixo do interativo, discutimos como negociamos com a inteligência artificial para ensiná-la a fazer o que pedimos.

Dados alguns dos resultados verdadeiramente surpreendentes que o ChatGPT pode produzir - um enredo para um romance de ficção científica, digamos, ou simular textos bíblicos - produzir um questionário pode parecer uma tarefa trivial (por assim dizer). E à primeira vista, é. Quando pedimos ao ChatGPT para simplesmente "fazer um teste com base neste artigo" e fornecemos um link para a história de capa da TIME em 2014 sobre Taylor Swift, ele prontamente cuspiu um questionário de 10 perguntas com quatro opções para cada resposta.

Algumas das perguntas estavam certas. (P: Os fãs de Taylor Swift são conhecidos como o quê? R: Swifties.) Mas muitos se referiram a álbuns e eventos que ocorreram bem após a publicação da história, e um estava errado. ("Qual evento a levou a endossar publicamente um candidato político pela primeira vez?" ChatGPT afirmou que era a eleição de 2020, mas voltou atrás e pediu desculpas quando lembramos que ela endossou dois democratas do Tennessee em 2018.)

Em muitos casos, o ChatGPT e seus vários rivais podem parecer indistinguíveis da magia. Portanto, é instrutivo encontrar atribuições em que os bots não sejam imediatamente capazes de quase a perfeição. Cada falha é uma pista do que está acontecendo sob o capô.

Então, vamos detalhar o que acontece em um questionário de perguntas de múltipla escolha e o que isso requer de uma máquina para fazer:

Para um ser humano - especialmente aquele que viu alguns testes de notícias e está familiarizado com o exercício - isso provavelmente é mais instrução do que o necessário. Mas até recentemente, não teria sido suficiente para uma máquina. Um ano atrás, esse exercício envolveria escrever muito código, escolher entre diferentes algoritmos e modelos de linguagem pré-treinados e ajustar constantemente os "hiperparâmetros" ou condições iniciais definidas pelo homem para o processo de treinamento.

Neste novo mundo, a tarefa está em algum lugar no meio. Em vez de escrever instruções em Python, onde um único pressionamento de tecla no lugar errado pode atrapalhar toda a operação, você entrega as instruções à máquina em inglês simples, da maneira mais precisa e literal possível.

Isso é conhecido como prompt de "cadeia de pensamento", que você pode enviar diretamente para a API OpenAI, ignorando a conversa com um chatbot e fazendo a interface diretamente com o cérebro do ChatGPT. Você ainda usa uma linguagem como Python para fazer a introdução, mas é o bot que está fazendo todo o trabalho pesado.

Enviamos uma versão das instruções acima para a API e definimos a "temperatura" - se ela randomiza os resultados - como zero, o que significa que o modelo responderia da mesma maneira sempre que enviássemos comandos idênticos. Quando alimentamos a mesma história de Taylor Swift e recebemos outro conjunto de 10 perguntas de múltipla escolha. Aqui está um:

Quem foi eleita a mulher do ano da Billboard em 2014?

a: Rihanna

b:Taylor Swift

c:Lady Gaga

d: Beyoncé

Qualquer suposição? Dica: a resposta para cinco das outras nove perguntas também foi "Taylor Swift".