'Última Prova da Humanidade': por que teste 'impossível' foi criado para IA

Perguntas muito difíceis, muito sofisticadas mesmo. Se a IA passar nisso aqui, quer dizer que não temos mais conhecimentos para testar essa inteligência artificial, do ponto de vista de conteúdo
Diogo Cortiz

Benchmark de respeito

Para avaliar a capacidade de um determinado modelo de IA, pesquisadores usam benchmarks. Eles são avaliações para mensurar o nível de proficiência de uma ferramenta em um conjunto de habilidades. Por exemplo, se uma IA é boa em traduzir de um idioma para outro, programar códigos, fazer cálculos ou reconhecer e elaborar imagens.

Esses testes possuem algo como uma "nota de corte", que é a pontuação mais alta feita por um ser humano. Quando uma IA passa essa marca, os observadores dizem que ela superou a capacidade humana em determinada área.

Muitas vezes a gente coloca que a IA é melhor que o humano para fazer determinada tarefa. A gente assume isso. Mas, na verdade, o que a gente quer dizer é que o modelo é melhor que o humano para fazer essa tarefa dentro dessa avaliação específica
Diogo Cortiz

Elaborada pelo Center for AI Safety e pela Scale AI, a "Última Prova da Humanidade" é um desses benckmarks.