TrapacearGPT! Os examinadores lutam para saber a diferença entre as respostas escritas pela IA e as de estudantes humanos reais – então, você consegue dizer qual desses artigos foi escrito por um bot?

A arte de colar nos exames já percorreu um longo caminho desde a época em que rabiscava algumas notas no pulso.

Na verdade, um novo estudo sugere que os chatbots de IA estão tornando a trapaça mais eficiente do que nunca.

Mesmo examinadores experientes agora lutam para identificar a diferença entre IA e estudantes humanos reais, descobriram os pesquisadores.

Os especialistas da Universidade de Reading adicionaram secretamente respostas inteiramente geradas por Bate-papoGPT para um verdadeiro exame de graduação em psicologia.

E, apesar de usar a IA da maneira mais simples e óbvia, marcadores desavisados ​​não conseguiram detectar as respostas da IA ​​em 94% dos casos.

Um desses exemplos de redação foi escrito por um humano real, enquanto o outro foi gerado pelo MailOnline no ChatGPT usando a metodologia dos pesquisadores. Você consegue dizer qual é qual? ​​(Respostas na caixa abaixo)

Os pesquisadores descobriram que mesmo examinadores experientes não conseguem diferenciar as respostas humanas reais e a IA em exames reais (imagem de banco de imagens)

Ainda mais preocupante, a IA superou, em média, o desempenho dos estudantes humanos – alcançando notas altas de 2:1 e de 1º nível.

O rápido avanço das IAs geradoras de texto, como o ChatGPT, criou um sério risco de que trapaças baseadas em IA possam prejudicar o processo de exame.

Para ver o quão grave este problema poderia ser, o professor associado Peter Scarfe e o professor Etienne Roesch tentaram “infiltrar-se” num exame real com IA.

Os pesquisadores criaram 33 perfis falsos de estudantes que registraram para realizar exames on-line em casa em vários módulos de graduação em psicologia.

Usando o ChatGPT-4, os pesquisadores criaram respostas completamente artificiais para perguntas curtas de 200 palavras e ensaios inteiros de 1.500 palavras.

Essas respostas foram então enviadas juntamente com as respostas de alunos reais no sistema de exames da Escola de Psicologia e Ciências Clínicas da Linguagem.

Para mostrar como pode ser difícil perceber a diferença, o MailOnline gerou nossos próprios ensaios de exemplo.

Devido à privacidade dos dados, os pesquisadores não puderam compartilhar nenhuma das respostas do exame conosco, mas usamos o prompt exato de IA para responder e dar exemplos de perguntas de graduação em psicologia usando ChatGPT.

Uma das amostras retratadas é gerada por IA, enquanto a outra é um exemplo humano retirado de um guia de redação da Universidade do Sul da Austrália.

Então, você pode dizer qual é qual? As respostas estão em uma caixa de fatos abaixo.

Os pesquisadores adicionaram secretamente respostas geradas por IA de 30 estudantes falsos a um exame real de graduação em psicologia para ver se alguma seria detectada (imagem de banco de imagens)

Nenhum dos marcadores estava ciente de que qualquer experimento estava ocorrendo e não havia nada que indicasse que os documentos de IA fossem diferentes.

Dos 63 artigos gerados por IA enviados, apenas 6% foram sinalizados pelos examinadores como potencialmente suspeitos, mas os 94% restantes passaram completamente despercebidos.

A IA obteve notas médias mais altas do que os alunos reais, em alguns módulos superando seus colegas humanos por um limite de notas completo.

Em 83% dos casos, a IA obteve notas melhores do que um conjunto de alunos selecionados aleatoriamente.

Isso significa que apenas 16% dos alunos teriam obtido uma nota melhor se tivessem realmente estudado e feito o trabalho eles próprios, em vez de usar a IA.

Dos 63 artigos submetidos gerados por IA, 95% passaram completamente despercebidos pelos examinadores humanos

Usando o ChatGPT-4, os pesquisadores simplesmente pediram à IA que respondesse à pergunta dissertativa e enviaram o texto não editado. Esta é a maneira mais simples e óbvia de qualquer aluno usar IA (imagem de banco de imagens)

Na verdade, como apontam os pesquisadores, há uma chance muito real de alguns dos estudantes humanos reais terem trapaceado e passado usando IA neste exame on-line.

Desde a pandemia, muitas universidades têm abandonado os exames tradicionais e optado por um modelo de exame online para levar para casa.

O pesquisador principal, Professor Scarfe, afirma: “Muitas instituições abandonaram os exames tradicionais para tornar a avaliação mais inclusiva”.

A vantagem é que esses exames geralmente testam mais do que a capacidade de acumular informações e são mais acessíveis para quem tem problemas de saúde física ou mental.

No entanto, este movimento coincidiu com outro desenvolvimento no mundo da IA ​​“generativa”, que permite aos utilizadores criar resmas de texto com apenas um simples prompt.

À medida que os alunos trabalham em casa, sem a supervisão de um vigilante, a opção de usar IA para trapacear fica muito mais disponível.

E embora existam detectores de IA, estes provaram ser extremamente pouco confiáveis ​​em situações da vida real.

Por exemplo, descobriu-se que um detector criado pelo Turnitin, um programa para gerenciar o trabalho dos alunos, tem menos de 20% de precisão quando usado em alunos reais.

Mesmo com um uso muito simples do ChatGPT, os papéis de IA (azul) superaram seus equivalentes humanos (laranja) em quase todos os papéis. Em um módulo, P1-M2, a IA teve melhor desempenho em todo o limite de série

Os pesquisadores dizem que isso pode significar o fim dos exames tradicionais como os conhecemos, à medida que as universidades são forçadas a se adaptar.

O Dr. Scarfe afirma: “Não iremos necessariamente voltar totalmente aos exames escritos à mão, mas o sector da educação global terá de evoluir face à IA”.

Em seu artigo, os pesquisadores sugerem que os exames podem até precisar começar a permitir o uso de IA em exames, para evitar que fiquem desatualizados.

Como a IA é quase impossível de detectar e é mais provável que o uso da IA ​​se torne uma habilidade necessária, os pesquisadores argumentam que os exames não devem combater essa nova tecnologia – da mesma forma que as calculadoras se tornaram mais aceitáveis ​​nos exames.

Os pesquisadores escrevem: “Um “novo normal” integrador de IA parece inevitável. Uma “forma autêntica de avaliação” será aquela em que a IA é utilizada.

O Professor McCrum acrescenta: “As soluções incluem afastar-se de ideias obsoletas de avaliação e aproximar-se daquelas que estão mais alinhadas com as competências que os alunos necessitarão no local de trabalho, incluindo a utilização da IA”.