PassRugby
Desde que foi proposto pela primeira vez em 1950, passar no “teste de Turing” tem sido visto como um dos objetivos mais elevados na IA.
Mas agora, os pesquisadores afirmam que Bate-papoGPT tornou-se a primeira IA a passar neste famoso teste de inteligência humana.
Proposto pelo pioneiro da computação Alan Turing, afirma que uma IA deve ser considerada verdadeiramente inteligente se as pessoas não souberem se estão falando com um ser humano ou com uma máquina.
Em um artigo pré-impresso, cientistas cognitivos da UC San Diego argumentam que o ChatGPT-4 pode enganar cobaias humanas mais da metade das vezes.
No entanto, os investigadores dizem que isto pode dizer mais sobre o teste de Turing do que sobre a inteligência da IA moderna.
ChatGPT-4 passou no famoso ‘teste de Turing’ que foi desenvolvido para verificar se os computadores têm inteligência semelhante à humana
Visão geral do teste de Turing: Um interrogador humano (C) faz perguntas a uma IA (A) e a outro humano (B) e avalia as respostas. O interrogador não sabe qual é qual. Se a IA enganar o interrogador fazendo-o pensar que suas respostas foram geradas por um humano, ela passa no teste
Em 1950, o decifrador britânico da Segunda Guerra Mundial, Alan Turing, criou o que ele pensava ser o teste definitivo da inteligência computacional.
Ele imaginou que um participante humano se sentaria diante de uma tela e falaria com um humano ou com um computador por meio de uma interface somente de texto.
Se o computador não pudesse ser distinguido de um ser humano numa ampla gama de tópicos possíveis, Turing concluiu que teríamos de admitir que ele era tão inteligente quanto um ser humano.
Replicando este famoso teste, os investigadores pediram a 500 participantes que falassem com quatro agentes diferentes: três IAs e um humano.
As IAs eram ChatGPT-4, ChatGPT-3.5 – dois modelos por trás do popular chatbot da OpenAI – e um programa de chat da década de 1960 chamado ELIZA.
Os participantes foram colocados em uma sala de bate-papo e informados de que precisavam convencer a outra pessoa de que eram humanos ou descobrir com quem estavam falando.
Os participantes foram então deixados conversando por cinco minutos antes de serem questionados se achavam que estavam falando com um computador ou com um ser humano, por que pensavam isso e quão confiantes estavam.
Alan Turing (à direita) criou um teste no qual os participantes falam através de uma interface somente texto com um computador ou com um ser humano. Os pesquisadores replicaram uma versão moderna deste experimento por meio de um programa de chat de texto (esquerda)
Teste de Turing: Você consegue perceber a diferença? Uma dessas conversas é com um humano e as outras três são com IAs. Leia-os com atenção e dê seu palpite – as respostas estão na caixa abaixo
Embora o desatualizado ELIZA tenha enganado os participantes apenas 22% das vezes, o ChatGPT-3.5 passou despercebido em 50% das conversas.
A iteração mais avançada, ChatGPT-4, teve um desempenho ainda melhor, com os participantes rotulando-o como humano em 54% das vezes.
Isso significa que o ChatGPT-4 é capaz de se passar por humano com mais frequência do que o acaso poderia sugerir.
E se isto parece baixo, vale a pena notar que os participantes só identificaram corretamente os seres humanos como tal em 67 por cento das conversas.
Os investigadores escrevem que estes resultados “fornecem a primeira demonstração empírica robusta de que qualquer sistema artificial passa num teste de Turing interactivo para 2 jogadores”.
Vale ressaltar que este é um artigo pré-impresso, o que significa que está aguardando revisão por pares, portanto os resultados devem ser tomados com algum cuidado.
No entanto, se os resultados forem confirmados, esta seria a primeira forte evidência de que uma IA passou no teste de Turing tal como Alan Turing o imaginou.
Nell Watson, pesquisadora de IA do Instituto de Engenheiros Elétricos e Eletrônicos (IEEE), disse Ciência Viva: 'As máquinas podem confabular, misturando justificativas plausíveis ex-post-facto para as coisas, como fazem os humanos.
“Todos estes elementos significam que fraquezas e peculiaridades semelhantes às humanas estão a ser expressas em sistemas de IA, o que os torna mais semelhantes aos humanos do que as abordagens anteriores que tinham pouco mais do que uma lista de respostas predefinidas”.
Os humanos foram corretamente identificados como humanos em pouco mais de 60% das vezes (barra azul), enquanto o ChatGPT-4 foi capaz de enganar seus interlocutores em 54% dos casos.
É importante ressaltar que o baixo desempenho do programa ELIZA também ajuda a apoiar a importância destes resultados.
Embora possa parecer estranho incluir um programa dos anos 60 num teste de tecnologia de ponta, este modelo foi incluído para testar algo chamado “efeito ELIZA”.
O efeito ELIZA é a ideia de que os humanos podem atribuir características semelhantes às humanas até mesmo a sistemas muito simples.
Mas o fato de as pessoas terem sido enganadas pelo ChatGPT e não pelo ELIZA sugere que esse resultado não é trivial.
Os investigadores também salientam que a mudança na percepção do público sobre a IA pode ter alterado os resultados que deveríamos esperar do teste de Turing.
Eles escrevem: “À primeira vista, a baixa taxa de aprovação humana pode ser surpreendente.
'Se o teste mede a semelhança humana, os humanos não deveriam estar 100%?'
Esta é a primeira vez que uma IA passa no teste inventado por Alan Turing em 1950, de acordo com o novo estudo. A vida deste pioneiro da computação e a invenção do teste de Turing foram dramatizadas notoriamente em O Jogo da Imitação, estrelado por Benedict Cumberbatch (foto)
Em 1950, esta suposição faria todo o sentido, uma vez que, num mundo sem IA avançada, assumiríamos que qualquer coisa que pareça humana é humana.
Mas à medida que o público se torna mais consciente da IA e a nossa confiança nela aumenta, torna-se mais provável que identifiquemos erroneamente os humanos como IA.
Isso pode significar que a pequena diferença entre a taxa de aprovação de humanos e o ChatGPT-4 é ainda mais convincente como evidência de inteligência computacional.
Em fevereiro deste ano, pesquisadores de Stanford descobriram que o ChatGPT poderia passar em uma versão do teste de Turing em que a IA respondia a um teste de personalidade amplamente utilizado.
Embora esses pesquisadores tenham descoberto que os resultados do ChatGPT-4 eram indistinguíveis dos humanos, este último artigo é uma das primeiras vezes em que a IA passou em um teste robusto de Turing para 2 jogadores baseado em conversação.
No entanto, os investigadores também reconhecem que existem críticas válidas e de longa data ao teste de Turing.
Os investigadores salientam que “fatores estilísticos e socioemocionais desempenham um papel mais importante na aprovação no teste de Turing do que as noções tradicionais de inteligência”.
Os pesquisadores dizem que isso não mostra necessariamente que a IA se tornou inteligente, apenas que se tornou melhor em se passar por humanos (imagem de banco de imagens)
Os interrogadores eram muito mais propensos a citar o estilo, a personalidade e o tom como razão para identificar o interlocutor como um robô do que qualquer coisa associada à inteligência.
Da mesma forma, uma das estratégias mais bem-sucedidas para identificar robôs foi perguntar sobre experiências humanas, o que funcionou 75% das vezes.
Isto sugere que o teste de Turing não prova realmente que um sistema é inteligente, mas sim mede a sua capacidade de imitar ou enganar os humanos.
Na melhor das hipóteses, os investigadores sugerem que isto fornece suporte “probabilístico” para a afirmação de que o ChatGPT é inteligente.
Os participantes eram mais propensos a identificar a IA com base em uma avaliação de sua personalidade e detalhes fornecidos sobre si mesma, em vez de qualquer coisa baseada em inteligência
Mas isto não significa que o teste de Turing seja inútil, já que os investigadores observam que a capacidade de se fazer passar por humanos terá enormes consequências económicas e sociais.
Os investigadores dizem que IA suficientemente convincentes poderiam “servir funções economicamente valiosas de atendimento ao cliente que historicamente têm sido reservadas a trabalhadores humanos, enganar o público em geral ou os seus próprios operadores humanos e minar a confiança social nas interações humanas autênticas”.
Em última análise, o teste de Turing poderia ser apenas parte do que precisamos avaliar quando procuramos desenvolver um sistema de IA.
A Sra. Watson diz: “O intelecto bruto só vai até certo ponto. O que realmente importa é ser suficientemente inteligente para compreender uma situação, as competências dos outros e ter empatia para ligar esses elementos.
'As capacidades são apenas uma pequena parte do valor da IA – a sua capacidade de compreender os valores, preferências e limites dos outros também é essencial.'
Source link
