Durante mucho tiempo se ha pensado que el proceso, conocido como razonamiento analógico, el cual es el tipo de pensamiento que intenta encontrar similitudes entre dos cuestiones diferentes (situaciones, ideas, objetos, etc.) para llegar a una conclusión específica. En otras palabras, compara una cosa conocida con otra desconocida para tratar de formular una deducción válida; y es una habilidad exclusivamente humana.
Pero quizás las inteligencias artificiales hayan evolucionado lo suficiente como para desafiar esta aseveración. O esto es el resultado que parece arroyar la investigación realizada por psicólogos de UCLA muestra que, sorprendentemente, el modelo de lenguaje de inteligencia artificial GPT-3 funciona tan bien como los estudiantes universitarios cuando se les pide que resuelvan el tipo de problemas de razonamiento que suelen aparecer en las pruebas de inteligencia y las pruebas estandarizadas como el SAT. El estudio se publica en Nature Human Behavior .
Pero los autores del artículo escriben que el estudio plantea la pregunta: ¿GPT-3 está imitando el razonamiento humano como un subproducto de su conjunto de datos de entrenamiento de lenguaje masivo o está utilizando un tipo de proceso cognitivo fundamentalmente nuevo?
Sin acceso al funcionamiento interno de GPT-3, que está protegido por OpenAI, la compañía que lo creó, los científicos de UCLA no pueden decir con certeza cómo funcionan sus habilidades de razonamiento. También escriben que aunque GPT-3 funciona mucho mejor de lo que esperaban en algunas tareas de razonamiento, la popular herramienta de IA sigue fallando espectacularmente en otras.
"No importa cuán impresionantes sean nuestros resultados, es importante enfatizar que este sistema tiene limitaciones importantes", dijo Taylor Webb, investigadora postdoctoral en psicología de la UCLA y primera autora del estudio. "Puede hacer razonamiento analógico, pero no puede hacer cosas que son muy fáciles para las personas, como usar herramientas para resolver una tarea física. Cuando le planteamos ese tipo de problemas, algunos de los cuales los niños pueden resolver rápidamente, las cosas que sugería no tenían sentido".
GPT-3: la tecnología que comete errores humanos
Webb y sus colegas probaron la capacidad de GPT-3 para resolver un conjunto de problemas inspirados en una prueba conocida como Matrices Progresivas de Raven, que le piden al sujeto que prediga la próxima imagen en una complicada disposición de formas. Para permitir que GPT-3 "vea" las formas, Webb convirtió las imágenes a un formato de texto que GPT-3 podía procesar; ese enfoque también garantizó que la IA nunca hubiera encontrado las preguntas antes.
Los investigadores pidieron a 40 estudiantes universitarios de UCLA que resolvieran los mismos problemas."Sorprendentemente, GPT-3 no solo funcionó tan bien como los humanos, sino que también cometió errores similares", dijo el profesor de psicología de la UCLA, Hongjing Lu, autor principal del estudio.
GPT-3 resolvió correctamente el 80 % de los problemas, muy por encima de la puntuación media de los sujetos humanos, justo por debajo del 60 %, pero dentro del rango de las puntuaciones humanas más altas.
Los investigadores también solicitaron a GPT-3 que resolviera un conjunto de preguntas de analogía del SAT que creen que nunca se habían publicado en Internet, lo que significa que es poco probable que las preguntas hayan sido parte de los datos de entrenamiento de GPT-3. Las preguntas piden a los usuarios que seleccionen pares de palabras que comparten el mismo tipo de relaciones. (Por ejemplo, en el problema "'Amar' es a 'odiar' como 'rico' es a qué palabra?", la solución sería "pobre").
Compararon los puntajes de GPT-3 con los resultados publicados de los puntajes SAT de los solicitantes universitarios y encontraron que la IA se desempeñó mejor que el puntaje promedio de los humanos.
Luego, los investigadores pidieron a GPT-3 y a los estudiantes voluntarios que resolvieran analogías basadas en historias cortas, lo que les incitó a leer un pasaje y luego identificar una historia diferente que transmitiera el mismo significado. A la tecnología le fue peor que a los estudiantes en esos problemas, aunque GPT-4, la última iteración de la tecnología de OpenAI, funcionó mejor que GPT-3.
Los investigadores de la UCLA han desarrollado su propio modelo informático, inspirado en la cognición humana, y han estado comparando sus capacidades con las de la IA comercial.
"La IA estaba mejorando, pero nuestro modelo de IA psicológica seguía siendo el mejor para resolver problemas de analogía hasta diciembre pasado, cuando Taylor obtuvo la última actualización de GPT-3, y era tan bueno o mejor", dijo el profesor de psicología de UCLA Keith Holyoak, un coautor del estudio.
Los investigadores dijeron que GPT-3 hasta ahora no ha podido resolver problemas que requieren comprender el espacio físico. Por ejemplo, si se le proporcionan descripciones de un conjunto de herramientas (digamos, un tubo de cartón, tijeras y cinta adhesiva) que podría usar para transferir chicles de un tazón a otro, GPT-3 proponía soluciones extrañas.
"Los modelos de aprendizaje de idiomas solo intentan hacer predicciones de palabras, por lo que nos sorprende que puedan razonar", dijo Lu. "Durante los últimos dos años, la tecnología ha dado un gran salto desde sus encarnaciones anteriores".
Los científicos de la UCLA esperan explorar si los modelos de aprendizaje de idiomas realmente están comenzando a "pensar" como humanos o si están haciendo algo completamente diferente que simplemente imita el pensamiento humano.
"GPT-3 podría pensar como un humano", dijo Holyoak. "Pero, por otro lado, las personas no aprendieron al ingerir todo Internet, por lo que el método de capacitación es completamente diferente. Nos gustaría saber si realmente lo está haciendo de la manera en que lo hace la gente, o si es algo completamente nuevo: un inteligencia artificial real, que sería increíble por derecho propio".
Para averiguarlo, tendrían que determinar los procesos cognitivos subyacentes que utilizan los modelos de IA, lo que requeriría acceso al software y a los datos utilizados para entrenar el software, y luego administrar pruebas que están seguros de que el software aún no ha hecho. fue dado. Ese, dijeron, sería el siguiente paso para decidir en qué debería convertirse la IA.
"Sería muy útil para los investigadores cognitivos y de inteligencia artificial tener el backend de los modelos GPT", dijo Webb. "Solo estamos haciendo aportes y obteniendo resultados y no es tan decisivo como nos gustaría que fuera".
Fuente: