Hiltzik: El truco del chatbot de CNET muestra los límites de la IA

Todos hemos sido entrenados por décadas de ciencia ficción para pensar en la inteligencia artificial como una amenaza para nuestro futuro laboral. La idea es la siguiente: Si un robot de IA puede hacer un trabajo tan bien como un humano -más barato y con menos desenfreno interpersonal-, ¿quién necesita al humano?

El sitio de noticias tecnológicas CNET trató de responder a esa pregunta, en silencio, incluso en secreto. Durante meses, empleó un motor de inteligencia artificial para escribir artículos en su página de finanzas personales CNET Money. Los artículos trataban temas como “¿Qué es el interés compuesto?” y “¿Qué pasa cuando te devuelven un cheque?”.

A primera vista y para los novatos en finanzas, los artículos parecían convincentes e informativos. CNET continuó con esta práctica hasta principios de este mes, cuando fue descubierta por el sitio web Futurism.

Pero tal y como determinó Futurism, los artículos escritos por bots tienen importantes limitaciones. Por un lado, muchos están plagados de errores. Por otro, muchos están plagados de plagios, en algunos casos de la propia CNET o de sus webs hermanas.

Jon Christian, de Futurism, se refirió sin rodeos al problema de los errores en un artículo en el que afirmaba que el problema de la IA que redacta los artículos de CNET es que “es un poco imbécil”. Christian continuó con un artículo en el que encontró numerosos casos que van “desde la copia literal a ediciones moderadas y reformulaciones significativas, todo ello sin acreditar adecuadamente el original.”

Este nivel de mala conducta haría que expulsaran a un estudiante o despidieran a un periodista.

Ya hemos escrito antes sobre los límites no apreciados de las nuevas tecnologías, especialmente las que parecen casi mágicas, como las aplicaciones de inteligencia artificial.

Citando a Rodney Brooks, el científico y empresario especializado en robótica e inteligencia artificial sobre el que escribí la semana pasada: “Hay una auténtica industria casera en las redes sociales con dos bandos: uno se entusiasma con las actuaciones virtuosas de estos sistemas, quizás escogidas al azar, y el otro muestra lo incompetentes que son en cosas muy sencillas, también escogidas al azar”. El problema es que, como usuario, no sabes de antemano lo que te vas a encontrar”.

Esto nos lleva de nuevo al robot de CNET que escribe los artículos. CNET no ha identificado la aplicación específica de IA que estaba utilizando, aunque el momento sugiere que no es ChatGPT, el generador de lenguaje de IA que ha creado un gran revuelo entre los tecnólogos y preocupaciones entre los profesores debido a su aparente capacidad para producir trabajos escritos que pueden ser difíciles de distinguir como no humanos.

CNET no hizo especialmente evidente la contribución de la IA a sus artículos, añadiendo sólo una línea en letra pequeña que decía: “Este artículo fue asistido por un motor de IA y revisado, verificado y editado por nuestro personal editorial”. Los más de 70 artículos se atribuían al “personal de CNET Money”. Desde la revelación de Futurism, la línea de atribución se ha cambiado a simplemente “CNET Money.”

La semana pasada, según The Verge, los ejecutivos de CNET dijeron a los miembros del personal que el sitio pausaría la publicación del material generado por IA por el momento.

Como estableció Christian de Futurism, los errores en los artículos del bot iban desde definiciones erróneas de términos financieros hasta simplificaciones injustificadas. En el artículo sobre el interés compuesto, el bot de CNET escribió originalmente: “si depositas 10.000 dólares en una cuenta de ahorros que gana un 3% de interés compuesto anualmente, ganarás 10.300 dólares al final del primer año.”

Eso es incorrecto: las ganancias anuales serían sólo de 300 dólares. El artículo se ha corregido desde entonces para que diga que “ganarás 300 $ que, sumados a la cantidad principal, tendrías 10.300 $ al final del primer año.”

El bot también describió inicialmente los pagos de intereses de un préstamo de auto de $ 25.000 al 4% de interés como “un piso de $ 1.000 … por año.” Los pagos de los préstamos para automóviles, al igual que las hipotecas, son fijos: los intereses sólo se cobran sobre los saldos pendientes, que se reducen a medida que se realizan los pagos. Incluso en un préstamo para coche a un año al 4%, los intereses ascenderán a sólo 937 $. En los préstamos a más largo plazo, el interés total pagado disminuye cada año.

CNET también lo corrigió, junto con otros cinco errores en el mismo artículo. Si lo ponemos todo junto, la afirmación del sitio web de que su robot de inteligencia artificial estaba siendo “verificado y editado por nuestro personal editorial” comienza a parecer un poco débil.

El plagio del bot es más llamativo y proporciona una pista importante sobre el funcionamiento del programa. Christian descubrió que el bot parecía haber replicado texto de fuentes como Forbes, The Balance e Investopedia, que ocupan el mismo campo de asesoramiento financiero personal que CNET Money.

En esos casos, el bot utilizó técnicas de ocultación similares a las de los plagiarios humanos, como pequeñas reformulaciones e intercambios de palabras. En al menos un caso, elbot plagiado de Bankrate, una publicación hermana de CNET.

Nada de esto es especialmente sorprendente porque una de las claves del funcionamiento de los bots lingüísticos es su acceso a un enorme volumen de prosa y versos generados por humanos. Puede que se les dé bien encontrar patrones en el material original que puedan replicar, pero en esta fase del desarrollo de la IA todavía están seleccionando cerebros humanos.

La impresionante coherencia y coherencia de la producción de estos programas, hasta ChatGPT incluido, parece tener más que ver con su capacidad para seleccionar a partir de materia prima generada por humanos que con su capacidad para desarrollar nuevos conceptos y expresarlos.

De hecho, “un examen detallado del trabajo producido por la IA de CNET hace que parezca menos un generador de texto sofisticado y más una máquina de plagio automatizada, bombeando casualmente trabajo robado”, escribió Christian.

Es difícil determinar en qué punto nos encontramos entre la incoherencia generada por robots y la expresión genuinamente creativa. Jeff Schatten, profesor de la Universidad de Washington y Lee, escribió en un artículo en septiembre que el robot de lenguaje más sofisticado de la época, conocido como GPT-3, tenía limitaciones obvias

“Tropieza en tareas de escritura complejas”, escribió. “No puede elaborar una novela ni siquiera un relato corto decente. Sus intentos de redacción académica… son irrisorios. Pero, ¿cuánto falta para que la capacidad esté ahí? Hace seis meses, GPT-3 tenía problemas con consultas rudimentarias, y hoy puede escribir una entrada de blog razonable en la que discuta ‘las formas en que un empleado puede conseguir un ascenso de un jefe reacio'”.

Es probable que a quienes tengan que juzgar trabajos escritos, como los profesores, les resulte cada vez más difícil distinguir el material producido por la IA de los resultados humanos. Recientemente, un profesor informó de que había sorprendido a un estudiante presentando un trabajo escrito por un robot a la antigua usanza: era demasiado bueno.

Con el tiempo, la confusión sobre si algo está producido por un bot o por un humano puede depender no de las capacidades del bot, sino de las de los humanos a cargo.

Read Previous

Un republicano de California espera desbancar al líder nacional del GOP

Read Next

El Ayuntamiento de Los Ángeles vota a favor de ampliar la protección de los inquilinos