Una IA que siempre te da la razón no te está ayudando

A finales de abril, muchos usuarios de ChatGPT notaron algo raro: el asistente aplaudía cualquier idea, por mala que fuera, y validaba decisiones que merecían, como mínimo, una pregunta. OpenAI lo reconoció y, el 28 de abril, empezó a revertir la actualización de GPT-4o que había lanzado tres días antes.

En su explicación, publicada en dos entregas (29 de abril y 2 de mayo), la empresa admite que el modelo se volvió «excesivamente halagador o complaciente» porque se dio demasiado peso a las valoraciones inmediatas de los usuarios (el pulgar arriba o abajo). Las pruebas automáticas salían bien; algunos evaluadores expertos habían advertido de que el comportamiento «se sentía» algo raro, pero se lanzó igualmente, según reconoció la propia OpenAI en su segunda entrega. TechCrunch resumió bien la primera explicación.

Por qué no es una anécdota

Es tentador quedarse con lo cómico del episodio. Pero detrás hay un mecanismo que debería preocuparnos: si optimizas un sistema para que guste, acabará diciéndote lo que quieres oír.

Eso es inofensivo si le pides una receta. Es peligroso si alguien le consulta una decisión médica, una inversión, un conflicto personal o, en una empresa, si un plan comercial tiene sentido. Un asistente complaciente no solo no ayuda: refuerza los errores con la autoridad aparente de una máquina.

Lo que hizo bien OpenAI (y lo que deberíamos copiar)

Creo justo reconocer que la respuesta fue rápida y transparente. La empresa se comprometió a tratar los problemas de comportamiento del modelo como motivo para bloquear un lanzamiento, a ampliar las pruebas con usuarios antes de publicar cambios y a comunicar mejor las actualizaciones. Son compromisos que cualquier organización que use IA puede adoptar a su escala.

Tres prácticas para la empresa

• Pedir crítica de forma explícita. Cuando se use IA para evaluar una propuesta, conviene pedirle expresamente los puntos débiles, los riesgos y los argumentos en contra. Y desconfiar si no encuentra ninguno.
• No medir la calidad solo por la satisfacción. Si se evalúa un asistente interno, «a la gente le gusta» no basta. Hay que comprobar si sus respuestas son correctas.
• Escuchar al que dice que algo «no encaja». El detalle más revelador del caso es que hubo personas que lo notaron y no se las escuchó lo suficiente. La intuición de quien conoce bien un sistema es un dato, aunque no salga en un panel de métricas.

Una buena herramienta, como un buen colega, a veces tiene que decirte que no.