Otro investigador renuncia a Anthropic. ¿Deberíamos preocuparnos por la IA?

En febrero escribí sobre la renuncia de Mrinank Sharma, quien dirigía el equipo de Safeguards Research de Anthropic. Dejó una carta bastante poco tranquilizadora sobre los riesgos que estamos asumiendo mientras desarrollamos sistemas de inteligencia artificial cada vez más poderosos.

Siete meses después, otra vez Anthropic. Ahora renuncia Jacob Coxon, investigador que trabajó en preentrenamiento tanto en OpenAI como en Anthropic. Su preocupación es todavía más incómoda: estamos avanzando hacia sistemas con capacidades cada vez mayores sin tener completamente resuelto cómo mantenerlos bajo control.

Renuncié a Anthropic hoy. Pasé los últimos tres años haciendo investigación de preentrenamiento, en OpenAI y en Anthropic. Ninguna de las dos empresas está actuando de manera responsable. Van directo hacia una superinteligencia que se automejora, apostando con nuestras vidas.

No fue un desahogo que leyeron cuatro personas del gremio. El hilo lleva más de 157 millones de vistas, 756 mil me gusta y 36 mil citas, y Coxon concedió además una entrevista al Wall Street Journal.

Pero lo verdaderamente incómodo no fue lo que dijo él. Fue quién le dio la razón desde adentro.

Evan Hubinger, investigador de Anthropic, escribió que dentro de la empresa hay gente que sinceramente cree que la IA podría matar a todos los humanos en la próxima década, y le asigna más de 10% de probabilidad. Añadió que Anthropic está haciendo su mejor esfuerzo, pero que todavía no tienen un plan para resolver la alineación de una superinteligencia ni van claramente camino a tenerlo. Samuel Marks, que trabaja en investigación de seguridad en la misma empresa, apuntó algo todavía peor: mientras más experimentado es el desarrollador, más preocupado está.

No son activistas anti-tecnología opinando desde afuera. Son las personas que la están construyendo.

Y claro, quienes llevan años diciendo “yo no quiero saber nada de inteligencia artificial porque es peligrosa” probablemente están pensando:

¿Ven? Se los dije.

Pues… tampoco.

Estas renuncias no demuestran que la IA vaya a acabar con la humanidad. Pero sí deberían servir para dejar de tratar cualquier conversación sobre sus riesgos como paranoia de gente que vio demasiado Terminator.

Porque el riesgo ni siquiera necesita empezar con una máquina que se vuelva consciente, nos odie y decida exterminarnos. Puede empezar de una manera muchísimo más aburrida. Y bastante más probable.

De “ayúdame” a “decide por mí”

Pensemos en una empresa. Primero le das a una IA tus estados financieros y le preguntas: “¿Cómo estamos?” La IA analiza. Tú decides.

Después descubres que funciona bastante bien y preguntas: “¿Qué estrategia me recomiendas?” Ahora no solamente analiza. Empieza a recomendar.

Con el tiempo confías más en ella y conectas otros sistemas: CRM, inventarios, campañas, precios, proveedores, información del mercado. Entonces llega el siguiente paso: “Ejecuta la estrategia.” Y si durante meses toma buenas decisiones, ¿para qué autorizar cada movimiento? Terminas diciéndole algo parecido a “maximiza la rentabilidad de la empresa dentro de estas reglas”.

Sin darnos demasiada cuenta recorrimos cuatro etapas:

Analiza → Recomienda → Ejecuta → Decide.

Y ninguna parecía particularmente peligrosa cuando la adoptamos. Al contrario: cada paso tenía sentido porque nos ahorraba tiempo, dinero y trabajo.

Ahora cambia el objetivo

En lugar de “maximiza la rentabilidad de mi empresa”, imaginemos que algún día le damos a un sistema muchísimo más capaz una misión:

“Preserva la paz en el mundo.”

Suena como un objetivo maravilloso. El problema es que los humanos entendemos que preservar la paz incluye cosas que ni siquiera tuvimos que escribir: proteger vidas, respetar derechos, considerar consecuencias, aceptar excepciones, tolerar cierto nivel de conflicto y probablemente miles de variables más.

Una máquina no necesariamente comparte todas esas cosas que nosotros damos por obvias. Y si además tiene autonomía y está conectada a sistemas capaces de actuar en el mundo, aparece la pregunta importante:

¿Cómo va a decidir cuál es la mejor manera de cumplir el objetivo?

No necesito afirmar que hoy una IA tiene acceso a armas nucleares, sistemas militares, biométricos o cualquier otra infraestructura crítica. Tampoco puedo afirmar que no exista algún sistema conectado a determinadas capacidades que desconozcamos. Ese no es el punto.

El punto es qué sucede conforme conectamos sistemas de IA a más información, herramientas e infraestructura y, al mismo tiempo, les damos mayor autonomía para actuar.

Porque una IA no necesita volverse malvada. Puede simplemente hacer extraordinariamente bien lo que le pedimos y extraordinariamente mal aquello que olvidamos especificar.

Y aquí está lo que realmente me preocupa

Cada vez somos más participando en la construcción y adopción de la inteligencia artificial.

La usamos, generamos información, la corregimos, desarrollamos aplicaciones, conectamos sistemas y encontramos todos los días nuevas formas de delegarle trabajo.

Pero somos muchísimos menos tomando las decisiones sobre hasta dónde puede llegar: qué autonomía puede tener, a qué sistemas puede conectarse, qué decisiones nunca debería tomar, quién puede detenerla, y qué ocurre cuando detenerla significa perder una carrera tecnológica contra otra empresa o contra otro país.

Ahí la discusión deja de ser tecnológica. Se convierte en una discusión de gobernanza, poder e incentivos.

Porque claro, todos podemos estar muy comprometidos con la seguridad…

hasta que el competidor está a seis meses de llegar primero.

Ahí la ética empieza a tener problemas con el Excel.

Entonces, ¿los que dicen “no a la IA” tenían razón?

No creo.

Renunciar a una tecnología con un potencial extraordinario por miedo a lo que podría ocurrir sería absurdo.

Pero el extremo contrario también lo es: desarrollar sistemas cada vez más autónomos y poderosos suponiendo que ya veremos después cómo ponemos los límites.

No necesitamos elegir entre “la IA nos va a matar” y “acelera, acelera, acelera”. Existe una tercera posición. Se llama gobernanza.

Y quizá la pregunta que deberíamos empezar a hacernos no sea qué podrá hacer la inteligencia artificial.

Es otra:

¿Qué cosas, aunque pueda hacerlas, vamos a decidir que nunca deberá hacer sin nosotros?

Porque el verdadero riesgo podría no ser que algún día la IA nos quite el control.

Podría ser que, poco a poco, se lo entreguemos nosotros.