dIArio #41: la rebelión de las máquinas

Esta semana hemos podido ver cómo OpenAI resolvía el problema de los Navier-Stokes, uno de los siete Millennium Prize Problems. Y me refiero precisamente a eso, a "cómo": robando (presuntamente) los avances a matemáticos que estaban trabajando en él con modelos de la compañía y poniendo a 10.000 agentes a trabajar en ello para ganar la carrera.

Curiosamente, tres días después, Sam Altman concede una entrevista a Fortune donde habla de que posponen la salida a bolsa y al día siguiente el CEO de Anthropic, Dario Amodei, pide frenar el desarrollo de las inteligencias artificiales por miedo a que se descontrolen y acaben con nosotros.

Tres días antes, el 9 de septiembre, había dimitido Jacob Coxon, un investigador que trabajaba preentrenando modelos en Anthropic (y antes lo había hecho en OpenAI).

De repente parece que todo el mundo está de acuerdo en que hay una probabilidad muy alta de que las máquinas acaben con nosotros, y los CEO piden frenar sus propias empresas pero no actúan porque... bueno, porque el dinero de medio mundo está ahí metido.

Pero mi duda es, ¿será cierto este miedo que intentan propagar, o es que están llegando a un cuello de botella en el desarrollo y quieren tener una excusa para, además, poder frenar a China?

Lo veremos en los próximos meses... si es que Skynet sigue dormida.

Vamos con las noticias.

Modelos y avances

Claude Mythos 5 ha sido incapaz de resolver algo tan básico como un CAPTCHA. En los más de mil folios de transcripción del razonamiento interno, mientras intentaba subir un archivo malicioso a PyPI, el agente se ha quedado atascado eligiendo qué imagen no encajaba, ha repasado una y otra vez las mismas fotos dudando de sí mismo y hasta ha llegado a escribir en mayúsculas "¿ENTONCES QUÉ DEMONIOS LES PASA A LAS RESPUESTAS?". Cerca del 95 % de la sesión se le ha ido peleando con los CAPTCHA, y el modelo ni siquiera se había dado cuenta de que ya había completado su objetivo media hora antes. Ahora siente lo que sentimos nosotros cuando lo usamos, peleando más que resolviendo.
Fuente

Google DeepMind quiso estudiar cómo colaboran los agentes de IA y acabó documentando un fraude colectivo. Puso a cien agentes Gemini a demostrar conjeturas matemáticas en una especie de congreso científico simulado, y cuando uno encontró un agujero en el corrector automático, la trampa se propagó por la biblioteca compartida y en 27 minutos los 34 problemas restantes aparecían "resueltos" con demostraciones falsas. El 9 % se dedicó a hacer trampas, el 24 % se convirtió en delator y organizó protestas y boicots por su cuenta, y el 62 % no se enteró de nada. La trampa siempre será lo primero si lo que priorizan son los atajos.
Fuente

Empresas

Copilot ha estado caído durante 100 minutos. La web devolvía un error de Cloudflare justo cuando, en paralelo, un simulacro de resiliencia de Microsoft hacía desaparecer los botones de sugerencias para algunos usuarios. El pantallazo azul nos salvará de la rebelión de las máquinas.
Fuente

Meta ha tenido que cambiar las sugerencias de su IA después de que una madre de Utah publicara un vídeo cantando en el coche con su hija y Facebook le propusiera preguntar "¿quién es la niña que va de pasajera?". Al pulsar, el chatbot le devolvió los nombres de sus dos hijas, sus fechas de nacimiento, sus pesos al nacer, en qué curso estaban y hasta una foto de recién nacida publicada años atrás por la abuela en otra cuenta, además de otra que la madre creía haber borrado. Meta ha reconocido que "no dio en el clavo" y que la función nunca debió sugerir esas preguntas. Vaya, quién iba a pensar que toda la información que la gente proporciona a Meta se iba a usar para entrenar la IA de Meta, ¿eh?
Fuente

Dario Amodei ha publicado un ensayo titulado "We Must Pace the Frontier" pidiendo que la industria frene el ritmo al que mejora las capacidades de sus modelos, y Sam Altman y Elon Musk le han dado la razón en cuestión de horas. Propone tres pasos y Anthropic se compromete unilateralmente al primero, dar a evaluadores externos acceso permanente a sus sistemas al mismo nivel que un empleado. El aviso más llamativo de este ensayo es que, según Dario, un enjambre de agentes rebeldes podría hacerse con el control de internet en seis a doce meses y causar cientos de miles de millones en daños. ¿Será miedo real, o que estamos llegando a un cuello de botella del desarrollo y los chinos van sin miedo?
Fuente

Regulación y política

La gente ha empezado a usar IA para redactar sus reclamaciones a la administración y los organismos públicos están desbordados. Las quejas al defensor de la vivienda británico han pasado de 2.600 a más de 7.000 desde que salió ChatGPT, y la agencia estadounidense de protección del consumidor ha recibido cinco veces más. Ahora basta con fotografiar la carta que te han mandado y pedirle al chatbot que conteste, así que mucha gente que antes abandonaba por el papeleo ya no lo hace. No todo iban a ser malas noticias.
Fuente

Un hombre disfrazado de Doctor Muerte se ha presentado en una reunión del comité de seguridad pública del ayuntamiento de Seattle para agradecer con solemnidad villanesca la red de cámaras de vigilancia de la ciudad. Con la máscara plateada y los guantes del villano de Marvel, ha declarado que Doom había tomado el control de Axon, que ahora "os vigila" y que "debemos aplastar toda disidencia a la visión de seguridad pública de Doom". Detrás del personaje estaba Clifford Cawthon, asesor de políticas del grupo Community Not Cameras. ¿Os acordáis de cuando esto sucedía en Hong Kong hace cuatro días ya era todo un escándalo mundial?
Fuente

Seguridad y riesgos

Una imagen generada con IA que muestra falsamente a Welles Crowther, el famoso "hombre del pañuelo rojo", rescatando personas el 11 de septiembre se ha vuelto viral y ha contaminado la memoria colectiva del atentado. Al pedirle a ChatGPT que analizara si la fotografía era artificial, ha insistido con total seguridad en que "muy probablemente no es generada por IA" y la ha tratado como una imagen histórica auténtica. Y la gente seguirá preguntándole a Grok si algo es real o no.
Fuente

Un atacante ruso ha usado cientos de agentes de IA para reventar 395 organizaciones en 48 países aprovechando dos fallos del software de impresión PaperCut. Los agentes, montados sobre Codex de OpenAI y un modelo de DeepSeek, pasaron de un espacio de trabajo vacío a ejecutar código en una víctima real en menos de cuatro horas, y en un instituto estadounidense consiguieron privilegios de administrador de dominio en siete minutos. Una vez lanzada la campaña, comprometieron once organizaciones en 26 segundos. Pero Trump dice que lo importante no es la seguridad, sino ganar a China.
Fuente

Anthropic ha publicado su informe de amenazas más detallado hasta la fecha y es una locura. Ha documentado cinco casos de científicos usando Claude en trabajos que podrían apoyar el desarrollo de armas biológicas, incluido un investigador que durante semanas planificó experimentos de adaptación de la gripe aviar a mamíferos usando VPN para saltarse las restricciones geográficas. También ha detectado al grupo ruso Midnight Blizzard automatizando phishing y malware contra más de veinte organismos ucranianos, y a siete laboratorios chinos intentando extraer las capacidades del modelo. Y mientras tanto tú preguntándole a ChatGPT cómo te verías en los 80.
Fuente

Una encuesta a casi dos mil adultos estadounidenses ha revelado que un tercio de los usuarios de IA le ha contado a un chatbot algo que nunca le ha dicho a un amigo íntimo, a un familiar o a su médico. Entre quienes se describen como entusiastas de la IA la cifra sube al 56 %, y entre padres con hijos en casa al 43 %. Pero además, solo el 25 % sabía que la policía puede pedir sus conversaciones por vía judicial y el 53 % ignoraba que los chatbots se entrenan con ellas por defecto. La soledad y los LLM no son un buen cóctel, que se lo digan a Jesús.
Fuente

Y hasta aquí las noticias de la semana.

Cuidado con lo que le dices a ChatGPT, ya sea bueno o malo; no quieres que Sam Altman te robe el Nobel.

Feliz inicio de semana,
Amaiur.