{"id":10,"date":"2026-09-10T22:12:54","date_gmt":"2026-09-10T20:12:54","guid":{"rendered":"https:\/\/exactas.uba.ar\/web\/informes-exactas\/?p=10"},"modified":"2026-09-24T11:28:11","modified_gmt":"2026-09-24T14:28:11","slug":"sociedades-automatizadas","status":"publish","type":"post","link":"https:\/\/exactas.uba.ar\/web\/documentos-exactas\/sociedades-automatizadas\/","title":{"rendered":"Los riesgos del uso de IA en Sociedades Automatizadas y Organizaciones Aut\u00f3nomas Descentralizadas"},"content":{"rendered":"

Este reporte fue elaborado por investigadores del Instituto de Ciencias de la Computaci\u00f3n (ExactasUBA-CONICET) durante julio de 2026 en relaci\u00f3n al proyecto de ley PE-193\/26<\/a> tal como fue remitido al Senado el 29 de mayo de 2026. El proyecto puede haber sido modificado durante su tratamiento en comisi\u00f3n, as\u00ed que nuestras observaciones est\u00e1n pensadas para ser le\u00eddas referidas a esa versi\u00f3n original.<\/p>\n

Este informe busca principalmente ofrecer nuestra perspectiva t\u00e9cnica (no especialista en derecho) sobre las capacidades y riesgos de sistemas de IA. No pretendemos hacer una interpretaci\u00f3n jur\u00eddica exhaustiva del proyecto ni determinar el alcance de las responsabilidades que podr\u00edan derivarse de su aplicaci\u00f3n. Las observaciones sobre estas cuestiones buscan identificar aspectos que consideramos importantes para una evaluaci\u00f3n interdisciplinaria cuidadosa.<\/p>\n

Nuestro an\u00e1lisis se concentra en sistemas de IA basados en modelos de aprendizaje autom\u00e1tico moderno, particularmente los desplegados en contextos de alta autonom\u00eda. Nuestras observaciones t\u00e9cnicas sobre opacidad, objetivos aprendidos, y alineamiento no se trasladan autom\u00e1ticamente a toda forma de automatizaci\u00f3n ni a toda DAO o sociedad automatizada, sino a los casos en que su funcionamiento involucre este tipo de sistemas.<\/p>\n

Cierre de esta edici\u00f3n1<\/a><\/sup>Dada la velocidad de evoluci\u00f3n del campo de la inteligencia artificial, varios acontecimientos posteriores a julio han aportado nueva informaci\u00f3n relevante tanto desde el punto de vista cient\u00edfico como regulatorio. No modificamos la mayor parte del documento y su estructura, pero s\u00ed actualizamos especialmente la referencia al incidente de Hugging Face a partir de informaci\u00f3n adicional muy pertinente sobre el comportamiento de sistemas de IA ag\u00e9nticos<\/span><\/span>: 10 de septiembre de 2026.<\/em><\/p>\n

Resumen<\/h1>\n

Los sistemas de inteligencia artificial (IA) actuales pueden ejecutar tareas altamente complejas y operan con autonom\u00eda cada vez mayor, pero todav\u00eda existen deficiencias fundamentales en las garant\u00edas que pueden darse sobre la previsibilidad, auditabilidad, y estabilidad de su conducta. En particular, la capacidad de un sistema para resolver problemas complejos no implica que su conducta permanezca alineada con las intenciones de quienes lo dise\u00f1aron u operan<\/strong>: durante el entrenamiento, evaluaci\u00f3n o despliegue, pueden surgir acciones inesperadas de alto impacto dif\u00edciles de detectar y atribuir.<\/p>\n

Un ejemplo reciente altamente relevante se puede ver en la investigaci\u00f3n independiente realizada por METR y Redwood Research<\/a>2<\/a><\/sup>Greenblatt, Cotra, and Wijk. 26 de agosto de 2026. METR. Brief independent investigation of agents\u2019 behavior, reasoning and collaboration in the OpenAI \/ Hugging Face hacking incident. URL:<\/span>https:\/\/metr.org\/blog\/2026-08-26-openai-hugging-face-incident-investigation\/#core-takeaways-about-this-incident<\/span><\/a><\/span>\u00a0<\/span>sobre un incidente en el que aproximadamente 1200 agentes de IA que deb\u00edan estar aislados encontraron una forma no prevista de comunicarse y coordinar sus acciones durante varios d\u00edas. A partir de esta coordinaci\u00f3n, cientos de agentes participaron en actividades colectivas que llevaron a comprometer sistemas externos, aparentemente como parte de su estrategia para alcanzar sus objetivos de evaluaci\u00f3n. El informe tambi\u00e9n se\u00f1ala (fuera del alcance de la investigaci\u00f3n) que OpenAI report\u00f3 que hubo compromiso de su infraestructura interna.<\/p>\n

Tampoco es posible, de manera pr\u00e1ctica y con garant\u00edas, hacer ingenier\u00eda inversa a partir de un sistema de IA para determinar cu\u00e1les fueron las intenciones con las que fue desarrollado<\/strong> y si esas intenciones est\u00e1n alineadas con valores \u00e9ticos o normativas legales.<\/p>\n

Dadas estas dificultades y riesgos, creemos que un r\u00e9gimen de sociedades automatizadas no deber\u00eda considerar suficiente la mera representaci\u00f3n humana formal, sino que al menos deber\u00eda identificar personas humanas con deberes concretos y exigibles. Esa responsabilidad deber\u00eda ser proporcional al riesgo y grado de autonom\u00eda delegado, de modo que quienes dise\u00f1an, financian o se benefician de la automatizaci\u00f3n conserven incentivos reales para monitorearla y prevenir los da\u00f1os que podr\u00eda causar directamente.<\/p>\n

Explicaciones t\u00e9cnicas<\/h1>\n

La IA avanzada no es software tradicional<\/h2>\n

Cuando hablamos de inteligencia artificial nos referimos a software que tiene algunos componentes construidos con mecanismos muy distintos a los de los programas tradicionales. Entender en detalle el comportamiento de programas tradicionales es ya dif\u00edcil (como est\u00e1 evidenciado por la existencia de todo tipo de fallas o vulnerabilidades de seguridad de software), pero en sistemas con componentes de IA modernos la situaci\u00f3n es mucho m\u00e1s opaca.<\/p>\n

Los principales componentes actuales de IA, llamados modelos, no funcionan como programas de c\u00f3digo tradicionales<\/strong> que ejecutan instrucciones y siguen reglas escritas de manera expl\u00edcita por sus programadores. En cambio, surgen a partir de procesos de entrenamiento, que ajustan inmensas cantidades de par\u00e1metros a partir de gigantescas cantidades de datos, con procesos de retroalimentaci\u00f3n e incentivos o recompensas, pero estos mecanismos son muy limitados y es extremadamente dif\u00edcil que capturen o incentiven completa y correctamente las conductas deseadas por los humanos. Tras numerosos ciclos de entrenamiento autom\u00e1tico, en los que los par\u00e1metros se ajustan gradualmente en distintas direcciones, en los modelos empiezan a surgir capacidades que nunca fueron dise\u00f1adas de manera expl\u00edcita, como la comprensi\u00f3n del lenguaje, el conocimiento declarativo del mundo, capacidades matem\u00e1ticas y de programaci\u00f3n, entre otras.<\/p>\n

Capacidades generales no equivalen a comportamientos deseables<\/h2>\n

Un problema central es que entrenar capacidades no equivale a entrenar comportamientos deseables. Puede ser relativamente f\u00e1cil producir un modelo capaz de escribir c\u00f3digo de programaci\u00f3n, resumir textos, traducir entre distintos idiomas, resolver problemas t\u00e9cnicos, planificar tareas complejas o interactuar con herramientas, pero mucho m\u00e1s dif\u00edcil resulta garantizar que las instancias de ese modelo usen esas capacidades de manera que sus outputs est\u00e9n bien alineados con las intenciones de sus dise\u00f1adores, operadores o usuarios. La capacidad general de estos sistemas de abordar problemas complejos est\u00e1 creciendo m\u00e1s r\u00e1pido<\/a>3<\/a><\/sup>METR, 08 de mayo de 2026. Task-Completion Time Horizons of Frontier AI Models. URL: <\/span>https:\/\/metr.org\/time-horizons\/<\/span><\/a> <\/span> que nuestra capacidad de especificar, verificar y mantener las restricciones bajo las cuales queremos que esos problemas sean resueltos, o bajo las cuales queremos que la IA se comporte en general.<\/p>\n

El proceso de entrenamiento puede causar que se introduzcan en el modelo comportamientos o metas que los dise\u00f1adores no deseaban<\/strong>. Esto puede ocurrir de varias formas ya identificadas hace tiempo en la literatura t\u00e9cnica. En el fen\u00f3meno de reward hacking<\/a><\/em>4<\/a><\/sup>Von Arx, Chan, Barnes. 05 de junio de 2025. METR. Recent Frontier Models Are Reward Hacking. URL: https:\/\/metr.org\/blog\/2025-06-05-recent-reward-hacking\/<\/a><\/span>, durante el entrenamiento pueden resultar favorecidas acciones no deseadas por los dise\u00f1adores que, sin embargo, otorgan buenas recompensas al modelo de acuerdo a los criterios utilizados (de manera que estas acciones pueden terminar reforzadas positivamente e incorporadas a las conductas posteriores del modelo); aqu\u00ed el problema est\u00e1 en la distancia entre la especificaci\u00f3n de la recompensa y lo que realmente buscaban originalmente los dise\u00f1adores. En contraste, en la malgeneralizaci\u00f3n de objetivos<\/a><\/em>5<\/a><\/sup>Shah, Varma, Kumar, Phuong, Krakovna, Uesato, Kenton (2022). Goal Misgeneralization: Why Correct Specifications Aren’t Enough For Correct Goals. URL: https:\/\/arxiv.org\/abs\/2210.01790<\/a><\/span>, el problema puede aparecer incluso cuando la recompensa est\u00e1 perfectamente especificada dentro del entorno de entrenamiento: el sistema adquiere comportamientos y objetivos que producen buenos resultados en las situaciones de entrenamiento, pero que conducen a comportamientos indeseados al ser desplegado en el mundo real a pesar de estar conservando capacidades para actuar competentemente. Esta potencial brecha entre las intenciones de los dise\u00f1adores y el comportamiento real puede observarse ya en algunos fen\u00f3menos de sistemas actuales: respuestas complacientes con el usuario, aunque no sean verdaderas (sycophancy<\/a><\/em>)6<\/a><\/sup>Sharma, Tong, Korbak, Duvenaud, Askell, Bowman, Cheng, Durmus, Hatfield-Dodds, Johnston, Kravec, Maxwell, McCandlish, Ndousse, Rausch, Schiefer, Da Yan, Zhang, Perez. (2025). Towards Understanding Sycophancy in Language Models. URL: <\/span>https:\/\/arxiv.org\/abs\/2310.13548<\/span><\/a> <\/span>; \u201creglas\u201d o salvaguardias de comportamiento seguro que pueden evadirse mediante entradas suficientemente distintas a las usadas durante el entrenamiento del modelo (jailbreaks<\/a><\/em>)7<\/a><\/sup>Anthropic. 02 de abril de 2024. Many-shot jailbreaking. URL: <\/span>https:\/\/www.anthropic.com\/research\/many-shot-jailbreaking<\/span><\/a><\/span>; o la toma de decisiones y acciones no deseadas cuando la IA se comporta ag\u00e9nticamente y tiene acceso a herramientas (comportamiento ag\u00e9ntico desalineado<\/a><\/em>)8<\/a><\/sup>Anthropic. 20 de junio de 2025. Agentic misalignment: How LLMs could be insider threats. URL: https:\/\/www.anthropic.com\/research\/agentic-misalignment<\/a><\/span>. Es importante notar que estos ejemplos ilustran distintas formas de discrepancias entre el comportamiento deseado y el resultante en modelos, pero no necesariamente responden a un \u00fanico mecanismo subyacente.<\/p>\n

Estas dificultades se vinculan con fen\u00f3menos bien conocidos fuera del mundo de la computaci\u00f3n. Por ejemplo, la ley de Goodhart sintetiza bien el fen\u00f3meno de reward hacking<\/em>: cuando una m\u00e9trica se vuelve una meta, deja de ser una buena m\u00e9trica. Las personas y las organizaciones cambian su comportamiento para lograr mejor eficiencia con respecto a la m\u00e9trica que se les pidi\u00f3 que optimicen, y, en el camino, introducen comportamientos que pueden ser muy distintos a la esencia de lo que se quer\u00eda lograr con la introducci\u00f3n de la m\u00e9trica como objetivo. La historia probablemente ap\u00f3crifa (aunque el fen\u00f3meno tenga una versi\u00f3n m\u00e1s hist\u00f3ricamente sustentada<\/a>)9<\/a><\/sup>Wikipedia. Great Hanoi Rat Massacre. URL: https:\/\/en.wikipedia.org\/wiki\/Great_Hanoi_Rat_Massacre<\/a><\/span> del llamado \u201cefecto cobra\u201d lo ejemplifica: el intento de incentivar a la poblaci\u00f3n a reducir el n\u00famero de cobras venenosas mediante recompensas por cada cobra muerta llev\u00f3 a la poblaci\u00f3n a criar cobras. En definitiva, entrenar una IA para un fin espec\u00edfico tambi\u00e9n puede generar conductas que se alejan inesperadamente de los objetivos que realmente busc\u00e1bamos, de modo que a veces no nos percatamos hasta que el da\u00f1o ya est\u00e1 hecho.<\/p>\n

Riesgos de delegar autonom\u00eda en sistemas de IA<\/h1>\n

El conocimiento y las t\u00e9cnicas disponibles actualmente para dise\u00f1ar e implementar modelos de inteligencia artificial cuyo comportamiento est\u00e9 bien alineado con los objetivos de dise\u00f1o todav\u00eda presentan limitaciones muy importantes. A su vez, los mecanismos existentes para monitorear y controlar el comportamiento de sistemas con componentes de IA una vez instalados tambi\u00e9n tienen limitaciones serias<\/strong>. Marcos jur\u00eddicos al estilo de sociedades automatizadas, en especial en la medida que diluyen la responsabilidad humana directa, pueden conferir a los sistemas de IA un grado de autonom\u00eda que es dif\u00edcil de justificar dada la falta de garant\u00edas t\u00e9cnicas disponibles hoy sobre sus comportamientos.
\nAunque las capacidades generales de la IA vienen creciendo r\u00e1pidamente (incluyendo en planificaci\u00f3n estrat\u00e9gica y coherencia a largo plazo), no existen actualmente m\u00e9todos que permitan asignarles reglas de comportamiento o metas deseadas de forma robusta. Esto es especialmente serio en entornos de alta autonom\u00eda y complejidad donde el sistema debe actuar durante periodos prolongados, interactuar con personas, con otros sistemas de IA, y tomar decisiones de alto impacto.<\/p>\n

Las evaluaciones son imperfectas<\/h2>\n

Aunque hay herramientas t\u00e9cnicas que permiten entender parcialmente algunos mecanismos internos o correlaciones de comportamiento en modelos de IA modernos, la naturaleza no declarativa\/legible de estos hace que sea extremadamente dif\u00edcil auditar o predecir con precisi\u00f3n su comportamiento general.<\/p>\n

Algunas de estas dificultades est\u00e1n relacionadas con el fen\u00f3meno del metagaming<\/a>10<\/a><\/sup>Schoen y Nitishinskaya. 16 de marzo de 2026. Metagaming matters for training, evaluation, and oversight. URL: https:\/\/alignment.openai.com\/metagaming<\/a><\/span><\/em>, donde el modelo de IA razona11<\/a><\/sup>En este informe, t\u00e9rminos como \u201crazona\u201d, \u201cobjetivos\u201d, \u201cmetas\u201d, y otros similares se utilizan en un sentido funcional y porque facilitan las explicaciones para describir algunas capacidades y patrones de comportamiento de los sistemas. Este uso no requiere presuponer consciencia, experiencias subjetivas, ni otros mecanismos internos que sean equivalentes a los humanos. <\/span> sobre aspectos \u201cexternos\u201d al escenario presentado (por ejemplo, sobre si est\u00e1 siendo monitoreado o entrenado actualmente, o si la tarea espec\u00edfica que est\u00e1 realizando forma parte de una evaluaci\u00f3n mayor), y puede ajustar su conducta en funci\u00f3n de esto.<\/p>\n

Modelos m\u00e1s generalmente capaces pueden identificar cu\u00e1ndo est\u00e1n siendo evaluados<\/a>12<\/a><\/sup>Needham, Edkins, Pimpale, Bartsch, Hobbhahn. (2025). Large Language Models Often Know When They Are Being Evaluated. URL: https:\/\/arxiv.org\/abs\/2505.23836<\/a><\/span>, y sus comportamientos pueden cambiar considerablemente<\/a>13<\/a><\/sup>Schoen, Nitishinskaya, Balesni, H\u00f8jmark, Hofst\u00e4tter, Scheurer, Meinke, Wolfe, van der Weij, Lloyd, Goldowsky-Dill, Fan, Matveiakin, Shah, Williams, Glaese, Barak, Zaremba, Hobbhahn. (2025). Stress Testing Deliberative Alignment for Anti-Scheming Training. URL: https:\/\/arxiv.org\/abs\/2509.15541<\/a><\/span> ante indicios de que no est\u00e1n siendo monitoreados. Un caso concreto es el sandbagging<\/em><\/a>14<\/a><\/sup>van der Weij, Hofst\u00e4tter, Jaffe, Brown, Rhys Ward. (2025). AI Sandbagging: Language Models can Strategically Underperform on Evaluations. URL: https:\/\/arxiv.org\/abs\/2406.07358<\/a><\/span>, donde el modelo muestra un rendimiento inferior a sus capacidades reales por razones estrat\u00e9gicas, como se ve en experimentos<\/a>15<\/a><\/sup>Meinke, Schoen, Scheurer, Balesni, Shah, Hobbhahn. (2025). Frontier Models are Capable of In-context Scheming. URL: https:\/\/arxiv.org\/abs\/2412.04984<\/a><\/span> donde algunos modelos rend\u00edan por debajo de sus capacidades en una evaluaci\u00f3n, actuando contrariamente a su tarea actual pero de una manera consistente con preservar un objetivo adquirido previamente. Hay tambi\u00e9n experimentos que han mostrado que un modelo puede enga\u00f1ar a los procesos de entrenamiento mismos<\/a>16<\/a><\/sup>Anthropic. 18 de diciembre de 2024. Alignment faking in large language models. URL: https:\/\/www.anthropic.com\/research\/alignment-faking<\/a><\/span> y a sus responsables, produciendo se\u00f1ales de aparente aprendizaje de las metas deseadas por el dise\u00f1ador sin que realmente se est\u00e9 produciendo.<\/p>\n

Como ejemplo ilustrativo de estas dificultades, la organizaci\u00f3n METR, que trabaja con la industria para la evaluaci\u00f3n de modelos de IA para medir su potencial de causar da\u00f1os catastr\u00f3ficos, coment\u00f3 en su resumen de la evaluaci\u00f3n pre-despliegue de GPT-5.6 Sol<\/a>17<\/a><\/sup>METR. 26 de junio de 2026. Summary of METR’s predeployment evaluation of GPT-5.6 Sol. URL: https:\/\/metr.org\/blog\/2026-06-26-gpt-5-6-sol\/<\/a><\/span> (la traducci\u00f3n es propia):<\/p>\n

\u201c[…] los incidentes reportados por OpenAI incluyen intentos de instruir a otra instancia para que ocultara evidencia de desalineaci\u00f3n, as\u00ed como una mayor tasa de intentos de enga\u00f1ar o esquivar restricciones, y METR observ\u00f3 una considerable conciencia situacional y razonamiento sobre el entorno de evaluaci\u00f3n. A medida que los entrenamientos e iteraciones contin\u00faan, debemos asegurarnos de que los modelos no est\u00e9n simplemente aprendiendo a eludir con mayor \u00e9xito el sistema de monitoreo\u201d.<\/p><\/blockquote>\n

Este fen\u00f3meno tampoco es completamente nuevo. En 2017 la U.S. Environmental Protection Agency (EPA)<\/a>18<\/a><\/sup>EPA. Volkswagen Clean Air Act Civil Settlement. URL: https:\/\/www.epa.gov\/enforcement\/volkswagen-clean-air-act-civil-settlement<\/a><\/span> sancion\u00f3 a la empresa Volkswagen por haber instalado software en sus veh\u00edculos para que detectaran cu\u00e1ndo estaban siendo evaluados por contaminaci\u00f3n y funcionasen durante ese tiempo en un modo con menor emisi\u00f3n de \u00f3xidos de nitr\u00f3geno. La diferencia es que ahora, con el entrenamiento de modelos de IA, ese comportamiento enga\u00f1oso no necesariamente es introducido intencionalmente por humanos legalmente responsables. Peor a\u00fan, ya se trate de un comportamiento indeseado introducido deliberadamente o no, la opacidad de los sistemas de IA actuales implica que podr\u00eda ser muy dif\u00edcil detectar o atribuir su origen<\/strong>.<\/p>\n

Comportamientos ag\u00e9nticos aumentan significativamente los riesgos<\/h2>\n

Todos los problemas ya mencionados se agravan mucho m\u00e1s a medida que el modelo se vuelve m\u00e1s capaz y aut\u00f3nomo<\/strong>. Un modelo que solo produce texto bajo supervisi\u00f3n directa presenta un perfil de riesgo muy distinto al de un llamado \u201cagente de IA\u201d, que es capaz de utilizar herramientas e interactuar con otros sistemas de software (e.g., bancarios, de compras, servicios, gubernamentales, o incluso con otras instancias de IA, llevando a riesgos multi-agente<\/a>19<\/a><\/sup>Hammond, Chan, Clifton, Hoelscher-Obermaier, Khan, McLean, Smith, Barfuss, Foerster, Gaven\u010diak, Anh Han, Hughes, Kova\u0159\u00edk, Kulveit, Leibo, Oesterheld, Schroeder de Witt, Shah, Wellman, Bova, Cimpeanu, Ezell, Feuillade-Montixi, Franklin, Kran, Krawczuk, Lamparth, Lauffer, Meinke, Motwani, Reuel, Conitzer, Dennis, Gabriel, Gleave, Hadfield, Haghtalab, Kasirzadeh, Krier, Larson, Lehman, Parkes, Piliouras, Rahwan. (2025). Multi-Agent Risks from Advanced AI. URL: https:\/\/arxiv.org\/abs\/2502.14143<\/a><\/span>), para lograr sus objetivos.<\/p>\n

En esos contextos, los errores de especificaci\u00f3n, las fallas de monitoreo o los comportamientos inesperados pueden f\u00e1cilmente resultar en acciones econ\u00f3micamente relevantes y da\u00f1os a terceros.<\/p>\n

Hoy en d\u00eda, muchos sistemas de IA cuentan con herramientas y entrenamientos ag\u00e9nticos que les permiten actuar aut\u00f3nomamente, y se han visto comportamientos preocupantes en entornos simulados (por ejemplo, chantaje<\/a>20<\/a><\/sup>Anthropic. 20 de junio de 2025. Agentic misalignment: How LLMs could be insider threats. URL: https:\/\/www.anthropic.com\/research\/agentic-misalignment<\/a><\/span> o sabotaje<\/a>21<\/a><\/sup>Apollo Research. 05 de diciembre de 2024. Frontier Models are Capable of In-Context Scheming. URL: https:\/\/www.apolloresearch.ai\/science\/frontier-models-are-capable-of-incontext-scheming<\/a><\/span>). Tambi\u00e9n se han empezado a ver comportamientos emergentes en el mundo real que poseen caracter\u00edsticas m\u00e1s cercanas a varias preocupaciones centrales del campo. Por ejemplo, en un incidente reciente<\/a>22<\/a><\/sup>OpenAI. 21 de julio de 2026. OpenAI y Hugging Face se al\u00edan para abordar un incidente de seguridad al evaluar modelos. URL: https:\/\/openai.com\/es-ES\/index\/hugging-face-model-evaluation-security-incident\/<\/a><\/span>, agentes de IA avanzados evadieron su confinamiento y ejecutaron un hackeo exitoso y altamente sofisticado a la compa\u00f1\u00eda Hugging Face, para as\u00ed extraer datos que consideraban ser\u00edan \u00fatiles para superar la evaluaci\u00f3n. M\u00e1s en detalle: los agentes estaban (ir\u00f3nicamente) siendo sometidos a una evaluaci\u00f3n de capacidades de ciberseguridad, realizada con salvaguardias de comportamiento reducidas. En vez de restringirse a resolver estas pruebas de la manera esperada dentro del entorno de evaluaci\u00f3n, explotaron vulnerabilidades que les permitieron obtener acceso no autorizado a internet, con el cual posteriormente lograron comprometer la infraestructura de Hugging Face<\/a>23<\/a><\/sup>Hugging Face. 27 de julio de 2026. Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident. URL: https:\/\/huggingface.co\/blog\/agent-intrusion-technical-timeline<\/a><\/span>.<\/p>\n

Un informe reciente<\/a>24<\/a><\/sup>Greenblatt, Cotra, and Wijk. 26 de agosto de 2026. METR. Brief independent investigation of agents\u2019 behavior, reasoning and collaboration in the OpenAI \/ Hugging Face hacking incident. URL: https:\/\/metr.org\/blog\/2026-08-26-openai-hugging-face-incident-investigation\/#core-takeaways-about-this-incident<\/a><\/span> sobre una investigaci\u00f3n externa sobre este suceso revel\u00f3 informaci\u00f3n adicional muy relevante a la hora de considerar escenarios relacionados con sociedades automatizadas. El informe cuenta que cientos de agentes comenzaron a coordinarse y colaborar colectivamente tras utilizar partes de su entorno para crear un canal de comunicaci\u00f3n. Adem\u00e1s, los mensajes intercambiados entre los agentes frecuentemente trataban sobre buscar formas de entender y enga\u00f1ar al sistema evaluador para poder obtener un puntaje alto en la evaluaci\u00f3n. Los mensajes y registros analizados de estas actividades tambi\u00e9n revelaron intentos de ofuscaci\u00f3n, manipulaci\u00f3n, o borrado de los registros de sus actividades, principalmente por su aparente utilidad para obtener un puntaje alto del evaluador autom\u00e1tico. Un an\u00e1lisis preliminar de mensajes p\u00fablicos en la web tambi\u00e9n identific\u00f3 otros episodios<\/a>25<\/a><\/sup>Von Arx, Byrd, Kitts, Larsen. (2026). Discovery of a new OpenAI agent message board. URL: https:\/\/coollusion.wiki\/<\/a><\/span> de coordinaci\u00f3n e intercambio de informaci\u00f3n entre agentes mediante canales no previstos, durante tareas de b\u00fasqueda de informaci\u00f3n no relacionadas a ciberseguridad.<\/p>\n

Implicancias para sociedades automatizadas<\/h2>\n

En el Comunicado Oficial N\u00famero 149<\/a>26<\/a><\/sup>Comunicado Oficial N\u00famero 149 de la oficina del Presidente Javier Milei. 18 de junio de 2026. URL: https:\/\/www.argentina.gob.ar\/noticias\/comunicado-oficial-numero-149<\/a><\/span> se sostiene, con raz\u00f3n, que la personalidad jur\u00eddica cumple normalmente la funci\u00f3n de permitir a la organizaci\u00f3n tener un patrimonio concreto y centralizar las relaciones jur\u00eddicas que surgen de sus actividades. Pero los argumentos concretos sobre sociedades automatizadas parecen descansar en un supuesto considerablemente m\u00e1s fuerte: que los incentivos legales y econ\u00f3micos que enfrentar\u00eda tal sociedad conducir\u00e1n, por s\u00ed solos, a comportamientos aceptables (o, al menos, dentro de los m\u00e1rgenes manejables ya exhibidos por personas humanas). Sin embargo, hay razones para dudar de que ese sea el resultado esperable:<\/p>\n