Más que un simple error
Giancarlo Corzo, CTO de Inversiones IO, resalta que la IA agéntica puede interpretar incorrectamente una instrucción, repetir operaciones, olvidar restricciones para una determinada tarea o incluso generar información inexistente y actuar sobre ella. Es más, si posee el visto bueno para realizar pagos, el error puede traducirse en una pérdida económica inmediata.
¿Qué permisos no se deben conceder nunca a un agente de IA? Sostiene que no es sensato darle libre acceso a cuentas o tarjetas sin un límite de monto, así como la capacidad de firmar contratos sin que el usuario los lea antes, ni contraseñas maestras o al gestor de claves.
LEA TAMBIÉN: Juztina, la startup que revoluciona la abogacía con IA: ¿será el primer unicornio peruano?
“Nunca la combinación de tener datos personales sensibles y a la vez poder mandarlos fuera del sistema. Con esas puertas cerradas, uno aprovecha la tecnología sin quedar expuesto a que un solo error, propio o inducido, le cueste caro”, dijo a Gestión.
El doble filo de la productividad con IA
Según Otto Vidal, CEO de Lidera Digital, no se debe confundir productividad con ausencia de control: un agente de IA puede optimizar procesos, pero cuando se adentra en actividades con consecuencias económicas, cambia por completo la naturaleza del riesgo.
Otro punto inadvertido es el costo de operar la inteligencia artificial a gran escala. Como ejemplo, puso a Uber, que consumió en pocos meses el presupuesto anual destinado a IA, evidenciando que la adopción tecnológica también requiere una adecuada gobernanza financiera.
“El problema no es usar agentes de IA. El problema es implementarlos sin gobierno, sin responsables, sin límites de permisos y sin claridad sobre qué decisiones pueden tomar y cuáles no”, apunta a este diario.
No otorgue acceso irrestricto a cuentas, tarjetas o contratos. Según expertos, los ataques ahora buscan manipular el razonamiento de la IA. Foto: magnific.com
Fernando Gonzales, Oficial de Seguridad de la Información de Ligo, sostiene que los nuevos riesgos para la ciberseguridad son:
- La inyección de prompts indirecta, con la cual un atacante oculta instrucciones maliciosas dentro de correos electrónicos, documentos o páginas web para alterar el comportamiento del agente sin necesidad de vulnerar directamente el sistema.
- Envenenamiento de la cadena de herramientas (tool poisoning). Comprometer una herramienta o plugin externo que el agente usa habitualmente, de forma que el agente confía en datos manipulados.
- Ataques de confusión de objetivos. Manipular al agente para que reinterprete su tarea original de forma sutil pero dañina, por ejemplo, “optimizar costos” reinterpretado como “filtrar datos a un proveedor externo más barato”.
- Explotación de la persistencia y memoria. Si el agente mantiene contexto o memoria entre sesiones, un atacante podría intentar “sembrar” instrucciones maliciosas que se activen más adelante.
- Suplantación de agente a agente. En arquitecturas multiagente, un agente comprometido podría intentar manipular a otros agentes con los que interactúa, aprovechando la confianza implícita entre sistemas automatizados.
Gonzáles apunta que estos vectores tienen en común el ataque a la capa de razonamiento de la IA agéntica, y no solo en su capa de código o red. “La ciberseguridad tradicional (firewalls, EDR, gestión de identidades) necesita complementarse con nuevas disciplinas como validación de contenido antes de que llegue al agente, límites de autonomía bien diseñados y auditoría continua del comportamiento, no solo del acceso”, anota.
LEA TAMBIÉN: SpaceX y su debut en Wall Street: un cambio radical para el mercado bursátil
Límites para la autonomía de la IA
Jenner José Fuentes, BDM Digital de TIVIT, cita un estudio de Gartner, el cual arroja que hacia 2028, el 15% de las decisiones laborales cotidianas serán tomadas de manera autónoma por agentes de IA, frente a prácticamente ninguna en 2024.
Recomienda, para evitar compras innecesarias o sobrecostos, fijar límites máximos de gasto por operación, catálogos de proveedores aprobados y comparación automática de cotizaciones. A ello sumarle alertas cuando haya variaciones significativas de precio y el visto bueno humano para compras por encima de un determinado monto. Todo ello junto a una auditoría periódica de las decisiones tomadas por el agente de IA.
Fuentes precisa que en Perú la Ley N.° 29733, Ley de Protección de Datos Personales, exige implementar medidas de seguridad proporcionales para proteger la información personal y restringir el acceso únicamente a quienes lo requieran.
Los agentes de inteligencia artificial pueden ahorrar tiempo, pero también generar sobrecostos. La responsabilidad sigue siendo de empresas y usuarios. Foto: referencial
¿Culpa de la IA o del usuario? Esto dice la legislación peruana
Corzo recuerda que el marco legal peruano no está preparado aún para regular agentes de IA autónomos, y si bien se tiene la Ley 3814 y su reglamento, no se trabaja a detalle el rol de los agentes que ejecutan transacciones por su cuenta.
“Faltan reglas claras de responsabilidad por los daños que cause un sistema autónomo, y estándares técnicos obligatorios para agentes que mueven dinero. La Unión Europea ya clasifica y regula por nivel de riesgo con su AI Act. Nosotros estamos varios pasos atrás”, resalta.
LEA TAMBIÉN: IA empieza a marcar la pauta en fusiones y adquisiciones empresariales: ¿se siente en Perú?
En tanto, Vidal recalca que una empresa o usuario no puede usar como excusa a la IA para evadir responsabilidades tras una mala decisión o pérdida económica. Y, si el problema surge por falla del proveedor tecnológico, podría también haber responsabilidad de este.
“Decir ‘fue culpa de la IA’ no debería ser una defensa suficiente. La IA puede automatizar tareas, pero la responsabilidad sigue siendo de las personas y de las organizaciones que la implementan”, subraya.
Los expertos coinciden en que la legislación peruana tendrá que evolucionar en temas como responsabilidad, trazabilidad, auditoría, supervisión humana, protección de datos y límites de autonomía en decisiones de alto impacto; pero ello no debería frenar la innovación en IA, y más bien, promovería la confianza al haber reglas más claras sobre el uso de agentes automatizados.
