La IA agéntica necesita gobernanza para escalar de forma segura

Por Octavian Tanase, Chief Product Officer (CPO), Hitachi Vantara.

Las empresas avanzan rápidamente en el despliegue de sistemas de IA agéntica y autónoma, y más del 60% de las organizaciones espera utilizar agentes de IA en los próximos dos años, según una investigación de Gartner.

El impulso está motivado por el potencial de automatizar flujos de trabajo complejos, aumentar la productividad y pasar de los insights generados por IA a la acción autónoma. La velocidad de adopción y el tiempo de implementación se están convirtiendo, por sí mismos, en factores diferenciadores de competitividad.

Si no se toma el tren correcto en el momento adecuado, todo aquello que una empresa esté desarrollando con tecnología de IA podría convertirse en un estándar básico o, peor aún, en una noticia del pasado cuando finalmente llegue a destino.

A medida que los sistemas de IA obtienen un mayor acceso a los datos empresariales y adquieren la capacidad de tomar decisiones y ejecutar acciones de manera autónoma, las empresas deben comprender y abordar los mayores riesgos que esto implica.

Sin las salvaguardas adecuadas, la automatización puede escalar los errores, exponer datos sensibles y propagar problemas con mayor rapidez. Esto no significa que la respuesta sea ralentizar la adopción; significa que, para tener éxito, las empresas deben incorporar la gobernanza, la protección de datos y la ciberresiliencia en sus estrategias de IA empresarial desde el principio.

Cambiando las reglas del juego y multiplicando el riesgo

Todos hablan de cómo la automatización ayuda a escalar. Pero las mismas capacidades de IA que permiten a las empresas automatizar a gran escala también incrementan sus riesgos y los de sus grupos de interés.

La IA facilita que atacantes, defraudadores y otros actores maliciosos repliquen exploits y causen un mayor daño. Una automatización defectuosa, debido a la deriva del modelo u otros problemas que muchas veces pasan inadvertidos, puede amplificar los errores a escala. Esto representa un problema real cuando la IA forma parte de los sistemas de TI empresariales, pero puede resultar aún más catastrófico en el mundo físico.

La preocupación ya no pertenece a la ciencia ficción. ¿Recuerdan a los nefastos droides de Star Wars? La idea de un ejército de droides no parece tan descabellada si se considera que, según Morgan Stanley Research, el número de robots humanoides podría superar los 1.000 millones para 2050. Esto significa que el riesgo de que la IA física termine siendo corrompida por el lado oscuro es una preocupación legítima.

Las consecuencias de comprometer sistemas de IA física podrían adoptar muchas formas. Un ataque contra un vehículo autónomo podría hacer que un automóvil o camión desacelerara cuando debería acelerar, provocando potencialmente un accidente. La manipulación de robots encargados de clasificar y empaquetar productos podría hacer que colocaran medicamentos en envases etiquetados como otros productos farmacéuticos, generando una emergencia de salud pública.

Sin embargo, como explicó un reciente artículo del MIT publicado por el Foro Económico Mundial que destacó estos escenarios, “la asignación actual de fondos no refleja la magnitud de los riesgos”.

A medida que el ransomware y otras formas de ciberataque han evolucionado hasta convertirse en ecosistemas altamente sofisticados, potenciados por nuevas herramientas de IA, los organismos reguladores en el mundo están tomando nota.

La ciberresiliencia está adquiriendo una nueva importancia ante el aumento de los riesgos asociados a la IA y la aparición de nuevas regulaciones.

Habilitar la explicabilidad, la visibilidad y la gobernanza

A medida que empresas y gobiernos, incluidos los operadores de nubes soberanas, se preocupan cada vez más por controlar los datos en los que se basa la IA, muchas organizaciones están incorporando grandes modelos de lenguaje (LLM) previamente entrenados a entornos empresariales controlados. En estos espacios, los datos sensibles pueden estar sujetos a una gobernanza más estricta, mientras los modelos pueden ajustarse con información nueva y propia para posteriormente ser utilizados en procesos de consumo e inferencia.

Pero incluso si una empresa incorpora un LLM a su entorno, ¿cómo puede saber si está utilizando datos adecuados sobre los que tiene los derechos necesarios? ¿Y cómo puede estar segura de que cumple con las normas aplicables?

Algunas organizaciones están incorporando este tipo de visibilidad directamente en su infraestructura de datos. Realizan un seguimiento de los datos almacenados y recuperados a través de bases de datos vectoriales y rastrean su propiedad a lo largo del tiempo, lo que funciona esencialmente como una caja negra o registrador de vuelo que permite conocer cómo se entrenó y ajustó un modelo.

Esta visibilidad permite verificar si las fuentes de datos son válidas y realizar auditorías internas para garantizar que los sistemas de IA estén gobernados de acuerdo con las políticas de la empresa y las regulaciones gubernamentales.

Si un sistema de IA actúa de forma autónoma, influye en una decisión crediticia, realiza una predicción o recomienda una acción empresarial, sus respuestas y acciones deben ser precisas. Pero las organizaciones también necesitan saber por qué el sistema llegó a determinada respuesta, qué datos influyeron en ella y cómo esos datos son gobernados y utilizados. Esto requiere explicabilidad, visibilidad y gobernanza de los datos.

Extender la ciberseguridad y combatir la IA con IA

El aumento de los riesgos asociados a la IA, y de los requisitos regulatorios, ofrece a los responsables de seguridad y de la toma de decisiones empresariales nuevos incentivos para garantizar que la seguridad sea una capacidad intrínseca.

Al extender la ciberseguridad hacia las capas de datos e infraestructura, las organizaciones pueden beneficiarse de la capacidad de detectar rápidamente actividades anómalas y contener posibles problemas antes de que se propaguen.

El uso de IA en las etapas de protección, detección y recuperación fortalece las defensas empresariales. Imaginemos que un actor malicioso intenta acceder a un volumen de datos o corromperlo. Contar con una infraestructura de datos capaz de detectar esa anomalía y, ya sea, limitar la interacción del atacante con esos datos, desconectarlos, detener su replicación o generar snapshots puede reducir significativamente el riesgo.

Dado que los actores maliciosos están utilizando todas las herramientas a su alcance para penetrar las defensas empresariales, las organizaciones deben asumir que ya han sido comprometidas o que lo serán próximamente.

Para limitar los daños, las empresas deberían adoptar arquitecturas de confianza cero (zero trust), que nunca confían y siempre verifican. Este principio también debería extenderse a los agentes de IA.

Acelerar la restauración de datos con protección de datos moderna

Los datos están en el centro de las empresas modernas. Cuando son eliminados o quedan secuestrados, los procesos de negocio pueden detenerse. Esto puede generar interrupciones operativas y, a su vez, problemas legales y regulatorios, pérdida de clientes e ingresos y daños reputacionales. La gravedad de estos problemas depende de qué datos fueron eliminados y cuánto tiempo se necesita para recuperar la información perdida.

Restaurar datos eliminados después de un incidente cibernético o de un desastre, como un terremoto, una inundación o un incendio, solía ser un proceso largo y manual. Pero ahora es posible recuperar los datos en cuestión de minutos.

Una infraestructura de datos diseñada teniendo en cuenta la resiliencia, incluidos snapshots inmutables y detección de anomalías, puede marcar una diferencia cuando ocurre un ataque.

Cambiar la conversación: de la velocidad y el rendimiento a los datos que impulsan la IA

Hasta ahora, gran parte de la conversación sobre IA ha girado en torno a las capacidades de los modelos y la velocidad de las GPU. Ahora, a medida que las empresas buscan escalar la IA, necesitan concentrarse en los datos.

Esto incluye comprender de dónde provienen los datos, hacia dónde van y hacia dónde no deberían ir, y cómo protegerlos y recuperarlos.

Las organizaciones que logren escalar con éxito la IA agéntica serán aquellas que combinen una mayor autonomía con niveles igualmente sólidos de gobernanza, visibilidad y resiliencia.