Cómo afrontar los desafíos de seguridad exclusivos de la IA generativa

La IA generativa (GenAI) irrumpió en la conciencia pública a finales de 2022. En abril de 2024, el 17% de las organizaciones ya había introducido aplicaciones de GenAI en producción, y otro 38% había realizado inversiones significativas. IDC predice que para 2026, el 40% de las nuevas aplicaciones serán inteligentes, incorporando IA para mejorar las experiencias de los usuarios y crear nuevos casos de uso.

Deseo de eficiencia frente a mayor riesgo

Existe un deseo creciente en todas las industrias de aprovechar la IA para mejorar la eficiencia y la productividad de las organizaciones. La GenAI puede mejorar los procesos de ciberseguridad, como la detección automatizada de amenazas, la revisión de código y las pruebas de seguridad. Sin embargo, la misma tecnología presenta desafíos de seguridad únicos que los métodos tradicionales luchan por abordar.

Los modelos GenAI funcionan como cajas negras y exhiben un comportamiento altamente dinámico. Las herramientas de seguridad tradicionales a menudo se basan en la comprensión de la lógica de la aplicación para detectar anomalías o vulnerabilidades, lo cual es un desafío con modelos de IA opacos.

Las aplicaciones de GenAI tienen una cadena de suministro que proteger y vulnerabilidades distintas. Debido a su dependencia de grandes fuentes de datos, modelos preentrenados, bibliotecas y componentes que a menudo son imposibles de rastrear, las organizaciones deben adoptar un nuevo paradigma para mitigar los riesgos introducidos por los sistemas impulsados por IA. Los conjuntos de datos comprometidos, la manipulación de modelos y los ataques de puerta trasera a través de componentes de código abierto son solo algunos ejemplos de vulnerabilidades comunes a la IA generativa.

Con su gran dependencia de grandes conjuntos de datos, a menudo confidenciales, para el entrenamiento, las aplicaciones de GenAI se convertirán en objetivos principales para las violaciones de datos. Los atacantes cibernéticos están explotando vulnerabilidades específicas de los modelos de IA, como el envenenamiento de datos y los ataques adversarios, lo que deja claro que la IA es tanto una herramienta de defensa como un objetivo de explotación.

Proteger la IA al tiempo que se aprovecha su potencia

Las organizaciones deben implementar herramientas de seguridad diseñadas específicamente para abordar las vulnerabilidades únicas de las aplicaciones de GenAI. Estas herramientas deben identificar patrones de código que permitan que las entradas maliciosas exploten los comportamientos del modelo de IA y también deben ser capaces de reconocer y comprender bibliotecas y marcos de IA y ML como TensorFlow y PyTorch. Además, es crucial cumplir con los estándares y regulaciones de la industria relacionados con la IA, proporcionando pistas de auditoría y documentación.

¿Quiere profundizar en cómo la GenAI está remodelando la seguridad de las aplicaciones? Regístrese al webinar “Los peligros y las promesas de la IA generativa en la seguridad de las aplicaciones con IDC”, que se celebrará el 6 de noviembre, donde, de la mano de expertos de IDC y OpenText™, aprenderá exactamente cómo proteger a su organización de las vulnerabilidades únicas que plantea GenAI.

Descubre la ventaja de la información

OpenText, The Information Company™, permite a las organizaciones obtener información a través de soluciones de gestión de la información líderes en el mercado, impulsadas por OpenText Cloud Editions. OpenText potencia y protege la información para aumentar la ventaja competitiva de cada organización. Tras la reciente adquisición de Micro Focus, OpenText ofrece a los clientes una cartera ampliada de soluciones en contenido, red empresarial, experiencia digital, seguridad, análisis e IA, modernización de aplicaciones, gestión de operaciones y API para desarrolladores. Las soluciones de OpenText y su equipo de 25.000 expertos en gestión de la información en todo el mundo ayudan a los clientes a simplificar sus sistemas, conectar sus datos, construir una automatización sin fricciones y prosperar en un mundo multicloud. En julio 2023 OpenText ha lanzado "opentext.ai", un nuevo enfoque estratégico para impulsar a los clientes a resolver problemas complejos mediante la aplicación de Inteligencia Artificial (IA) y Grandes Modelos de Lenguaje (LLM) con el software de Gestión de la Información de OpenText.