Noticias

Amenazas Inteligencia Artificial Generativa

Los Modelos de Lenguaje de Gran Escala (LLMs) están revolucionando la forma en que interactuamos con la tecnología. Esta realidad introduce un nuevo conjunto de vulnerabilidades de ciberseguridad para las que Check Point® Software Technologies Ltd. (NASDAQ: CHKP), recomienda abordar desde un conjunto exclusivo de medidas de Zero Trust.

Las tres principales amenazas que enfrenta la adopción segura de la Inteligencia Artificial Generativa están relacionadas con la fuga de datos sensibles, la inyección de prompts y el control de acceso:

Fuga de datos sensibles: ¿puede tu IA guardar un secreto?

Los modelos pueden ajustarse o mejorarse con el acceso a los datos, para lograr mejores resultados del dominio. En un estudio, unos investigadores utilizaron el mecanismo de ajuste de ChatGPT para extraer nombres y direcciones de correo electrónico de más de 30 empleados del New York Times. Este ejemplo muestra cómo los datos sensibles utilizados para el preentrenamiento o el ajuste fino de un LLM pueden filtrarse y crear riesgos regulatorios.

Inyección de prompt – cuando contratas a Harry Potter

Los ciberdelincuentes se aprovechan de las capacidades de los LLM y crean entradas para manipular el su comportamiento y convertirlo en dañino, ya sea directa o indirectamente. Las solicitudes pueden ser inyectadas directamente por un atacante o indirectamente por un usuario ajeno a la utilización de una aplicación basada en LLM para su caso de uso establecido.  Check Point Software destaca que existen cuatro tipos de inyecciones de prompt:

• Inyección directa de prompts: involucra a los ciberdelincuentes que introduzcan prompts específicos para cambiar el comportamiento o la salida del LLM de manera perjudicial. Un atacante puede ordenar directamente a un LLM para que actúe de forma poco ética, para filtrar información sensible o causar que el modelo ejecute código malicioso.
• Inyección indirecta de prompts: es más sutil e implica la manipulación de las fuentes de datos que utiliza el LLM, lo que la hace mucho más peligrosa y difícil de detectar en entornos organizativos.
• Inyecciones multimodales: permiten que los LLM reciban formatos como imágenes, vídeos y sonidos con instrucciones ocultas mezcladas en la entrada de medios para alterar el comportamiento del bot de la aplicación, haciéndolo chatear como Harry Potter.
• Ataques de denegación de servicio (DoS): también pueden perpetrarse mediante inyecciones de prompts, lo que lleva a operaciones pesadas en LLM hasta el punto de sobrecarga y a la degradación del servicio o altos costes.

Los modelos de IA generativa se someten a un entrenamiento exhaustivo, que a menudo abarcan la mayor parte del contenido de Internet. En el robo de datos, los atacantes pueden comprometer la seguridad manipulando tan solo el 0.01%. Dado que no pueden configurarse a ciegas, la integridad y seguridad de los datos no pueden considerarse válidos.

Control de acceso – bienvenido al Salvaje Oeste

Un número creciente de empresas está integrando el LLM en aplicaciones de múltiples componentes o «agentes». Estas integraciones mejoran el LLM con capacidades como acceso a Internet, recuperación de recursos corporativos y realización de diversas acciones sobre ellos. Especialmente, el reciente lanzamiento de la tienda de complementos de OpenAI facilita el acceso generalizado a las extensiones de LLM.

La obtención de datos en tiempo real de Internet a través de ChatGPT puede ser muy valiosa para los usuarios, ya que proporcionan mejores respuestas a las consultas basadas en información actualizada. Sin embargo, ampliar los LLMpara acceder a Internet supone un gran desafío. En ejemplos recientes, la inserción de instrucciones maliciosas en URL causó que el chat de Bing persuadiera a los consumidores para que visitaran un sitio web malicioso o revelaran información sensible que se envió a un servidor externo.

Zero Trust AI Access para una adopción segura de GenAI

La productividad conlleva un riesgo exponencial. Un enfoque de acceso de Zero Trust IA propone considerar las aplicaciones integradas con LLM como entidades que necesitan políticas de control de acceso estrictas, protección de datos y prevención de amenazas, creando una línea de defensa más rigurosa de la que se necesitaría para asegurar al empleado promedio.