Informe de seguridad de IA del NIST: 3 conclusiones clave para los profesionales de la tecnología

Particularmente interesado en la inteligencia artificial y la IA creativa. continúa creciendo Esto se debe a que plataformas como ChatGPT de OpenAI y Google Bard apuntan a revolucionar las industrias. muchos en los próximos años Último informe de empresa de investigación IDC Se descubrió que el gasto generativo en IA alcanzará los 19 mil millones de dólares en 2023. Se espera que el gasto en IA se duplique este año y alcance los 151 mil millones de dólares en 2027.

Para profesionales de la tecnología que quieran aprovechar Oportunidades profesionales lucrativas que ofrece este campo en desarrollo., Es importante comprender cómo funcionan estos modelos de IA. Sin embargo, la mayoría de estas discusiones se centran en cómo estas plataformas pueden automatizar procesos manuales y mejorar las operaciones. Pero existe una preocupación creciente sobre cómo se puede corromper y manipular la IA… ¿Y por qué es tan importante conocer los distintos aspectos? de estas tecnologías también

Para arrojar más luz sobre estas cuestiones. El Instituto Nacional de Estándares y Tecnología (NIST) ha publicado un nuevo informe titulado «Aprendizaje automático adversario: taxonomía y terminología de ataques y mitigación.«, que profundiza en los problemas de seguridad y privacidad que las organizaciones pueden enfrentar al implementar tecnologías de inteligencia artificial y aprendizaje automático (ML). El documento detalla una serie de preocupaciones de seguridad preocupantes. Esto incluye situaciones como datos corruptos o manipulados utilizados para entrenar modelos de lenguaje grandes. (también conocido como «envenenamiento») vulnerabilidades en la cadena de suministro y violaciones que involucren información personal o corporativa.

“A pesar de los enormes avances en IA y aprendizaje automático (ML),

Muchos dominios de aplicaciones diferentes Estas tecnologías también son vulnerables a ataques que podrían provocar fallos catastróficos con consecuencias catastróficas”, advierte el informe del NIST en su introducción.

Aunque el informe del NIST fue escrito principalmente para desarrolladores de IA, otros expertos en tecnología y ciberseguridad también Se beneficiarán al leer el documento e integrar las lecciones en su conjunto de habilidades. Esto es especialmente cierto a medida que la IA se convierte en una parte cada vez más importante de nuestras responsabilidades diarias.

“Comprender el panorama de amenazas en evolución y las técnicas que utilizan los adversarios para manipular la IA es clave y fundamental para que los defensores prueben estos casos de uso con sus propios modelos. para proteger eficazmente sus sistemas de IA y para proteger contra ataques impulsados ​​por IA”, dijo Nicole Carignan, vicepresidenta de IA cibernética estratégica en la firma de seguridad Darktrace.

El informe del NIST ofrece orientación sobre cómo los profesionales de la tecnología deberían utilizar la IA, lo que puede hacerlos más valiosos para los empleadores actuales o potenciales. Varios expertos en seguridad y expertos de la industria ofrecieron sus opiniones sobre tres conclusiones clave del documento.

La seguridad de la IA es importante ahora

El artículo del NIST describe varios problemas de seguridad importantes en los que la IA y la tecnología de IA en general están en riesgo. Ya sea por parte de actores maliciosos o por el uso de datos incorrectos para programar modelos.

en Cuatro amenazas principales identificadas por el NIST juntos:

  • Ataque evasivo: Esta técnica está diseñada para crear contenido o código malicioso después de implementar un modelo de IA.
  • Ataque de veneno: Esta técnica utiliza datos corruptos o maliciosos para dañar o envenenar el modelo antes de su uso.
  • Ataques a la privacidad: Estos incidentes implican la recopilación de datos personales o empresariales confidenciales aprovechando las debilidades del modelo.
  • Ataques de abuso: En esta situación Insertar información incorrecta o sospechosa en un recurso (como una página web o un documento en línea) que la IA recoge como parte de su entrenamiento.

“Hay muchas oportunidades para que actores malintencionados dañen estos datos. «Tanto durante la fase de entrenamiento del sistema de IA como posteriormente, a medida que la IA continúa refinando su comportamiento al interactuar con el mundo físico», escribieron los autores del NIST. «Esto podría hacer que la IA se comporte de maneras indeseables». Por ejemplo, un chatbot puede aprender a responder con lenguaje ofensivo o racista. Cuando sus vallas son eludidas por mensajes de advertencia peligrosos cuidadosamente elaborados”.

La rápida aparición de varias herramientas de inteligencia artificial durante el año pasado muestra que las cosas están mejorando. ¿Qué tan rápido pueden ocurrir cambios para el personal de ciberseguridad? ¿Y por qué los profesionales de la tecnología necesitan mantenerlo actualizado? Esto es especialmente cierto cuando se trata de seguridad, afirma Dean Webb, ingeniero de soluciones de ciberseguridad de Merlin Cyber.

«Si bien las herramientas de protección de IA ayudan a contrarrestar la mayoría de los ataques impulsados ​​por IA, el phishing y otros ataques de ingeniería social mejorados por IA a menudo dependen de humanos no capacitados», dijo Webb. En declaraciones a Dice, «Debemos encontrar mejores formas de proteger automáticamente a las organizaciones y a las personas». correo electrónico, mensajes de texto y chatbots para ayudarnos a mantenernos a la vanguardia de la ingeniería social mejorada con IA”.

Mientras tanto, grandes empresas como OpenAI y Microsoft pueden implementar aplicaciones especializadas. equipo rojo Para probar sus productos de IA en busca de vulnerabilidades, otras organizaciones no tienen la experiencia ni los recursos para hacerlo, pero a medida que la IA generativa crece en popularidad, las organizaciones necesitan equipos de seguridad que comprendan la tecnología y sus vulnerabilidades.

“A medida que la IA se utiliza cada vez más en sistemas de software, La tarea de proteger la IA contra los ataques de Adversarial Machine Learning (AML) puede recaer cada vez más en la responsabilidad de los departamentos de seguridad de las empresas», dijo Theus Hossman, Director de Ciencia de Datos de Ontinue. Anticipándose a estos cambios, es importante para los CISO y los profesionales de la seguridad. familiarizarse con estas amenazas emergentes. e integrar este conocimiento en estrategias de seguridad más amplias”.

Cree aplicaciones y códigos de IA seguros

El informe del NIST detalla cómo la IA generativa LLM puede verse dañada durante el proceso de formación.

La corrupción en el proceso de desarrollo también muestra que los expertos en tecnología, los desarrolladores e incluso los funcionarios de ciberseguridad deben adoptar el mismo enfoque hacia la IA que cuando crean código seguro para otros tipos de aplicaciones.

«La seguridad de la IA y la innovación en IA van de la mano. Históricamente, la seguridad ha sido una ocurrencia tardía en el desarrollo de modelos de IA, lo que ha generado una brecha de habilidades entre los profesionales de la seguridad y los desarrolladores de IA», dijo Carignan. Darktrace dijo a Dice: «A medida que continuamos con la IA ​revolución, La investigación, la innovación y el intercambio de datos en toda la industria son fundamentales para que tanto los desarrolladores de IA como los profesionales de la seguridad amplíen sus conocimientos”.

A medida que la tecnología se integra más en la infraestructura organizacional Desarrollar modelos de IA y predecir cómo pueden fallar los modelos. Será una habilidad esencial para los desarrolladores y equipos de seguridad que buscan vulnerabilidades, dijo Mikhail Kazdagli, jefe de IA de Symmetry Systems.

“Cuando los algoritmos de IA se entrenan con datos inexactos, sesgados o no representativos, Esto puede desarrollar patrones y sesgos defectuosos. Esto puede llevar a predicciones o decisiones incorrectas. perpetúa los prejuicios existentes o crea otros nuevos», dijo Kazdagli a Dice. «En casos extremos Si los datos han sido alterados maliciosamente Puede dar lugar a comportamientos impredecibles o peligrosos en los sistemas de IA, lo que es especialmente importante cuando la IA se utiliza en procesos de toma de decisiones. Por lo tanto, la integridad y la calidad de los datos son fundamentales para que los sistemas de IA funcionen según lo previsto y produzcan resultados justos y confiables”.

Los oponentes entienden la IA… y los expertos en tecnología también deberían entenderlo.

Desde el lanzamiento de ChatGPT en noviembre de 2022, los investigadores han advertido que los oponentes ya sean ciberdelincuentes o actores sofisticados de estados-nación; ¿Cómo es probable que se aprovechen estas nuevas plataformas?

finalizado, Phishing y otras amenazas cibernéticas Está relacionado con el uso indebido de la tecnología de inteligencia artificial de próxima generación. Y es probable que estas tendencias aumenten, según el informe del NIST, lo que significa que los expertos en tecnología y ciberseguridad necesitan saber más sobre las vulnerabilidades inherentes a los modelos de IA y cómo los adversarios pueden explotarlas.

“Los actores de amenazas y los adversarios no solo buscan utilizar la IA para mejorar sus operaciones. Pero los actores de amenazas geopolíticas también quieren adquirir valiosa propiedad intelectual de la IA. Los actores maliciosos buscan vulnerabilidades para obtener un valioso modelo similar a IP o pesos utilizados dentro del modelo. o la capacidad de extraer información confidencial en la que se entrena el modelo», explica Carignan. «Los atacantes pueden tener una variedad de objetivos ALD, como envenenar una competencia. Reduzca la precisión para ser mejor que sus competidores. o manipular el procesamiento o la salida de un sistema de aprendizaje automático para su uso indebido. o impactar casos de uso importantes de la IA”.

A medida que las aplicaciones de inteligencia artificial y aprendizaje automático se vuelven más comunes Los profesionales de la tecnología y la ciberseguridad no sólo necesitan comprender lo que pueden y no pueden hacer; Pero ese conocimiento también debe difundirse en toda la organización, afirmó Gal Ringel, directora ejecutiva de Mine, una empresa de gestión de la privacidad de datos.

Esto requiere saber cómo los atacantes explotan la tecnología. ¿Y qué protecciones pueden evitar que las amenazas se salgan de control?

“Para aquellos que no conocen el alcance de las nuevas técnicas de ataque. Crear una infraestructura que sea lo suficientemente ágil y flexible para soportarlos sería casi imposible», dijo Ringel a Dice. «Dada la evolución de los efectos profundos y la clonación de audio, sobre todo La norma de alfabetización en IA será obligatoria para todos los que utilicen Internet en los próximos años. Y marcos como un NIST actualizado podrían formar la base para la primera ola. La gente se educa sobre este tema”.

Puede interesarte

Por qué el nuevo chipset A18 de Apple hace que valga la pena actualizar el iPhone 16

Kerry Wan/ZDNET Los nuevos chips A18 y A18 Pro de Apple son la fuerza impulsora …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *