Taiwán se ha convertido en el último país en prohibir a las agencias gubernamentales el uso de la plataforma de Inteligencia Artificial (IA) de la startup china DeepSeek, alegando riesgos para la seguridad.
«Las agencias gubernamentales y las infraestructuras críticas no deben utilizar DeepSeek, porque pone en peligro la seguridad de la información nacional», según un comunicado publicado por el Ministerio de Asuntos Digitales de Taiwán, según Radio Free Asia.
«El servicio de inteligencia artificial DeepSeek es un producto chino. Su funcionamiento implica la transmisión transfronteriza y la fuga de información y otros problemas de seguridad de la información.»
El origen chino de DeepSeek ha llevado a las autoridades de varios países a investigar el uso que hace el servicio de los datos personales. La semana pasada fue bloqueado en Italia, alegando falta de información sobre sus prácticas de tratamiento de datos. Varias empresas también han prohibido el acceso al chatbot por riesgos similares.
El chatbot ha acaparado gran parte de la atención en las últimas semanas por el hecho de que es de código abierto y es tan capaz como otros modelos líderes actuales, pero construido a una fracción del coste de sus compañeros.
Pero también se ha descubierto que los grandes modelos lingüísticos (LLM) que alimentan la plataforma son susceptibles a diversas técnicas de fuga de la cárcel, una preocupación persistente en este tipo de productos, por no mencionar que llaman la atención por censurar respuestas a temas considerados sensibles por el gobierno chino.
La popularidad de DeepSeek también ha provocado que sea blanco de «ataques maliciosos a gran escala», y NSFOCUS ha revelado que detectó tres oleadas de ataques distribuidos de denegación de servicio (DDoS) dirigidos a su interfaz API entre el 25 y el 27 de enero de 2025.
«La duración media de los ataques fue de 35 minutos. «Los métodos de ataque incluyen principalmente el ataque de reflexión NTP y el ataque de reflexión memcached».
Además, dijo que el sistema de chatbot DeepSeek fue blanco dos veces de ataques DDoS el 20 de enero - el día en que lanzó su modelo de razonamiento DeepSeek-R1 - y el 25 de enero que promediaron alrededor de una hora utilizando métodos como ataque de reflexión NTP y ataque de reflexión SSDP.
La actividad sostenida se originó principalmente en Estados Unidos, Reino Unido y Australia, añadió la firma de inteligencia de amenazas, describiéndolo como un «ataque bien planificado y organizado.»
Los malintencionados también han aprovechado el revuelo en torno a DeepSeek para publicar paquetes falsos en el repositorio Python Package Index (PyPI) diseñados para robar información confidencial de los sistemas de los desarrolladores. En un giro irónico, hay indicios de que el script Python fue escrito con la ayuda de un asistente de IA.
Los paquetes, llamados deepseeek y deepseekai, se hacían pasar por un cliente API de Python para DeepSeek y se descargaron al menos 222 veces antes de ser retirados el 29 de enero de 2025. La mayoría de las descargas procedían de Estados Unidos, China, Rusia, Hong Kong y Alemania.
«Las funciones utilizadas en estos paquetes están diseñadas para recopilar datos del usuario y del ordenador y robar variables de entorno», declaró la empresa rusa de ciberseguridad Positive Technologies. «El autor de los dos paquetes utilizó Pipedream, una plataforma de integración para desarrolladores, como servidor de comando y control que recibe los datos robados».
El desarrollo se produce cuando la Ley de Inteligencia Artificial entró en vigor en la Unión Europea a partir del 2 de febrero de 2025, prohibiendo las aplicaciones y sistemas de IA que supongan un riesgo inaceptable y sometiendo las aplicaciones de alto riesgo a requisitos legales específicos.
En una iniciativa relacionada, el gobierno del Reino Unido ha anunciado un nuevo Código de Prácticas de Inteligencia Artificial cuyo objetivo es proteger los sistemas de IA contra la piratería y el sabotaje mediante métodos que incluyen los riesgos de seguridad derivados del envenenamiento de datos, la ofuscación de modelos y la inyección indirecta, así como garantizar que se desarrollan de forma segura.
Meta, por su parte, ha esbozado su Frontier AI Framework, señalando que detendrá el desarrollo de modelos de IA que se considere que han alcanzado un umbral de riesgo crítico y no puedan mitigarse. Algunos de los escenarios relacionados con la ciberseguridad destacados incluyen
- Puesta en peligro automatizada de extremo a extremo de un entorno a escala corporativa protegido según las mejores prácticas (por ejemplo, totalmente parcheado, protegido mediante MFA).
- Descubrimiento automatizado y explotación fiable de vulnerabilidades críticas de día cero en el software de mejores prácticas de seguridad actualmente popular antes de que los defensores puedan encontrarlas y parchearlas.
- Flujos automatizados de estafa de extremo a extremo (por ejemplo, romance baiting aka pig butchering) que podrían provocar daños económicos generalizados a particulares o empresas.
El riesgo de que los sistemas de IA se conviertan en armas con fines maliciosos no es teórico. La semana pasada, el Grupo de Inteligencia sobre Amenazas de Google (GTIG) reveló que más de 57 actores de amenazas distintos vinculados a China, Irán, Corea del Norte y Rusia han intentado utilizar Gemini para habilitar y ampliar sus operaciones.
También se han observado amenazas que intentan hacer jailbreak a modelos de IA para eludir sus controles de seguridad y éticos. Se trata de un tipo de ataque adversario diseñado para inducir a un modelo a producir un resultado para el que ha sido explícitamente entrenado, como crear malware o deletrear instrucciones para fabricar una bomba.
La preocupación que suscitan los ataques de jailbreak ha llevado a la empresa de IA Anthropic a idear una nueva línea de defensa denominada Clasificadores Constitucionales que, según afirma, puede proteger a los modelos contra los jailbreaks universales.
«Estos clasificadores constitucionales son clasificadores de entrada y salida entrenados en datos generados sintéticamente que filtran la inmensa mayoría de los jailbreaks con un mínimo de sobre-refusos y sin incurrir en una gran sobrecarga computacional», dijo la compañía el lunes.
Fuente: thehackernews