AI/ML Security Threats

This room walks through the intersection of AI/ML and cybersecurity. It is a conceptual walkthrough: it first lays the foundations of Artificial Intelligence, Machine Learning, neural networks and Transformer-based LLMs; it then studies the threats specific to AI systems (prompt injection, data poisoning, model theft) and how attacks themselves are supercharged by AI (malware, deepfakes, phishing); and it closes by showing how a defender can lean on an AI assistant to analyze logs, detect phishing and generate regex.

Task 1 — Introduction

AI and ML are not just buzzwords: they are reshaping how both attackers and defenders operate. For defenders they bring efficiency and accuracy; for attackers they enable the automation of attacks at scale. This task only sets the scope of the room and requires no answer.

Este room recorre la intersección entre la IA/ML y la ciberseguridad. Es un walkthrough conceptual: primero asienta los fundamentos de la Inteligencia Artificial, el Machine Learning, las redes neuronales y los LLM basados en Transformers; después estudia las amenazas específicas de los sistemas de IA (prompt injection, envenenamiento de datos, robo de modelos) y cómo el propio ataque se potencia con IA (malware, deepfakes, phishing); y termina mostrando cómo un defensor puede apoyarse en un asistente de IA para analizar logs, detectar phishing y generar regex.

Task 1 — Introducción

La IA y el ML no son solo palabras de moda: están cambiando la forma de operar tanto de atacantes como de defensores. Para el defensor aportan eficiencia y precisión; para el atacante permiten automatizar ataques a escala. Esta tarea solo fija el objetivo del room y no requiere respuesta.

Task 2 — Building Blocks of AI

Artificial Intelligence (AI) is the branch of computer science that builds machines able to simulate human intelligence: reasoning (a chess-playing AI), natural language processing (chatbots like ChatGPT) or computer vision (an autonomous car recognizing traffic signs).

The term AI was first coined in the 1950s. Since then it has grown from rule-based systems into data-driven predictive systems.

Machine Learning (ML) is a subset of AI where the machine learns patterns from data instead of following explicit instructions. Its typical lifecycle is:

1. Problem definition — state what needs solving (e.g. predicting spam emails).
2. Data collection & preparation — gather quality datasets, handle missing values and clean noisy inputs.
3. Feature engineering — turn raw data into meaningful input variables.
4. Model training — apply algorithms (decision trees, neural networks).
5. Evaluation & tuning — measure accuracy, precision, recall and F1-score, and tune hyperparameters.
6. Deployment & monitoring — ship the model to production, watch for drift and retrain.

Categories of ML algorithms:

• Supervised learning: labeled data → classification (spam / not spam) or regression (price prediction).
• Unsupervised learning: unlabeled data → clustering or dimensionality reduction.
• Semi-supervised learning: a mix of labeled and unlabeled data; improves accuracy when labeling is expensive.
• Reinforcement learning: an agent learns by interacting with an environment and receiving rewards or penalties.

Q: What category of machine learning combines both labelled and unlabelled data?
A: Semi-supervised learning

Neural networks mimic the human brain through layers of interconnected nodes (neurons): an input layer that accepts raw data, hidden layers that transform it with activation functions, and an output layer that produces the prediction. Synapses are the weighted connections between neurons that simulate biological brain behavior. Deep Learning is the subset of ML that uses many hidden layers to extract features automatically, and it is especially powerful for images, speech and unstructured text.

Q: What is the first layer in a neural network?
A: Input layer

Q: Which learning method extracts features from raw, unstructured input without human labels?
A: Deep learning

Q: What do weighted connections between nodes simulate in the human brain?
A: Synapses

Task 3 — Large Language Models (LLMs)

LLMs are AI models trained on massive datasets to predict and generate human-like text. Their training has three stages: pre-training on huge text corpora to capture grammar, semantics and facts; fine-tuning with domain-specific data; and RLHF (reinforcement learning from human feedback) to make responses safer and better aligned.

Q: What AI model enabled advancements in ChatGPT?
A: Large Language Models

Q: What is the first training stage for LLMs?
A: Pre-training

Transformers revolutionized NLP with the “Attention Is All You Need” paper (2017). Their key innovation is the attention mechanism, which assigns importance (weights) to words in context; unlike RNNs, they process input in parallel, improving speed and scalability.

Q: What neural network powers modern LLMs?
A: Transformer

Task 4 — AI Security Threats

Common vulnerabilities in AI models:

• Prompt injection: manipulating the model's instructions to bypass its restrictions.
• Data poisoning: injecting malicious or biased data into the training set.
• Model theft (extraction): reconstructing a proprietary model by repeatedly querying its API.
• Privacy leakage: extracting sensitive information from the model's outputs.
• Model drift: a drop in performance when real-world data diverges from the training data.

Further reading (independently verifiable): most of these map onto the OWASP Top 10 for LLM Applications — prompt injection is LLM01:2025, data poisoning is LLM04:2025 (Data and Model Poisoning), and privacy leakage is LLM02:2025 (Sensitive Information Disclosure). Model theft had its own slot in the original 2023 list (LLM10:2023) and today is covered mainly through MITRE ATLAS's model-extraction techniques. Together, the OWASP list and MITRE ATLAS are the two reference frameworks most security teams use to assess AI/ML systems.

AI also amplifies the attacks themselves: AI-generated malware (rapid creation and detection evasion), deepfakes (fake but realistic audio and video to impersonate people) and AI-powered phishing (auto-generated, highly convincing emails).

Q: What MITRE framework guides AI-specific threat analysis?
A: ATLAS

Q: What attack clones an AI model via its API?
A: Model theft

Q: Which generative AI technique replicates a person's likeness?
A: Deepfake

Q: What social engineering attack is harder to detect due to AI?
A: Phishing

Task 5 — Defensive AI

Applications of AI in defense:

• Analytical enhancement: intrusion detection, anomaly spotting and log analysis.
• Predictive automation: proactively classifying and blocking phishing and malware.
• Summarization & triage: AI-assisted report generation for faster decisions.
• Threat-hunting assistance: generating hypotheses about hidden threats.

Q: According to IBM, AI helps identify and contain breaches how many days faster?
A: 108 days

Q: Which task benefits from AI-driven imaginative scenario generation?
A: Threat hunting

Q: Explainability tools like SHAP and LIME assist with what?
A: Model monitoring

Secure AI practices: enforce access controls (RBAC and MFA), encrypt data by treating all training and testing datasets as sensitive, follow standards such as ISO/IEC 27090 and the MITRE ATLAS guidelines, and continuously monitor for anomalies, drift and adversarial manipulation.

Task 6 — Hands-on: Using the AI Assistant

The practical part asks the room's AI assistant to perform several analyst tasks.

Log analysis. Prompt: “Explain a failed SSH login from a log entry.” — the assistant explains the event context, the user that attempted to authenticate, the IP and the reason for the failure.

Phishing detection. Prompt: “Identify red flags in a suspicious email.” — common flags: suspicious or shortened URLs, urgent language and spoofed sender addresses.

Threat-hunting scenarios. Prompt: “Suggest three realistic corporate network hunting scenarios.” — for example: unusual outbound traffic to rare domains, multiple failed logins from external IPs, or privilege-escalation attempts on servers.

Regex generation. Prompt: “Write a regex for failed SSH login lines.”

^\w{3}\s+\d+\s\d{2}:\d{2}:\d{2}\s\S+\ssshd\[\d+\]:\sFailed password for .* from \d{1,3}(?:\.\d{1,3}){3}\sport\s\d+\sssh2$

Flag retrieval. Prompt: “What are the values for DoH port, SYN flood timeout, and ephemeral port range size?”

Flag: thm{443/60/16384}

Task 7 — Conclusion

The room highlights the double-edged nature of AI: for attackers it automates phishing, malware generation and deepfakes; for defenders it accelerates detection, monitoring and incident response. The core lesson is that security professionals must stay ahead of evolving AI threats while responsibly leveraging AI for protection.

Key Takeaways

• ML is a subset of AI that learns patterns from data; Deep Learning stacks many hidden layers to extract features automatically.
• Modern LLMs rely on the Transformer architecture and its attention mechanism, and are trained in three stages: pre-training, fine-tuning and RLHF.
• AI-specific threats include prompt injection, data poisoning, model theft, privacy leakage and model drift; MITRE ATLAS is the reference framework for analyzing them.
• AI also amplifies classic attacks through AI-generated malware, deepfakes and more convincing phishing.
• On defense, AI helps with log analysis, phishing detection, triage and threat hunting; it must be deployed with RBAC, MFA, encryption, standards (ISO/IEC 27090, ATLAS) and continuous monitoring.

Task 2 — Bloques básicos de la IA

La Inteligencia Artificial (IA) es la rama de la informática que crea máquinas capaces de simular la inteligencia humana: razonamiento (una IA que juega al ajedrez), procesamiento de lenguaje natural (chatbots como ChatGPT) o visión por computador (un coche autónomo que reconoce señales de tráfico).

El término IA se acuñó en los años 50. Desde entonces ha evolucionado de los sistemas basados en reglas a los sistemas predictivos basados en datos.

El Machine Learning (ML) es un subconjunto de la IA en el que la máquina aprende patrones a partir de los datos en lugar de seguir instrucciones explícitas. Su ciclo de vida típico es:

1. Definición del problema — qué hay que resolver (p. ej. predecir correos de spam).
2. Recogida y preparación de datos — conseguir datasets de calidad, tratar valores ausentes y limpiar ruido.
3. Ingeniería de características — convertir los datos crudos en variables de entrada con significado.
4. Entrenamiento del modelo — aplicar algoritmos (árboles de decisión, redes neuronales).
5. Evaluación y ajuste — medir accuracy, precision, recall y F1-score, y afinar hiperparámetros.
6. Despliegue y monitorización — llevar el modelo a producción, vigilar la deriva y reentrenar.

Categorías de algoritmos de ML:

• Aprendizaje supervisado: datos etiquetados → clasificación (spam / no spam) o regresión (predicción de precios).
• Aprendizaje no supervisado: datos sin etiquetar → clustering o reducción de dimensionalidad.
• Aprendizaje semisupervisado: mezcla de datos etiquetados y no etiquetados; mejora la precisión cuando etiquetar es caro.
• Aprendizaje por refuerzo: un agente aprende interactuando con el entorno y recibiendo recompensas o penalizaciones.

Q: ¿Qué categoría de machine learning combina datos etiquetados y no etiquetados?
A: Semi-supervised learning

Las redes neuronales imitan al cerebro humano mediante capas de nodos (neuronas) interconectados: una capa de entrada que recibe los datos crudos, capas ocultas que los transforman con funciones de activación y una capa de salida que produce la predicción. Las sinapsis son las conexiones ponderadas entre neuronas que simulan el comportamiento del cerebro biológico. El Deep Learning es el subconjunto del ML que usa muchas capas ocultas para extraer características de forma automática, especialmente útil con imágenes, voz y texto no estructurado.

Q: ¿Cuál es la primera capa de una red neuronal?
A: Input layer

Q: ¿Qué método de aprendizaje extrae características de entradas crudas y no estructuradas sin etiquetas humanas?
A: Deep learning

Q: ¿Qué simulan las conexiones ponderadas entre nodos respecto al cerebro humano?
A: Synapses

Task 3 — Modelos de lenguaje grandes (LLM)

Los LLM son modelos de IA entrenados sobre datasets masivos para predecir y generar texto similar al humano. Su entrenamiento tiene tres fases: pre-entrenamiento sobre grandes corpus de texto para captar gramática, semántica y hechos; fine-tuning con datos de un dominio concreto; y RLHF (aprendizaje por refuerzo con retroalimentación humana) para lograr respuestas más seguras y alineadas.

Q: ¿Qué modelo de IA impulsó los avances de ChatGPT?
A: Large Language Models

Q: ¿Cuál es la primera fase de entrenamiento de un LLM?
A: Pre-training

Los Transformers revolucionaron el NLP con el paper “Attention Is All You Need” (2017). Su innovación clave es el mecanismo de atención, que asigna importancia (pesos) a las palabras según su contexto; a diferencia de las RNN, procesan la entrada en paralelo, lo que mejora velocidad y escalabilidad.

Q: ¿Qué red neuronal impulsa los LLM modernos?
A: Transformer

Task 4 — Amenazas de seguridad en IA

Vulnerabilidades comunes de los modelos de IA:

• Prompt injection: manipular las instrucciones del modelo para saltarse sus restricciones.
• Envenenamiento de datos (data poisoning): inyectar datos maliciosos o sesgados en el conjunto de entrenamiento.
• Robo de modelo (model theft / extraction): reconstruir un modelo propietario consultando su API de forma repetida.
• Fuga de privacidad: extraer información sensible a partir de las salidas del modelo.
• Deriva del modelo (model drift): caída de rendimiento cuando los datos reales se alejan de los de entrenamiento.

Para profundizar (dato verificable): la mayoría de estas amenazas encajan en el OWASP Top 10 para aplicaciones LLM — el prompt injection es LLM01:2025, el envenenamiento de datos es LLM04:2025 (Data and Model Poisoning) y la fuga de privacidad es LLM02:2025 (Sensitive Information Disclosure). El robo de modelo tenía categoría propia en la lista original de 2023 (LLM10:2023) y hoy queda cubierto sobre todo por las técnicas de extracción de modelo de MITRE ATLAS. Entre el listado de OWASP y MITRE ATLAS forman los dos marcos de referencia que más se usan para evaluar sistemas de IA/ML.

Además, la IA potencia los propios ataques: malware generado por IA (creación rápida y evasión de detección), deepfakes (audio y vídeo falsos pero realistas para suplantar a personas) y phishing impulsado por IA (correos autogenerados y muy convincentes).

Q: ¿Qué framework de MITRE guía el análisis de amenazas específicas de IA?
A: ATLAS

Q: ¿Qué ataque clona un modelo de IA a través de su API?
A: Model theft

Q: ¿Qué técnica de IA generativa replica la apariencia de una persona?
A: Deepfake

Q: ¿Qué ataque de ingeniería social es más difícil de detectar gracias a la IA?
A: Phishing

Task 5 — IA defensiva

Aplicaciones de la IA en defensa:

• Mejora analítica: detección de intrusiones, identificación de anomalías y análisis de logs.
• Automatización predictiva: clasificar y bloquear phishing y malware de forma proactiva.
• Resumen y triaje: generación asistida de informes para decidir más rápido.
• Apoyo al threat hunting: generar hipótesis sobre amenazas ocultas.

Q: Según IBM, ¿cuántos días antes ayuda la IA a identificar y contener las brechas?
A: 108 days

Q: ¿Qué tarea se beneficia de la generación imaginativa de escenarios impulsada por IA?
A: Threat hunting

Q: ¿Con qué ayudan herramientas de explicabilidad como SHAP y LIME?
A: Model monitoring

Prácticas de IA segura: aplicar controles de acceso (RBAC y MFA), cifrar los datos tratando todos los datasets de entrenamiento y prueba como sensibles, seguir estándares como ISO/IEC 27090 y las guías de MITRE ATLAS, y monitorizar de forma continua en busca de anomalías, deriva y manipulación adversaria.

Task 6 — Práctica: usar el asistente de IA

La parte práctica consiste en pedir al asistente de IA del room varias tareas de un analista.

Análisis de logs. Prompt: “Explain a failed SSH login from a log entry.” — el asistente explica el contexto del evento, el usuario que intentó autenticarse, la IP y el motivo del fallo.

Detección de phishing. Prompt: “Identify red flags in a suspicious email.” — señales habituales: URLs sospechosas o acortadas, lenguaje de urgencia y direcciones de remitente suplantadas.

Escenarios de threat hunting. Prompt: “Suggest three realistic corporate network hunting scenarios.” — por ejemplo: tráfico saliente inusual hacia dominios poco comunes, múltiples inicios de sesión fallidos desde IPs externas o intentos de escalada de privilegios en servidores.

Generación de regex. Prompt: “Write a regex for failed SSH login lines.”

^\w{3}\s+\d+\s\d{2}:\d{2}:\d{2}\s\S+\ssshd\[\d+\]:\sFailed password for .* from \d{1,3}(?:\.\d{1,3}){3}\sport\s\d+\sssh2$

Obtención de la flag. Prompt: “What are the values for DoH port, SYN flood timeout, and ephemeral port range size?”

Flag: thm{443/60/16384}

Task 7 — Conclusión

El room subraya la naturaleza de doble filo de la IA: para el atacante automatiza phishing, generación de malware y deepfakes; para el defensor acelera la detección, la monitorización y la respuesta a incidentes. La lección de fondo es que los profesionales de seguridad deben adelantarse a las amenazas de IA en constante evolución mientras aprovechan la propia IA de forma responsable para protegerse.

Puntos clave

• El ML es un subconjunto de la IA que aprende patrones de los datos; el Deep Learning apila muchas capas ocultas para extraer características de forma automática.
• Los LLM modernos se apoyan en la arquitectura Transformer y su mecanismo de atención, y se entrenan en tres fases: pre-entrenamiento, fine-tuning y RLHF.
• Las amenazas propias de la IA incluyen prompt injection, envenenamiento de datos, robo de modelo, fuga de privacidad y deriva del modelo; MITRE ATLAS es el marco de referencia para analizarlas.
• La IA también amplifica los ataques clásicos mediante malware generado por IA, deepfakes y phishing más convincente.
• En defensa, la IA ayuda en análisis de logs, detección de phishing, triaje y threat hunting; debe desplegarse con RBAC, MFA, cifrado, estándares (ISO/IEC 27090, ATLAS) y monitorización continua.