CertifyDeckCargando contenido…
El temario oficial de AWS Certified Machine Learning Engineer - Associate, organizado por dominio. Marca cada punto según lo vayas repasando.
Inicia sesión para guardar tu progreso entre sesiones.
Collect and store data
SageMaker AI entrena con datos de Amazon S3, Amazon EFS o Amazon FSx for Lustre: el modo File descarga todo el dataset, FastFile lo transmite bajo demanda con acceso de archivo y EFS o FSx se montan desde una VPC. Para sacar datos de bases operativas sin afectarlas, la exportación de DynamoDB a S3 no consume capacidad de lectura y la exportación de instantáneas de RDS escribe Parquet en S3 en segundo plano.
Setting up training jobs to access datasets ↗DynamoDB data export to Amazon S3: how it works ↗
La clase de almacenamiento de S3 se elige por patrón de acceso y resiliencia: Intelligent-Tiering para accesos desconocidos, las clases IA para datos poco usados (One Zone-IA solo si se pueden recrear), Express One Zone para la mínima latencia y las clases Glacier para archivo. Para requisitos normativos de inmutabilidad, S3 Object Lock en modo compliance impide que nadie, ni el usuario raíz, borre o sobrescriba versiones durante la retención.
Understanding and managing Amazon S3 storage classes ↗Locking objects with Object Lock ↗
Los problemas de capacidad en la ingesta suelen venir de claves mal distribuidas: en Kinesis Data Streams y en DynamoDB, incluidos sus índices secundarios globales, una clave de partición de baja cardinalidad crea particiones calientes que no se arreglan añadiendo capacidad. En Amazon S3, la tasa de peticiones escala por prefijo y de forma gradual, así que conviene repartir la carga entre prefijos y reintentar los errores 503 Slow Down.
Choose the right mode to stream in ↗Best practices design patterns: optimizing Amazon S3 performance ↗
Amazon Data Firehose entrega datos de streaming en Amazon S3 y otros destinos sin escribir aplicaciones, agrupándolos por tamaño o tiempo, y puede leer directamente de Kinesis Data Streams o de un topic de Amazon MSK. Para cálculos con estado y ventanas de tiempo se usa Amazon Managed Service for Apache Flink, y cuando varias aplicaciones leen el mismo stream, enhanced fan-out da a cada una rendimiento de lectura dedicado.
What is Amazon Data Firehose? ↗What is Amazon Managed Service for Apache Flink? ↗
El formato se elige según cómo se leen los datos: Parquet y ORC son columnares, comprimen por columna y permiten saltar bloques, por lo que reducen los datos que leen Athena y otros motores; se puede convertir con CTAS, AWS Glue o la conversión de formato de Amazon Data Firehose, que solo acepta JSON de entrada. Los algoritmos integrados de SageMaker AI exigen formatos concretos, como CSV sin cabecera con el objetivo en la primera columna.
Use columnar storage formats ↗Common Data Formats for Training ↗
Para fusionar orígenes en AWS Glue, la transformación Join combina dos datasets por claves con distintos tipos de join, y FindMatches vincula registros que no comparten identificador ni coinciden exactamente. En Spark, un broadcast hash join evita el shuffle cuando una tabla cabe en memoria, y los job bookmarks de AWS Glue hacen que las fusiones periódicas procesen solo los datos nuevos de S3 o JDBC.
Record matching with AWS Lake Formation FindMatches ↗Optimize shuffles ↗
El almacén vectorial se elige por patrón de consulta: Amazon S3 Vectors ofrece almacenamiento vectorial de bajo coste sin infraestructura para consultas poco frecuentes, las colecciones de búsqueda vectorial de OpenSearch Serverless sirven búsquedas de alto volumen con texto completo, filtros y agregaciones, y Aurora PostgreSQL con pgvector guarda los embeddings junto a datos relacionales. Los tres sirven a Amazon Bedrock Knowledge Bases.
Working with S3 Vectors and vector buckets ↗Prerequisites for using a vector store you created for a knowledge base ↗
Amazon S3 guarda los originales de texto, imagen y audio, y cada tipo se prepara con su herramienta: Amazon Transcribe transcribe audio por lotes desde S3 y puede ocultar la PII, y un manifiesto aumentado enlaza imágenes y etiquetas para entrenar en modo Pipe. En Amazon Bedrock Knowledge Bases, Bedrock Data Automation pasa imágenes, audio y vídeo a texto, y un modelo de embeddings multimodal vectoriza las imágenes directamente.
Create a knowledge base for multimodal content ↗Augmented Manifest Files for Training Jobs ↗
Amazon SageMaker Feature Store recibe registros con la API PutRecord, adecuada para fuentes en streaming; con el conector de Spark para cargas por lotes, donde target_stores permite escribir solo en el offline store; o con Feature Processing, que gestiona el cómputo y programa las pipelines. Cada registro se identifica por su ID y su event time: el online store conserva solo el más reciente y el offline store en S3 guarda todo el historial.
Perform data transformation, feature engineering, and pre-processing
AWS Glue es un servicio de integración de datos sin servidor que ejecuta trabajos ETL sobre Apache Spark y usa job bookmarks para procesar solo los datos nuevos. AWS Glue DataBrew limpia y normaliza datos sin código mediante recetas reutilizables, y EMR Serverless ejecuta Spark sin gestionar clústeres. SageMaker Data Wrangler, ahora integrado en SageMaker Canvas, prepara datos con poco código y exporta el flujo a S3, Pipelines o Feature Store.
SageMaker Feature Store organiza las características en feature groups con un identificador de registro y un event time. El online store guarda solo el registro más reciente para consultas de baja latencia y admite TTL; el offline store en Amazon S3 conserva todo el historial para entrenamiento e inferencia por lotes. Los conjuntos de entrenamiento sin fuga de datos se crean con uniones point-in-time sobre el offline store.
Feature Store concepts ↗Create a dataset from your feature groups ↗
Amazon Data Firehose puede invocar una función Lambda que transforma cada lote y marca los registros como Ok, Dropped o ProcessingFailed, y puede convertir JSON a Parquet u ORC con un esquema del Glue Data Catalog. Lambda mantiene estado entre invocaciones con ventanas tumbling sobre Kinesis. Los trabajos de streaming de AWS Glue usan Spark Structured Streaming, procesan por ventanas y usan checkpoints en lugar de job bookmarks.
Transform source data in Amazon Data Firehose ↗Streaming ETL jobs in AWS Glue ↗
La normalización lleva los valores numéricos a un rango [0,1] y la estandarización a media 0 y desviación típica 1, para que las variables de gran magnitud no dominen el modelo. El binning convierte un valor numérico en rangos categóricos cuando su relación con el objetivo no es lineal, y la transformación logarítmica reduce la asimetría. SageMaker Data Wrangler y AWS Glue DataBrew ofrecen estas transformaciones sin código.
Data preprocessing - Machine Learning Lens ↗Feature engineering - Machine Learning Lens ↗
Los modelos de embeddings de Amazon Bedrock convierten texto, imágenes o ambos en vectores; los multimodales los sitúan en un espacio semántico compartido para buscar imágenes por texto. Se puede elegir una dimensión de salida menor para reducir almacenamiento y latencia, pero el índice vectorial debe tener la misma dimensión. La similitud la calcula la base de datos vectorial, y para indexar grandes volúmenes conviene usar trabajos por lotes.
Amazon Titan Text Embeddings models ↗Amazon Titan Multimodal Embeddings G1 model ↗
La tokenización divide el texto en tokens; en SageMaker Data Wrangler un tokenizador personalizado fija la expresión regular, la longitud mínima y el paso a minúsculas, y el vectorizador Count filtra términos muy raros o muy comunes. Para datos de LLM se limpian etiquetas HTML, se eliminan casi duplicados con MinHash y se pueden generar ejemplos sintéticos del dominio con Amazon Bedrock, revisados por personas en SageMaker Ground Truth.
Transform Data (Amazon SageMaker Data Wrangler) ↗An introduction to preparing your own dataset for LLM training ↗
Amazon Bedrock Knowledge Bases divide los documentos en chunks: tamaño fijo, predeterminado, jerárquico (recupera hijos y devuelve el padre), semántico o sin chunking; la estrategia no se puede cambiar tras conectar el origen. El parser predeterminado solo extrae texto; para tablas y gráficos se usa Bedrock Data Automation o un modelo fundacional. Un archivo .metadata.json junto a cada documento añade metadatos para filtrar.
How content chunking works for knowledge bases ↗Connect to Amazon S3 for your knowledge base ↗
Amazon Macie descubre datos sensibles en buckets de S3 y genera hallazgos, pero no modifica los datos. La transformación Detect PII de AWS Glue redacta, redacta parcialmente o aplica un hash SHA-256, y analiza todas las celdas o una muestra. AWS Glue DataBrew ofrece sustitución, shuffling, cifrado determinista o probabilístico, enmascarado y hashing, y Amazon Comprehend redacta PII en texto mediante trabajos asíncronos.
Detect and process sensitive data (AWS Glue) ↗Identifying and handling personally identifiable information (PII) ↗
El ajuste fino supervisado en Amazon Bedrock usa archivos JSONL etiquetados, con campos prompt y completion o con el formato de mensajes de la Converse API. El preentrenamiento continuo usa texto sin etiquetar, con un único campo de texto por línea. Model Distillation solo necesita prompts, o los registros de invocación con filtros de requestMetadata, y el modelo profesor genera las respuestas para ajustar el modelo alumno.
Prepare data for fine-tuning your models ↗Customize a model with distillation in Amazon Bedrock ↗
Validate data quality and manage bias
AWS Glue Data Quality define reglas en DQDL y las evalúa sobre tablas del Data Catalog (con recomendaciones de reglas) o dentro de jobs de ETL, donde puede aislar los registros que fallan antes de cargarlos. Sus analyzers y la detección de anomalías con ML aprenden tendencias y estacionalidad. En DataBrew, los rulesets se validan en profile jobs y emiten eventos que EventBridge puede filtrar.
AWS Glue Data Quality ↗Validating data quality in AWS Glue DataBrew ↗
Amazon SageMaker Ground Truth etiqueta con plantillas privadas o de proveedores, consolida las anotaciones de varios trabajadores y ofrece etiquetado automatizado con aprendizaje activo para tareas integradas. Los trabajos de verificación califican etiquetas y los de ajuste las corrigen. Para preetiquetar grandes volúmenes con un modelo fundacional, la inferencia por lotes de Amazon Bedrock procesa prompts desde S3.
Automate data labeling ↗Process multiple prompts with batch inference ↗
Las métricas previas al entrenamiento de SageMaker Clarify, como Class Imbalance y DPL, detectan infrarrepresentación y diferencias de etiquetas entre grupos sin necesidad de modelo. Para mitigar el sesgo: dividir por clave o de forma estratificada en Data Wrangler, barajar los datos en cada época con ShuffleConfig y aumentar imágenes con transformaciones de color, rotación y recorte.
SageMaker Clarify calcula métricas de sesgo sobre datos tabulares: las facetas numéricas se dividen con un umbral y las categóricas por valor. Para texto o imágenes se crea una tabla de atributos por elemento (por ejemplo, el idioma detectado con Amazon Comprehend). JS compara distribuciones multiclase de forma simétrica y CDD condiciona la disparidad a subgrupos para descartar la paradoja de Simpson.
Data Wrangler equilibra clases con random oversampling, random undersampling o SMOTE, que interpola muestras sintéticas solo con variables numéricas y copia las no numéricas. Sin tocar los datos, XGBoost usa scale_pos_weight y Image Classification multietiqueta usa use_weighted_loss. Para evaluar la clase minoritaria conviene la división estratificada y métricas como balanced accuracy en lugar de la accuracy global.
Los datos de fine-tuning de Amazon Bedrock son JSONL: pares prompt y completion o formato de mensajes Converse para modelos conversacionales. La API ApplyGuardrail evalúa texto con un guardrail sin invocar un modelo, lo que permite filtrar pares problemáticos. Amazon Comprehend detecta toxicidad y PII (la redacción exige un trabajo asíncrono) y Amazon Rekognition modera imágenes.
Prepare data for fine-tuning your models ↗Use the ApplyGuardrail API in your application ↗
Amazon SageMaker Data Wrangler y AWS Glue DataBrew imputan valores ausentes (media, mediana, valor más frecuente o último válido) y detectan outliers por desviación estándar, cuantiles, Z-score modificado o IQR, recortando, borrando o vaciando el valor. Los duplicados exactos se quitan con recetas o transformaciones; los aproximados, sin ID común, con FindMatches en AWS Glue. Random Cut Forest puntúa anomalías multivariantes sin etiquetas.
Transform Data - Amazon SageMaker AI ↗Record matching with AWS Lake Formation FindMatches ↗
Practica por dominio oficial y revisa la explicación de cada respuesta.
Empezar a practicar