El temario oficial de Google Cloud Certified Professional Data Engineer, organizado por dominio. Marca cada punto según lo vayas repasando.
Inicia sesión para guardar tu progreso entre sesiones.
Designing for security and compliance
Concede roles predefinidos en el recurso más bajo posible: BigQuery Data Viewer en el conjunto de datos y Job User en el proyecto, y usa cuentas de servicio dedicadas para los workers de Dataflow. Las condiciones de IAM limitan el acceso en el tiempo, y las políticas de organización, heredadas por todos los descendientes, imponen límites como el uso compartido restringido por dominio o la prevención del acceso público.
BigQuery IAM roles and permissions ↗Organization Policy overview ↗
Google cifra los datos en reposo por defecto; con CMEK controlas en Cloud KMS las claves de encriptación de claves, en la misma ubicación que el conjunto de datos, y con Cloud EKM el material de clave se queda en un gestor externo. Autokey crea claves bajo demanda, gcp.restrictNonCmekServices obliga a usar CMEK, y rotar una clave no vuelve a cifrar las tablas existentes de BigQuery.
Customer-managed Cloud KMS keys ↗Cloud External Key Manager ↗
El descubrimiento de Sensitive Data Protection localiza la PII de forma continua y la desidentificación la transforma: AES-SIV y el cifrado con conservación de formato son reversibles con la clave, HMAC-SHA-256 no lo es, y el desplazamiento de fechas mantiene los intervalos. En BigQuery, el enmascaramiento dinámico con etiquetas de política muestra valores enmascarados a Masked Reader sin cambiar las consultas.
La restricción gcp.resourceLocations limita dónde se crean los recursos nuevos, y la ubicación de un conjunto de datos de BigQuery no cambia tras crearlo. Las políticas de almacenamiento de mensajes de Pub/Sub, la región del trabajo de Dataflow y los buckets de registros regionales mantienen los datos en una región; BigQuery Omni consulta datos de S3 sin sacarlos de AWS.
Restrict resource locations ↗Configure message storage policies ↗
Para retención normativa, Bucket Lock y Object Retention Lock en Cloud Storage y los buckets de registros bloqueados impiden borrar o acortar la retención. Los registros de auditoría de acceso a datos están desactivados por defecto salvo en BigQuery; Access Transparency y Access Approval registran y aprueban el acceso del personal de Google, y Assured Workloads aplica paquetes de controles como HIPAA.
Los conjuntos de datos son la frontera de acceso: las tablas heredan sus permisos, así que conviene agrupar las tablas por público. Patrones como data lake central con data marts por departamento separan almacenamiento, facturación y trabajos; los conjuntos de datos autorizados, la seguridad a nivel de fila, las etiquetas de IAM y los perímetros de VPC Service Controls completan el gobierno.
Introduction to the resource hierarchy ↗Authorized datasets ↗
Separa desarrollo, preproducción y producción en proyectos agrupados en carpetas por entorno, con políticas heredadas y cuentas de servicio propias. Promociona un mismo artefacto (Flex Templates en Artifact Registry, configuraciones de versión de Dataform, DAG probados en un entorno de desarrollo de Managed Airflow) y da a desarrollo datos tokenizados o clones de tabla en lugar de datos reales sensibles.
Organization structure ↗Design Dataflow pipeline workflows ↗
Designing for reliability and fidelity
Para limpiar datos ya cargados en BigQuery, Dataform gestiona transformaciones SQLX con Git y árbol de dependencias, y BigQuery data preparation aplica sugerencias de Gemini con pasos de deduplicación y validación hacia una tabla de errores. Antes de la carga, Wrangler de Cloud Data Fusion limpia de forma visual y Dataflow envía las filas fallidas a una tabla dead-letter. Gemini in BigQuery genera SQL a partir de lenguaje natural.
Managed Airflow orquesta DAG de Python que abarcan nubes y centros locales; Workflows es la opción sin servidor y sin coste en reposo para pocos pasos, y Dataform programa sus ejecuciones con configuraciones de flujo de trabajo. En Airflow, los sensores en modo reschedule liberan el worker. Dataflow se supervisa con su interfaz de trabajos y con alertas de Cloud Monitoring sobre las métricas Failed y System lag.
Schedule runs (Dataform) ↗Use Cloud Monitoring for Dataflow pipelines ↗
La recuperación ante desastres gestionada de BigQuery ofrece conmutación suave, sin pérdida de datos, y forzada, que puede perder datos no replicados; las consultas programadas deben recrearse tras la conmutación. Cloud SQL combina alta disponibilidad entre zonas con réplicas entre regiones que se promueven, Spanner birregional da RPO cero en un país y los buckets birregionales con replicación turbo sirven datos sin cambiar rutas.
Managed disaster recovery (BigQuery) ↗Data availability and durability (Cloud Storage) ↗
Spanner ofrece transacciones de lectura y escritura atómicas entre tablas con coherencia externa, y de solo lectura sin bloqueos. BigQuery admite transacciones de varias sentencias entre tablas, pero con bloqueo a nivel de tabla y sin cola. Bigtable solo es atómico por fila; con varios clústeres es eventualmente coherente, y la lectura de las propias escrituras exige enrutar al mismo clúster.
Transactions overview (Spanner) ↗Multi-statement transactions (BigQuery) ↗
Dataform valida cada ejecución con aserciones (nonNull, uniqueKey, rowConditions o SQLX manual) y prueba la lógica con pruebas unitarias sobre entradas simuladas. La calidad de datos automática de Knowledge Catalog valida tablas sin infraestructura con reglas integradas y SQL personalizadas, ámbito incremental, puntuaciones, avisos por correo, exportación a BigQuery y publicación de resultados en el catálogo.
Auto data quality overview (Knowledge Catalog) ↗Test data quality (Dataform) ↗
Designing for flexibility and portability
Conviene elegir servicios que admitan los requisitos futuros sin rediseño: Datastream para pasar de exportaciones nocturnas a CDC casi en tiempo real, Managed Service for Apache Kafka para conservar los clientes de Kafka, Spark sin servidor para pagar solo al ejecutar, Dataflow para usar la misma lógica en lotes y streaming, consultas continuas para reaccionar con SQL y nuevas suscripciones de Pub/Sub para añadir consumidores.
BigQuery Omni consulta datos de S3 o Blob Storage con BigLake tables donde residen y puede escribir los resultados en la otra nube. Las BigLake tables delegan el acceso y aplican seguridad de fila y columna también a Spark; las Iceberg managed tables guardan una copia abierta en tu bucket con DML y streaming. Beam en Dataflow cambia de runner sin reescribir, y gcp.resourceLocations limita dónde se crean los recursos.
Introduction to BigQuery Omni ↗Apache Iceberg managed tables ↗
Knowledge Catalog (antes Dataplex Universal Catalog) descubre archivos de Cloud Storage con análisis de descubrimiento que publican BigLake tables si indicas una conexión, perfila tablas con análisis de perfil (completos o incrementales) y organiza metadatos con aspectos y tipos de entrada. Su búsqueda combina lenguaje natural y palabras clave y respeta los permisos; en una malla de datos, cada dominio tiene zonas raw y curated.
Discover and catalog Cloud Storage data ↗About data profiling ↗
Designing data migrations
Para planificar una migración, primero se inventarían cargas, dependencias, equipos y requisitos; en un almacén de datos, la evaluación de migración de BigQuery analiza metadatos y registros de consultas y propone el estado de destino y el plan. Se eligen como primeras cargas las poco críticas y poco acopladas, y la estrategia de cada carga depende de cuánta inactividad tolera.
Migration assessment ↗Migrate to Google Cloud: Assess and discover your workloads ↗
Cada herramienta tiene su caso: BigQuery Data Transfer Service carga almacenes como Teradata o Redshift en BigQuery, también de forma incremental; Database Migration Service migra a Cloud SQL y AlloyDB con migraciones continuas; Datastream replica cambios por CDC hacia BigQuery con conectividad privada por VPN o Interconnect; Transfer Appliance cubre la falta de ancho de banda y la herramienta de validación compara origen y destino.
Migrate to Google Cloud: Transfer your large datasets ↗Database Migration Service overview ↗
Practica por dominio oficial y revisa la explicación de cada respuesta.
Empezar a practicar