Temario curso

Sección 1: Diseño de sistemas de procesamiento de datos

• Gestión de identidades y accesos.
• Seguridad de los datos (cifrado y gestión de claves).
• Privacidad (p. ej., información de identificación personal y API de prevención de pérdida de datos en la nube).
• Consideraciones regionales (soberanía de datos) para el acceso y el almacenamiento de datos.
• Cumplimiento legal y regulatorio.

• Preparación y limpieza de datos (p. ej., Dataprep, Dataflow y Cloud Data Fusion).
• Supervisión y orquestación de canalizaciones de datos.
• Recuperación ante desastres y tolerancia a fallos.
• Tomar decisiones relacionadas con el cumplimiento y la disponibilidad de ACID (atomicidad, consistencia, aislamiento y durabilidad).
• Validación de datos.

• Mapeo de los requisitos empresariales actuales y futuros a la arquitectura.
• Diseño para la portabilidad de datos y aplicaciones (por ejemplo, requisitos de residencia de datos y múltiples nubes).
• Puesta en escena, catalogación y detección de datos (gobernanza de datos).

• Analizar las necesidades actuales de las partes interesadas, los usuarios, los procesos y las tecnologías y crear un plan para llegar al estado deseado.
• Planificar la migración a Google Cloud (p. ej., BigQuery Data Transfer Service, Database Migration Service, Transfer Appliance, Google Cloud networking, Datastream).
• Diseño de la estrategia de validación de la migración.
• Diseñar la arquitectura del proyecto, el conjunto de datos y la tabla para garantizar una gobernanza de datos adecuada.

Sección 2: Ingesta y tratamiento de los datos

• Definición de orígenes y receptores de datos.
• Definición de la lógica de transformación de datos.
• Fundamentos de redes.
• Encriptación de datos.

• Limpieza de datos.
• Identificar los servicios (p. ej., Dataflow, Apache Beam, Dataproc, Cloud Data Fusion, BigQuery, Pub/Sub, Apache Spark, el ecosistema de Hadoop y Apache Kafka).
• Transformaciones.
• Adquisición e importación de datos.
• Integración con nuevas fuentes de datos.

• Automatización y orquestación de trabajos (p. ej., Cloud Composer y flujos de trabajo).
• CI/CD (Integración Continua y Despliegue Continuo).

Sección 3: Almacenamiento de los datos

• Análisis de patrones de acceso a datos.
• Elegir servicios administrados (p. ej., Bigtable, Spanner, Cloud SQL, Cloud Storage, Firestore, Memorystore).
• Planificación de los costos y el rendimiento del almacenamiento.
• Gestión del ciclo de vida de los datos.

• Diseño del modelo de datos.
• Decidir el grado de normalización de los datos.
• Mapeo de requisitos de negocio.
• Definición de la arquitectura para admitir patrones de acceso a datos.

• Gestión del lago (configuración de la detección de datos, el acceso y los controles de costos).
• Tratamiento de datos.
• Supervisión del lago de datos.

• Creación de una malla de datos basada en requisitos mediante el uso de herramientas de Google Cloud (p. ej., Dataplex, Data Catalog, BigQuery, Cloud Storage).
• Segmentación de datos para el uso de equipos distribuidos.
• Creación de un modelo de gobernanza federada para sistemas de datos distribuidos.

Sección 4: Preparación y uso de datos para el análisis

• Conexión a herramientas.
• Precálculo de campos.
• Vistas materializadas de BigQuery (lógica de vista).
• Determinación de la granularidad de los datos de tiempo.
• Solución de problemas de consultas de bajo rendimiento.
• Gestión de identidades y accesos (IAM) y prevención de pérdida de datos en la nube (Cloud DLP).

• Definición de reglas para compartir datos.
• Publicación de conjuntos de datos.
• Publicación de informes y visualizaciones.
• Centro de análisis.

• Preparación de datos para la ingeniería de características (entrenamiento y servicio de modelos de aprendizaje automático).
• Realización de la detección de datos.

Sección 5: Mantenimiento y automatización de cargas de trabajo de datos

• Minimización de costos por necesidad empresarial requerida de datos.
• Garantizar que haya suficientes recursos disponibles para los procesos de datos críticos para el negocio.
• Decidir entre clústeres de datos persistentes o basados en trabajos (por ejemplo, Dataproc).

• Crea gráficos acíclicos dirigidos (DAG) para Cloud Composer.
• Programación de trabajos de forma repetible.

• Precios de franjas horarias flexibles, bajo demanda y de tarifa gorda (índice de flexibilidad o capacidad fxed).
• Trabajos de consulta interactivos o por lotes.

• Observabilidad de los procesos de datos (p. ej., Cloud Monitoring, Cloud Logging, panel de administración de BigQuery).
• Supervisión del uso planificado.
• Solución de problemas de mensajes de error, problemas de facturación y cuotas.
• Administre las cargas de trabajo, como los trabajos, las consultas y la capacidad de proceso (reservas).

• Diseño del sistema para la tolerancia a fallos y gestión de reinicios.
• Ejecución de trabajos en varias regiones o zonas.
• Preparación para la corrupción de datos y los datos faltantes.
• Replicación de datos y conmutación por error (p. ej., Cloud SQL, clústeres de Redis).