Dirigido a

Para todas aquellas personas interesadas en realizar el examen de certificación Databricks Certified Generative AI Engineer Associate, que evalúa la capacidad de una persona para diseñar e implementar soluciones habilitadas para LLM mediante Databricks.

Esto incluye la descomposición de problemas para dividir los requisitos complejos en tareas manejables, así como la elección de modelos, herramientas y enfoques adecuados del panorama actual de la IA generativa para desarrollar soluciones integrales.

También evalúa las herramientas específicas de Databricks, como la búsqueda de vectores para búsquedas de similitud semántica, el servicio de modelos para implementar modelos y soluciones, MLflow para administrar el ciclo de vida de la solución y Unity Catalog para la gobernanza de datos.

Se puede esperar que las personas que aprueben este examen creen e implementen aplicaciones RAG y cadenas LLM de alto rendimiento que aprovechen al máximo Databricks y su conjunto de herramientas.

Temario curso

Sección 1: Aplicaciones de diseño

• Diseñar un mensaje que provoque una respuesta con un formato específico.
• Seleccionar tareas de modelo para cumplir con un requisito empresarial determinado.
• Seleccionar los componentes de la cadena para la entrada y salida del modelo deseado.
• Traducir los objetivos de los casos de uso empresarial en una descripción de las entradas y salidas deseadas para la canalización de IA.
• Definir y ordenar herramientas que reúnan conocimientos o tomen medidas para el razonamiento en varias etapas.

Sección 2: Preparación de datos

• Aplicar una estrategia de fragmentación para una estructura de documento y restricciones de modelo determinadas.
• Filtrar el contenido superfluo en los documentos de origen que degrada la calidad de una aplicación RAG.
• Elegir el paquete de Python adecuado para extraer el contenido del documento a partir de los datos y el formato de origen proporcionados.
• Definir las operaciones y la secuencia para escribir el texto fragmentado dado en las tablas de Delta Lake en Unity Catalog.
• Identificar los documentos de origen necesarios que proporcionan el conocimiento y la calidad necesarios para una aplicación RAG determinada.
• Identificar los pares de solicitud/respuesta que se alinean con una tarea de modelo determinada.
• Utilizar herramientas y métricas para evaluar el rendimiento de la recuperación.

Sección 3: Desarrollo de aplicaciones

• Crear las herramientas necesarias para extraer datos para una necesidad de recuperación de datos determinada.
• Seleccionar Langchain/herramientas similares para su uso en una aplicación de IA generativa.
• Identificar cómo los formatos de solicitud pueden cambiar las salidas y los resultados del modelo.
• Evaluar cualitativamente las respuestas para identificar problemas comunes como la calidad y la seguridad.
• Seleccionar la estrategia de fragmentación en función del modelo y la evaluación de recuperación.
• Aumentar un mensaje con contexto adicional a partir de la entrada de un usuario en función de campos, términos e intenciones clave.
• Crear un mensaje que ajuste la respuesta de un LLM desde una línea de base hasta una salida deseada.
• Implementar barreras de protección de LLM para evitar resultados negativos.
• Escribir metaprompts que minimicen las alucinaciones o la fuga de datos privados.
• Crear plantillas de solicitud de agente que expongan las funciones disponibles.
• Seleccionar el mejor LLM en función de los atributos de la aplicación a desarrollar.
• Seleccionar una longitud de contexto del modelo de incrustación en función de los documentos de origen, las consultas esperadas y la estrategia de optimización.
• Seleccionar un modelo para de un centro de modelos o marketplace para una tarea basada en metadatos de modelo/tarjetas de modelo.
• Seleccionar el mejor modelo para una tarea determinada en función de las métricas comunes generadas en los experimentos.

Sección 4: Ensamblaje e Implementación de Aplicaciones

• Codificar una cadena utilizando un modelo pyfunc con pre y post-procesamiento.
• Controlar el acceso a los recursos desde los puntos de conexión de servicio de modelos.
• Codificar una cadena simple de acuerdo con los requisitos.
• Codificar una cadena simple usando langchain.
• Elegir los elementos básicos necesarios para crear una aplicación RAG: tipo de modelo, modelo de incrustación, recuperador, dependencias, ejemplos de entrada, firma del modelo.
• Registrar el modelo en Unity Catalog mediante MLflow.
• Secuenciar de los pasos necesarios para implementar un punto de conexión para una aplicación RAG básica.
• Crear y consulte un índice de búsqueda vectorial.
• Identificar cómo atender una aplicación de LLM que aproveche las API de Foundation Model.
• Identificar los recursos necesarios para servir las características de una aplicación RAG.

Sección 5: Gobernanza

• Utilizar técnicas de enmascaramiento como barreras de protección para cumplir un objetivo de rendimiento.
• Seleccionar técnicas de protección para protegerse contra entradas de usuarios malintencionadas a una aplicación de IA de generación.
• Recomendar una alternativa para la mitigación de texto problemático en una fuente de datos que alimenta una aplicación RAG.
• Utilizar los requisitos legales o de licencia para las fuentes de datos a fin de evitar riesgos legales.

Sección 6: Evaluación y seguimiento

• Seleccionar una opción de LLM (tamaño y arquitectura) en función de un conjunto de métricas de evaluación cuantitativas.
• Seleccionar las métricas clave que se van a supervisar para un escenario de implementación de LLM específico.
• Evaluar el rendimiento del modelo en una aplicación RAG mediante MLflow.
• Utilizar el registro de inferencia para evaluar el rendimiento de las aplicaciones RAG implementadas.
• Usar las características de Databricks para controlar los costos de LLM para aplicaciones RAG.