Temario curso

Tema 1: Fundamentos matemáticos

• Álgebra lineal
  • Vector
  • Escalar
  • Matriz
  • Tensor
  • Operaciones y manipulaciones de matrices
  • Independencia lineal de vectores
  • Rango de una matriz
  • Matriz de identidad u operador
  • Determinante de una matriz
  • Inverso de una matriz
  • Norma de un vector
  • Pseudo-inversa de una matriz
  • Vector unitario en la dirección de un vector específico
  • Proyección de un vector en la dirección de otro vector
  • Vectores de Eigen
• Cálculo
  • Diferenciación
  • Gradiente de una función
  • Derivadas parciales sucesivas
  • Matriz hessiana de una función
  • Máximos y mínimos de funciones
  • Mínimos locales y mínimos globales
  • Semidefinido positivo y definido positivo
  • Conjunto convexo
  • Función convexa
  • Función no convexa
  • Ejemplos de funciones multivariantes, convexas y no convexas
  • Serie Taylor
• Probabilidad
  • Uniones, intersección y probabilidad condicional
  • Regla de probabilidad en cadena para la intersección de eventos
  • Eventos mutuamente excluyentes
  • Independencia de eventos
  • Independencia condicional de los eventos
  • Regla de Bayes
  • Función de masa de probabilidad
  • Función de densidad de probabilidad
  • Expectativa de una variable aleatoria
  • Varianza de una variable aleatoria
  • Asimetría y curtosis
  • Covarianza
  • Coeficiente de correlación
  • Alguna distribución de probabilidad común
  • Función de verosimilitud
  • Estimación de máxima verosimilitud
  • Prueba de hipótesis y valor p
• Formulación de algoritmos de aprendizaje automático y técnicas de optimización
  • Aprendizaje supervisado
  • Aprendizaje no supervisado
  • Aprendizaje por refuerzo
  • Técnicas de optimización para el descenso de gradiente de aprendizaje automático
  • Problema de optimización restringida
• Algunos temas importantes en el aprendizaje automático
  • Métodos de reducción de dimensionalidad
  • Regularización
  • La regularización vista como un problema de optimización de restricciones
  • Compensación de sesgo y varianza

Tema 2: Introducción a los conceptos de aprendizaje profundo y TensorFlow

• Deep Learning y su evolución
• Perceptrones y algoritmo de aprendizaje de perceptrones
  • Interpretación geométrica del aprendizaje del perceptrón
  • Limitaciones del aprendizaje del perceptrón
  • Necesidad de no linealidad
  • Función de activación de perceptrones de capa oculta para la no linealidad
  • Diferentes funciones de activación para una neurona/perceptrón
  • Regla de aprendizaje para la red de perceptrón multicapa
  • Retropropagación para el cálculo de gradientes
  • Generalización del método de retropropagación para el cálculo de gradientes
• TensorFlow
  • Paquetes comunes de aprendizaje profundo
  • Instalación de TensorFlow
  • Conceptos básicos de TensorFlow para el desarrollo
  • Métodos de optimización de gradiente-descenso desde una perspectiva de aprendizaje profundo
  • Tasa de aprendizaje en el enfoque de minilotes para el descenso de gradiente estocástico
  • Optimizadores en TensorFlow
  • Implementación de XOR con TensorFlow
  • Regresión lineal en TensorFlow
  • Clasificación multiclase con función SoftMax mediante descenso de gradiente de lote completo
  • Clasificación multiclase con función SoftMax mediante descenso de gradiente estocástico
• GPU
• TPU

Tema 3: Redes Neuronales Convolucionales

• Operación de convolución
  • Sistemas Invariantes de Tiempo Lineal (LTI)/Invariantes de Desplazamiento Lineal (LSI)
  • Convolución para señales en una dimensión
• Señales analógicas y digitales
  • Señales 2D y 3D
• Convolución 2D
  • Función de paso unitario bidimensional
  • Convolución 2D de una señal con una respuesta de paso unitaria del sistema LSI
  • Convolución 2D de una imagen a diferentes respuestas del sistema LSI
• Filtros comunes de procesamiento de imágenes
  • Filtro medio
  • Filtro mediano
  • Filtro gaussiano
  • Filtros basados en degradado
  • Filtro de detección de bordes Sobel
  • Transformación de identidad
• Redes neuronales de convolución
• Componentes de las redes neuronales de convolución
  • Capa de entrada
  • Capa de convolución
  • Capa de agrupación
• Retropropagación a través de la capa convolucional
• Retropropagación a través de las capas de agrupación
• Compartir peso a través de la convolución y sus ventajas
• Equivarianza de traducción
• Invarianza de conversión debido a la agrupación
• Capas de abandono y regularización
• Red neuronal convolucional para el reconocimiento de dígitos en el conjunto de datos MNIST
• Red neuronal convolucional para resolver problemas del mundo real
• Normalización por lotes
• Diferentes arquitecturas en redes neuronales convolucionales
  • LeNet
  • AlexNet
  • VGG16
  • ResNet
• Aprendizaje por transferencia
  • Pautas para usar el aprendizaje por transferencia
  • Transferir el aprendizaje con InceptionV3 de Google
  • Transferencia de aprendizaje con VGG16 preentrenado
• Convolución dilatada
• Convolución separable en profundidad

Tema 4: Procesamiento del Lenguaje Natural

• Modelo de espacio vectorial (VSM)
• Representación vectorial de palabras
• Word2Vec
  • Bolsa continua de palabras (CBOW)
  • Implementación continua de Bag of Words en TensorFlow
  • Modelo de salto de gramas para la incrustación de palabras
  • Implementación de skip-gram en TensorFlow
  • Vectores de palabras basados en estadísticas de co-ocurrencia global
  • Guante
  • Analogía de palabras con vectores de palabras
• Introducción a las redes neuronales recurrentes
  • Modelado de lenguaje
  • Predecir la siguiente palabra en una oración a través de RNN versus métodos tradicionales
  • Retropropagación a través del tiempo (BPTT)
  • Problema de gradiente de desaparición y explosión en RNN
  • Solución al problema del gradiente de desaparición y explosión en RNN
  • Memoria a corto plazo (LSTM)
  • LSTM en la reducción de problemas de gradiente de explosión y desaparición
  • Identificación de dígitos MNIST en TensorFlow mediante redes neuronales recurrentes
  • Unidad recurrente cerrada (GRU)
  • RNN bidireccional
  • Arquitectura del modelo de traducción automática neuronal usando Seq2Seq
  • Limitación del modelo Seq2Seq para la traducción automática
• Atención
• Atención al producto de punto escalado
• Atención multicabezal
• Transformadores
  • Codificador
  • Descodificador
  • Codificación posicional
  • Salida final

Tema 5: Aprendizaje no supervisado con máquinas de Boltzmann restringidas y autocodificadores

• Distribución Boltzmann
• Inferencia bayesiana: distribución de probabilidad, priores y probabilidad posterior
• Métodos de Markov Chain Monte Carlo para el muestreo
  • Algoritmo de Metrópolis
• Máquinas Boltzmann restringidas
  • Entrenamiento de una máquina Boltzmann restringida
  • Muestreo de Gibbs
  • Muestreo de Gibbs en bloque
  • Período de quemado y generación de muestras en el muestreo de Gibbs
  • Uso del muestreo de Gibbs en máquinas de Boltzmann restringidas
  • Divergencia contrastiva
  • Una implementación restringida de Boltzmann en TensorFlow
  • Filtrado colaborativo con máquinas Boltzmann restringidas
  • Redes de Creencias Profundas (DBN)
• Codificadores automáticos
  • Aprendizaje de características a través de autocodificadores para el aprendizaje supervisado
  • Divergencia de Kullback-Leibler (KL)
  • Implementación dispersa de autocodificador en TensorFlow
  • Eliminación de ruido del codificador automático
  • Una implementación de autocodificador de eliminación de ruido en TensorFlow
  • Inferencia variacional
  • Objetivo de autocodificador variacional de ELBO
  • Detalles de implementación del autocodificador variacional
  • Implementación de Autocodificador Variacional
• Blanqueamiento PCA y ZCA

Tema 6: Redes Neuronales Avanzadas

• Segmentación de imágenes
  • Método de umbral binario basado en el histograma de intensidades de píxeles
  • Método de Otsu
  • Algoritmo de cuenca hidrográfica para la segmentación de imágenes
  • Segmentación de imágenes mediante clustering de K-medias
  • Segmentación semántica
  • Aproximación de ventana corredera
  • Red totalmente convolucional (FCN)
  • Red totalmente convolucional con resolución descendente y resolución ascendente
  • U-Net
  • Segmentación semántica en TensorFlow con redes neuronales totalmente conectadas
• Red de clasificación y localización de imágenes
• Detección de objetos
  • R-CNN
  • R-CNN cada vez más rápido
• Redes generativas antagónicas
  • Problema de Maximin y Minimax
  • Juego de suma cero
  • Puntos Minimax y Saddle
  • Función de costos y capacitación de GAN
  • Gradiente evanescente para el generador
  • GAN Aprendizaje desde una perspectiva de divergencia F
  • Implementación de TensorFlow de una red GAN
  • Implementación de CycleGAN en TensorFlow
• Aprendizaje profundo geométrico y redes neuronales gráficas
  • Colectores
  • Implementación de la clasificación de grafos mediante GCN