Que los estudiantes manejen las herramientas de cálculo y de optimización que sostienen el entrenamiento de los modelos: gradientes y derivadas parciales, optimización lineal, convexa y combinatoria, el Laplaciano de grafos y la teoría espectral, y una noción aplicada de teoría de juegos para decisiones en entornos interactivos.
Cinco unidades
Unidad 1Cálculo diferencial para modelos5 h
- Derivada y derivadas parciales; gradiente como dirección de máximo crecimiento.
- Regla de la cadena y su forma multivariada: es literalmente la retropropagación de M7.
- Matriz jacobiana y hessiana; curvatura, puntos críticos, mínimos, máximos y puntos silla.
- Diferenciación numérica, simbólica y automática; verificación numérica del gradiente.
- Series de Taylor y aproximación local de una función de pérdida.
Dónde se usaM5 (optimización de la pérdida en modelos regularizados), M7 (retropropagación), M8 (entrenamiento de redes recurrentes).
Unidad 2Optimización sin restricciones y descenso por gradiente6 h
- El problema de minimización; existencia y unicidad; función objetivo de un modelo estadístico.
- Convexidad de conjuntos y funciones; por qué la convexidad garantiza el óptimo global y qué se pierde sin ella.
- Descenso por gradiente: tasa de aprendizaje, convergencia, mal condicionamiento y sus efectos.
- Variantes: descenso estocástico y por lotes, momento, Adam; su lectura como métodos de optimización.
- Métodos de segundo orden: Newton y cuasi-Newton (BFGS, L-BFGS); cuándo se usan en la práctica de la Ciencia de Datos.
- Mínimos cuadrados como problema de optimización; solución cerrada frente a solución iterativa.
Dónde se usaM5 (ajuste de todos los modelos lineales), M7 y M8 (entrenamiento), M6 (funciones objetivo del agrupamiento).
Unidad 3Optimización con restricciones, lineal y regularización6 h
- Problemas con restricciones; multiplicadores de Lagrange y lectura intuitiva de las condiciones KKT.
- Dualidad: enunciado y su rol en la formulación de las máquinas de vectores soporte de M5.
- Programación lineal: formulación, geometría del poliedro, método símplex como caja negra, análisis de sensibilidad.
- Regularización L1 y L2 como restricción sobre la norma: por qué Lasso produce coeficientes nulos y Ridge no.
- Optimización combinatoria: complejidad, problemas de asignación y de recorrido, heurísticas y metaheurísticas.
- Herramientas: SciPy.optimize, CVXPY y un solver de programación lineal.
Dónde se usaM5 (regularización, SVM), M6 (selección de variables), proyecto integrador (problemas de decisión).
Unidad 4Grafos, Laplacianos y difusión5 h
- Del grafo a la matriz: adyacencia, grado, incidencia (retoma M1) y Laplaciano combinatorio y normalizado.
- Espectro del Laplaciano: el autovalor nulo, la conectividad, el segundo autovalor y el corte del grafo.
- Clustering espectral: derivación intuitiva del algoritmo que se aplica en M6.
- Ecuación de difusión sobre grafos; caminatas aleatorias, PageRank y propagación de etiquetas.
- Medidas de centralidad y análisis de redes con NetworkX.
Dónde se usaM6 (clustering espectral, matrices de similitud), M7 (panorama de redes sobre grafos), proyecto integrador (datos relacionales).
Unidad 5Teoría de juegos aplicada a la decisión con datos3 h
- Juegos en forma normal, estrategias, equilibrio de Nash; equilibrio en estrategias mixtas.
- Juegos de suma cero y su formulación como programa lineal (enlaza con la Unidad 3).
- Aprendizaje en juegos repetidos; bandidos multibrazo y el compromiso exploración-explotación.
- Aplicaciones: fijación de precios, asignación de recursos, competencia entre agentes y una noción de aprendizaje adversario.
Dónde se usaProyecto integrador; base conceptual del entrenamiento adversario mencionado en M7.
Evaluación
Trabajo práctico con dos partes: (i) implementación y comparación de métodos de optimización sobre una función de pérdida real, con análisis del efecto de los hiperparámetros; (ii) análisis espectral de un grafo con interpretación de los grupos obtenidos. Se evalúa la capacidad de conectar cada herramienta con su uso posterior, no la demostración de resultados teóricos.
Datos de trabajo
Conjunto tabular transversal (para las funciones de pérdida), una red real de mediano tamaño y un problema de asignación con datos operativos.
Bibliografía
- Boyd, S. y Vandenberghe, L. (2004). Convex Optimization (caps. 1 a 5, uso selectivo).
- Deisenroth, M. P., Faisal, A. A. y Ong, C. S. (2020). Mathematics for Machine Learning, caps. 5 y 7.
- Nocedal, J. y Wright, S. (2006). Numerical Optimization (referencia).
- Documentación de SciPy.optimize, CVXPY y NetworkX.