AutoML y NAS
Buscar arquitecturas y tiperparámetros
Si el aprendizaje automatiza el ajuste de pesos, AutoML automatiza el ajuste del propio algoritmo: hiperparámetros y arquitecturas.
Intuición
Un espacio de búsqueda (capas, LR, regularización) se explora con Bayesian optimization, evolución o RL.
NAS encuentra arquitecturas; el paisaje de fitness se visualiza en vivo.
El laboratorio busca un MLP pequeño sobre un dataset 2D.
Mecanismo
BayesOpt: modelo gaussiano del fitness + adquisición (EI, UCB).
NAS: search space + search strategy + evaluation (weight sharing, DARTS).
HPO clásico: grid/random, Hyperband, TPE.
Laboratorio
Búsqueda de arquitecturas en vivo
Un espacio pequeño de MLPs; BayesOpt sugiere candidatos. Mira el paisaje de fitness y el mejor modelo.
Historia
- 1998
Auto-WEKA y búsqueda de pipelines.
Thornton et al. (2013) formaliza
- 2017
NAS con RL (Zoph & Le).
Zoph & Le (2017), ICLR
- 2019
DARTS: NAS diferenciable.
Liu, Simonyan & Yang
- 2022
AutoML embebido en nubes y LLM-agents.
industria
Límites
Evaluar cada candidato es carísimo.
El search space sesga lo encontrable.
Arquitecturas transferidas pueden fallar fuera de distribución.
¿Quién diseña al diseñador?
AutoML desplaza la creatividad al espacio de búsqueda.
¿Es eso más o menos científico que el ensayo-error humano?