F27Fronteradesde 2017

Aprendizaje continuo

Evitar el olvido catastrófico

Aprender la tarea B sin olvidar la A. El olvido catastrófico es el talón de Aquiles de las redes; EWC y el ensayo son dos antídotos.

2017

año fundacional

laboratorio

ecuaciones

hitos citados

Lámina F27semitono de dos tintas · en vivo

§1

Intuición

Lo que se investiga hoy: representación, memoria, control.

Entrena en A, luego en B: la precisión de A se derrumba. Eso es olvido catastrófico.

EWC penaliza mover pesos importantes para A. El ensayo (replay) remezcla ejemplos viejos.

El laboratorio muestra ambas curas en un clasificador 2D de dos tareas.

§2

EWC: $mathcal{L}=mathcal{L}_B + rac{lambda}{2}sum_i F_i( heta_i- heta_i^*)^2$ con $F$ la Fisher diagonal.

Replay: buffer de episodios de A mezclado con B.

Otras líneas: progressive nets, packnet, GWT.

Ec. 27.1Elastic Weight Consolidation

\mathcal{L}=\mathcal{L}_B+\frac{\lambda}{2}\sum_i F_i(\theta_i-\theta_i^*)^2

Ec. 27.2Fisher diagonal

F_i\approx\mathbb{E}[(\partial_\theta_i\log p)^2]

§3

Lab 27.1 calculado en tu navegadorDetectando…

Entrena tarea A, luego B. Compara sin protección, con EWC y con replay; mira las dos precisiones.

Ejercicio enriquecido

§4

1989
McCloskey y Cohen documentan el olvido catastrófico.
McCloskey & Cohen (1989)
2017
EWC (Kirkpatrick et al., DeepMind).
Kirkpatrick et al. (2017), PNAS
2017
iCaRL y replay para visión.
Rebuffi et al. (2017)
2022
Continual learning en LLMs y agentes.
encuestas recientes