Computación de reservorio y KAN
Redes de eco y redes de Kolmogorov-Arnold
Dos ideas heterodoxas. Una: no entrenes la red recurrente, déjala resonar y aprende solo a leerla. Otra: en vez de pesos numéricos, aprende funciones en cada conexión.
Intuición
Una red de estado de eco (ESN) es un reservorio de cientos de neuronas conectadas al azar. La entrada lo perturba como una piedra en un estanque; las ondas reverberan y mezclan el presente con el pasado reciente. Solo se entrena una capa de lectura lineal, con una regresión de cresta: segundos en lugar de horas.
Si el reservorio está en el borde del caos (radio espectral cercano a 1), su memoria y riqueza dinámica son máximas. En el laboratorio, una ESN aprende la serie caótica de Mackey-Glass y luego la genera sola, en bucle cerrado.
Las redes de Kolmogorov-Arnold (KAN, Liu et al., 2024) invierten el perceptrón: las neuronas solo suman y cada conexión es una función univariada aprendible (un spline o una suma de bases). El resultado puede leerse: cada arista muestra la forma que aprendió.
Mecanismo
ESN: , con fija y reescalada a radio espectral . La lectura se calcula en forma cerrada. La propiedad de eco garantiza que el estado dependa de la historia de la entrada y no de la condición inicial.
El teorema de Kolmogorov-Arnold (1957) dice que toda función continua de variables se escribe como : basta sumar funciones de una variable. KAN generaliza esto a capas profundas y aprende las funciones por gradiente.
El laboratorio de KAN usa bases radiales gaussianas por arista (la variante FastKAN) entrenadas con retropropagación en vivo; se dibuja cada función aprendida.
Laboratorio
Red de estado de eco predice el caos
Entrena la lectura con regresión de cresta sobre Mackey-Glass y deja al reservorio generar la serie en bucle cerrado. Ajusta radio espectral y fuga.
Una KAN aprende funciones en sus aristas
Red [2, 3, 1] con funciones aprendibles por arista. Elige una función objetivo y observa cómo cada arista adopta una forma.
Historia
- 1957
Kolmogorov y Arnold resuelven el problema 13 de Hilbert: la superposición de funciones univariadas basta.
Kolmogorov (1957), Doklady Akad. Nauk SSSR 114
- 1977
Mackey y Glass proponen su ecuación con retardo para sistemas fisiológicos.
Mackey & Glass (1977), Science 197
- 2001
Herbert Jaeger introduce las redes de estado de eco.
Jaeger (2001), GMD Report 148
- 2002
Maass, Natschläger y Markram proponen las máquinas de estado líquido.
Maass, Natschläger & Markram (2002), Neural Computation 14(11)
- 2004
Jaeger y Haas predicen caos con ESN, mejorando la precisión en órdenes de magnitud.
Jaeger & Haas (2004), Science 304
- 2018
Pathak et al. predicen la dinámica de Kuramoto-Sivashinsky con reservorios.
Pathak et al. (2018), Physical Review Letters 120
- 2024
Liu et al. publican KAN: Kolmogorov-Arnold Networks.
Liu et al. (2024), arXiv:2404.19756 (ICLR 2025)
Límites
Los reservorios necesitan ajuste de hiperparámetros (radio espectral, fuga, escala) y no aprenden representaciones profundas.
Las KAN son más lentas por parámetro que los MLP y su ventaja fuera de problemas científicos pequeños está en debate.
¿Hace falta entenderlo todo para aprovecharlo?
El reservorio es caos domesticado: nadie diseña sus conexiones y aun así su dinámica computa. Es una idea cercana a la «computación física»: cualquier sistema dinámico suficientemente rico —un balde de agua, un circuito óptico— podría ser un reservorio.
KAN, al contrario, busca que cada pieza sea legible, recuperando fórmulas simbólicas. ¿Preferimos máquinas que funcionan o máquinas que se dejan comprender?