Una IA aprende a controlar un tanque calentado.
Q-learning contra PID clásico y política aleatoria en la misma simulación. En tu navegador — qué es el control adaptativo ↓
Tanque calentado TK-201
Controlador activo Q-LEARNING
Temperatura vs setpoint — ventana 120 s °C
Q-table 24 estados × 5 acciones
Recompensa por episodio (aprendizaje) Q-LEARNING
Cada episodio son 60 s de operación simulada. El agente comienza con Q = 0 y política aleatoria. Al converger, la recompensa acumulada sube (más negativa a menos negativa).
Simulacion
Perturbaciones
Hiperparámetros Q-learning
Política aprendida arg max Q
Por cada bucket de temperatura, la barra vertical muestra la apertura óptima de válvula según Q. Frío → válvula abierta. Caliente → válvula cerrada.
01Qué es el control adaptativo con IA
Un agente aprende por prueba y error, dentro de un simulador, a controlar una variable de proceso. Complementa — no sustituye — PID, cascadas, MPC e interlocks.
- Estado
Lo que el agente observa (temperatura, error vs setpoint, derivada).
- Acción
Variable manipulable (apertura de válvula, potencia, consigna).
- Recompensa
Señal numérica (−|error|, eficiencia, estabilidad).
- Política
Regla aprendida que mapea estado a acción.
02Cómo funciona este demo
Q-learning tabular contra PID clásico y política aleatoria. Mismo proceso simulado para los tres.
- Discretización del estado (temperatura) en 24 buckets.
- Espacio de acciones: 5 aperturas discretas de válvula de vapor.
- Regla de Bellman:
Q[s,a] += α · (r + γ · max Q[s',:] − Q[s,a]). - α=0.20, γ=0.90, ε-greedy decae 1.0 → 0.05.
- Compara convergencia y robustez contra PID afinado y aleatorio.
En control SISO suave, un PID bien calibrado suele igualar a Q-learning. RL emerge en MIMO, dinámicas cambiantes, retardos largos o funciones objetivo multi-criterio (calidad + energía + estabilidad).
03Dónde se aplica en planta
Procesos donde la dinámica es difícil de modelar o el objetivo combina varios criterios.
Hornos, reactores, tanques calentados. Complementar PID ante perturbaciones frecuentes.
Optimización energética →Reducir consumo específico de vapor, refrigeración o aire comprimido.
Calidad multi-setpoint →Procesos con zonas acopladas donde la calidad depende del balance.
Soft sensor como entrada →Cuando la variable controlada no se mide directamente, se infiere con ML.
Pipeline responsable: datos de planta → gemelo digital → entrenamiento y validación → despliegue supervisado como recomendador o optimizador de setpoints → monitoreo continuo con límites e interlocks del PLC.
04FAQ
No. PID, interlocks e instrumentación crítica siguen siendo la base. RL puede sumar como recomendador, optimizador de consignas o supervisor dentro de límites definidos.
No. El entrenamiento inicial ocurre en un gemelo digital o simulador. El despliegue a planta es gradual y supervisado.
Procesos con retardos largos, dinámicas cambiantes, MIMO acoplado o funciones objetivo multi-criterio. Control térmico, hornos y reactores son candidatos típicos.