Un agente encuentra los setpoints óptimos.
Q-learning sobre una línea de extrusión de 3 zonas. Reacciona a drift del óptimo — qué es optimización con RL ↓
Línea de extrusión LN-EX3
Controlador activo Q-LEARNING
Calidad vs objetivo — ventana 180 s índice
Historia de setpoints — T1 · T2 · T3 °C
Recompensa por episodio (aprendizaje) Q-LEARNING
Cada episodio son 60 s de operación simulada. Comienza con Q = 0 y política aleatoria (ε = 1). Al converger, la recompensa acumulada por episodio sube — el agente descubre la combinación de setpoints cerca del óptimo (T1*, T2*, T3*).
Simulación
Perturbaciones y reset
Pesos de la recompensa
r = wq · calidad − we · energía − wv · volatilidad
Política en el estado actual arg max Q
Los 7 valores Q para el estado actual (bucket T1,T2,T3). La acción con mayor Q (barra remarcada) es la que el agente ejecutaría al explotar.
01Qué es la optimización de calidad con RL
Un agente ajusta setpoints acoplados (multi-zona, multi-variable) para maximizar calidad y minimizar consumo. Útil cuando el óptimo se desplaza con materia prima o condiciones.
- Estado
Setpoints actuales por zona + variables de proceso + calidad medida.
- Acción
Ajuste discreto de setpoint (±2 °C, cambiar velocidad, etc.).
- Recompensa
Multi-objetivo: ganancia calidad − consumo − volatilidad de consignas.
- Política
Regla aprendida que persigue el óptimo incluso cuando drift.
02Cómo funciona este demo
Q-learning tabular sobre una línea de extrusión de 3 zonas. Comparado contra receta fija y búsqueda aleatoria.
- Estado: (T1, T2, T3) discretizados en 6×6×6 = 216 buckets.
- 7 acciones: no cambiar o ajustar ±2 °C en cualquiera de las 3 zonas.
- Recompensa:
+w_q·calidad − w_e·consumo − w_v·|Δsp|(pesos ajustables). - α=0.15, γ=0.92, ε-greedy decae 1.0 → 0.05.
- Botón “drift el óptimo” mueve la receta objetivo para probar adaptación.
Si el proceso es estable y la receta está bien afinada, un setpoint fijo suele competir con RL. La ventaja aparece con drift, cambio de materia prima o cuando la calidad depende de múltiples criterios acoplados.
03Dónde se aplica en planta
Procesos con setpoints acoplados, calidad multi-criterio o condiciones variables.
Zonas térmicas acopladas, velocidad y presión para minimizar rechazos.
Procesos batch →Reactores, mezcla, cristalización: tiempos y adición óptima por lote.
Soft sensor como métrica →Cuando la calidad no se mide inline, un soft sensor da la señal al agente.
Control base + optimización →RL ajusta consignas sobre PID/MPC existentes como capa de optimización.
El agente propone, el operador decide: en etapas iniciales la salida aparece como recomendación al operador. Cambios automáticos de setpoint sólo después de validar en gemelo digital, dentro de rangos aprobados por ingeniería de proceso.
04FAQ
No. El operador conserva decisión, override y responsabilidad. El agente sugiere consignas o, en etapas maduras, optimiza dentro de rangos aprobados.
Mediciones de laboratorio o inline, o un soft sensor confiable. La representatividad de esos datos condiciona el desempeño del agente.
Setpoints acoplados, materias primas variables, drift del óptimo o calidad multi-criterio. Extrusión, batch, cristalización y multi-etapa son candidatos.