Un vehículo autoguiado aprende su ruta óptima.
Q-learning tabular sobre un grid 12×10 con obstáculos editables — qué es un AGV con IA ↓
AGV en operación AGV-07
Controlador activo Q-LEARNING
Progreso de aprendizaje EN VIVO
Almacén — piso planta 12 × 10 celdas
Recompensa por episodio CURVA DE APRENDIZAJE
Cada barra representa un episodio completo (desde el muelle de carga hasta entrega o fin). Al converger, el agente encuentra rutas cortas y sin choques, por lo que la recompensa acumulada sube.
Pasos por episodio EFICIENCIA
Simulación
Vista del almacén OVERLAYS
V(s) = valor esperado desde cada celda (celdas brillantes = cerca del objetivo). π(s) = flecha de la mejor acción aprendida. Los overlays cambian según lleve o no insumo.
Almacén
Hiperparámetros Q-learning
01Qué es un AGV con IA
Un vehículo autoguiado aprende rutas y asignación de tareas en un entorno con obstáculos, pickup y dropoff. La misma lógica escala a flotas en almacenes y manufactura.
- Estado
Posición (x,y) del AGV + flag de “tiene carga”.
- Acción
Mover arriba, abajo, izquierda o derecha.
- Recompensa
−1 por paso, +10 pickup, +20 entrega, −50 colisión.
- Política
Qué dirección elegir en cada celda y fase (ir a pickup / ir a dropoff).
02Cómo funciona este demo
Q-learning tabular sobre un grid 12×10 con obstáculos editables, puntos de pickup y dropoff.
- 240 estados (12×10×2 fases) × 4 acciones = Q-table de 960 celdas.
- α=0.30, γ=0.95, ε-greedy decae 1.0 → 0.05 (0.985 por episodio).
- Convergencia a 80% de éxito en ~156 episodios con layout por defecto.
- Overlays visualizables: value function (heatmap) y política (flechas por celda).
- Click en cualquier celda añade/elimina obstáculo → el agente debe reaprender.
El grid world es una abstracción didáctica. En aplicación real se usa representación continua (mapas de ocupación, SLAM), planificadores clásicos (A*, D*) como base, y RL profundo para problemas donde la coordinación o incertidumbre lo justifican.
03Dónde se aplica en planta
Movimiento de material con decisiones secuenciales o coordinación entre vehículos.
Coordinación multi-robot, asignación dinámica de tareas, evasión de congestión.
WIP entre estaciones →Movimiento de material entre celdas de manufactura con prioridades variables.
Coordinación + optimización →RL combinado para logística + calidad en línea.
Primer de RL →Si no conoces reinforcement learning, empieza con el péndulo → misma lógica, más simple.
Seguridad funcional antes que optimalidad: la seguridad del AGV sigue en sistemas certificados: bumpers, LiDAR, paros de emergencia, velocidades limitadas por zona. Un agente de IA optimiza por encima de esas garantías, nunca las sustituye.
04FAQ
A* calcula rutas óptimas en mapa estático conocido. RL generaliza a muchas situaciones y puede incorporar coordinación multi-robot o restricciones blandas. En la práctica se combinan.
No. El entrenamiento inicial se hace en simulador o gemelo digital. El refinamiento en operación ocurre dentro de ventanas supervisadas.
Almacenes con pedidos variables, flotas multi-robot con congestión, movimiento inter-estación en manufactura, prioridades cambiantes por turno.