Ir al contenido
storagebits

Dos robots micro:bit juegan al gato y al ratón, montados en una tarde

Dos robots micro:bit comprados durante el Covid, una Raspberry Pi, una cámara en el techo y marcadores ArUco impresos en papel: en una tarde, una prueba de concepto de robótica que se pilota desde la web.

10 min de lectura#devlog#agents#robótica#microbit

Compré estos dos robots durante el Covid, para hacer un poco de electrónica. Me gustaba la idea de la micro:bit, sobre todo con MakeCode y su programación visual, y quería acercar a mis hijos a ella. Después llegaron los chasis :MOVE mini de Kitronik, para que las placas se movieran. Ya habíamos hecho un pequeño proyecto para manejarlos con mandos de arcade. Estaba bien, pero me llevó varios meses de fines de semana.

El sábado los volví a sacar. Con la IA, monté en una tarde una prueba de concepto mucho más avanzada: dos robots que juegan al gato y al ratón sobre una mesa, seguidos por una cámara en el techo, pilotados desde una página web por cualquier visitante, o por una IA cuando no se presenta nadie. El encargo sale a las 17:53, la demo se graba a las 23:30. Entre medias hubo el flasheo de los robots, la detección espacial y una librería que no conocía en absoluto: ArUco, la de los marcadores.

El montaje de la demo, 33 segundos sin sonido: la IA contra la IA, vista desde la pista, la grada y el cielo, con la repetición a cámara lenta de un toque.

# La escena

Al principio hay una Raspberry Pi 4 de 2 GB, una webcam USB fijada al extremo de una tabla sobre una mesa blanca, y los dos robots. Mi encargo cabía en un mensaje dictado: una interfaz web con telemetría al estilo SpaceX, un primer juego en el que un robot debe tocar al otro, una cola para los visitantes, el pilotaje con las flechas o con ZQSD, y IA en alguna parte. El código viviría en mi Mac y se ejecutaría en la Pi.

Un rincón de despacho: una estantería con un viejo PC Tandon y su monitor, la pantalla de la Raspberry Pi debajo, una tabla que sobresale de la estantería con una webcam en el extremo, sobre una mesa blanca donde esperan los dos pequeños robots.
La escena al principio: la webcam USB al extremo de su tabla, la mesa blanca que hace de arena y la pantalla de la Pi abajo a la izquierda.

Veinte minutos después, el primer commit contenía el sistema completo: firmware, servidor, visión, árbitro, IA rival e interfaz. Nada había rodado aún en un robot de verdad.

# La arquitectura

Arquitectura de micro:brawlDos robots micro:bit hablan con la Raspberry Pi 4 por Bluetooth Low Energy: órdenes de las ruedas a 20 Hz en un sentido, telemetría en el otro. Tres cámaras envían su flujo MJPEG a la Pi: un teléfono en el techo para el seguimiento, una webcam USB y un viejo portátil a ras de mesa para el espectáculo. En la Pi, un servidor FastAPI ejecuta el enlace Bluetooth, la visión ArUco, el árbitro y la IA, y las repeticiones. El navegador recibe el estado diez veces por segundo por WebSocket y el vídeo en MJPEG, y devuelve las teclas del piloto.Teléfono en el techovista del cielo, 720psirve para el seguimientoWebcam USBvista de pistaespectáculo y repeticionesViejo portátilvista de grada, rasanteemite bajo demandaMJPEGRobot Amicro:bit V1.5 + :MOVE minifirmware MakeCoderuedas paradas tras 400 msRobot Bmicro:bit V1.5 + :MOVE minifirmware MakeCoderuedas paradas tras 400 msBluetooth LEruedas 20 Hz →← acelerómetro, temp.Raspberry Pi 4 · 2 GBun servidor FastAPIrobots.pyenlace BLE, reconexiónvision.pyArUco → cmgame.pyárbitro e IA, 20 Hzreplay.pyrepeticiones de toquesweb/la página de telemetríaNavegadortelemetría, vídeo,cola de esperaflechas, ZQSD o WASDpara pilotarestado, 10 Hzvídeo MJPEGteclasWebSocket
Todo pasa por la Pi: una sola conexión por cámara, sea cual sea el número de espectadores. Solo la vista del cielo sirve para el seguimiento; las otras dos hacen el espectáculo y las repeticiones.

La Pi lo hace todo. Habla con las dos micro:bit por Bluetooth Low Energy, con bleak: envía la velocidad de las ruedas 20 veces por segundo y recibe la aceleración, los golpes y la temperatura. Lee las cámaras, arbitra la partida, hace jugar a la IA y sirve la interfaz, una aplicación FastAPI. El navegador recibe el estado del juego diez veces por segundo por WebSocket, y el vídeo en MJPEG.

El firmware no sabe nada de izquierda, derecha ni calibración: aplica velocidades en bruto a los dos servos. La Pi hace la traducción, lo que permite ajustar un robot sin volver a flashearlo. Si no llega ninguna orden durante 400 ms, las ruedas se paran.

# El flasheo: una cara triste y «020»

El primer flasheo falló. La micro:bit mostraba un 0, un 2 y una cara triste: el error 020, sin memoria. Mis placas son V1.5, con 16 KB de RAM, y la pila Bluetooth de MakeCode no cabe con todos sus servicios. El agente desactivó los que aquí no servían para nada: la actualización por radio, los eventos, la información del dispositivo y el flasheo parcial. El programa arrancó.

El flasheo en sí no pide nada. Un script espera a que la placa aparezca en el Mac como un pendrive, copia en ella el firmware compilado, espera a que se vuelva a montar y comprueba que no indique ningún error. Durante la tarde, una de las micro:bit se quedó con la pantalla vacía: volver a flashearla llevó veinte segundos.

El resto del tiempo perdido fue físico. Los robots ya no se encendían, y salí a comprar pilas.

# ArUco, la librería que no conocía

Para saber dónde están los robots, el agente me propuso ArUco, unos marcadores cuadrados en blanco y negro cuya detección viene integrada en OpenCV. No la conocía en absoluto. Hace exactamente lo que necesitaba: identificar cada robot, saber en qué sentido avanza y situarlo en el espacio, muy rápido.

Un marcador es una cuadrícula de 4 × 4 casillas dentro de un borde negro. El dibujo da un identificador, 1 para el robot A y 2 para el B, y el orden de las cuatro esquinas da la orientación: el borde de arriba del marcador es la parte delantera del robot. Queda pasar de píxeles a centímetros. Hago clic una vez en las cuatro esquinas de la mesa en la interfaz, y una homografía proyecta cada punto de la imagen sobre un rectángulo de 84 × 55 cm.

Del marcador ArUco a la posición en centímetrosCada imagen de 1280 por 720 de la cámara del techo se decodifica directamente a la mitad de su tamaño y en gris. OpenCV busca en ella los marcadores del diccionario 4x4_50: el identificador 1 es el robot A, el 2 el robot B, y cada marcador encontrado da sus cuatro esquinas en orden. Una homografía, calculada a partir de las cuatro esquinas de la mesa marcadas una vez en la interfaz, convierte esos puntos de la imagen en centímetros sobre una mesa de 84 por 55 cm. El centro del marcador da la posición; el punto medio de su borde de arriba, la parte delantera del robot, y por tanto su rumbo.Imagen del techo1280×720MJPEG del teléfonoDecodificación a ½640×360en gris, desde el JPEGdetectMarkers15 msid 1 = A, id 2 = B4 esquinas, en ordenHomografía4 clicsesquinas de la mesapíxeles → cmPose del robotx, y, rumboy velocidad suavizadaEl marcador del robot A (id 1), visto desde el techoesquinas 0 y 1: el borde de arriba= la parte delanteracentro = media de las 4 esquinasrumbo = del centro alpunto medio del borde de arribaLa mesa, antes y después de la homografíaen la imagenH84 × 55 cmen centímetros
Toda la visión cabe en estos cinco pasos. Los 15 ms se midieron en la Pi, con las imágenes del rodaje: a tamaño completo hacían falta 46, con la misma tasa de detección.

Ahí estaba mi parte del trabajo: imprimir la hoja de marcadores al 100 %, recortar los cuadrados de 4 cm, pegarlos en cartón y colocarlos como un techo sobre cada robot, planos, apoyados delante en el canto de la micro:bit. Antes, el agente no podía saber en qué sentido giraba cada rueda: visto desde el techo, un robot sin marcador mide unos pocos píxeles. Con los marcadores pegados, hizo que cada robot diera cuatro pequeños movimientos y dedujo el cableado de los motores viendo adónde iban.

Los dos robots :MOVE mini de frente sobre la mesa blanca, la micro:bit de pie delante con sus LED rojos encendidos, y encima de cada uno un marcador pegado en cartón, colocado plano como un techo.
Los dos robots, con su marcador colocado como un techo sobre la micro:bit.

# Lo que se rompió

Durante una partida contra la IA, el juego se detuvo con «B is not seen», cuando el robot B estaba ahí, encendido. Medido en ese momento, su marcador solo se detectaba en el 51 % de las imágenes. Estaba un poco tapado, y eso es muy sensible: un marcador tiene que verse entero, con nitidez, para reconocerse. Lo recoloqué, el agente amplió las ventanas de umbralización del detector, y los dos robots pasaron al 100 %.

La otra sorpresa vino de la cámara. La imagen de la webcam USB era mediocre, y la sustituí en el techo por un viejo teléfono Redmi con la aplicación IP Webcam. La imagen era mejor, pero el retraso entre mover el teléfono y verlo en pantalla me pareció inaceptable para pilotar. La causa: la Pi analizaba 17 imágenes por segundo cuando el teléfono enviaba 30, y el retraso se acumulaba en el búfer de red. El agente separó la lectura del flujo y el seguimiento: un hilo vacía la cámara de forma continua, el otro solo procesa la imagen más reciente.

Luego el teléfono volvió solo a 1080p tras reiniciarse la aplicación, y los círculos de seguimiento aparecieron al lado de los robots. Desde entonces, toda la geometría se calcula en coordenadas relativas al tamaño de la imagen, y el servidor vuelve a imponer 720p en cada conexión.

# La cámara que no sigue a nadie

El viejo portátil colocado al borde de la mesa, un eeePC con Arch Linux, también tiene webcam. Era tentador usarla para la visión. El agente la descartó: con una vista tan rasante, las posiciones no sirven, y el procesador Atom no tiene potencia para ello. Esa cámara hace el espectáculo: una vista de grada, y la repetición de cada toque, reconstruida a partir de los últimos segundos que la Pi guarda en memoria de cada cámara. El portátil solo emite cuando alguien mira.

# El reparto de papeles

Lo que me gustó de este proyecto es ver al agente y su código actuar sobre el mundo real. Veía muy concretamente robots moverse y comportarse. Y yo hacía en el mundo real lo que la IA no puede hacer: imprimir, recortar, pegar, preparar.

# Dónde estoy

A las 23:30, el modo demo hacía jugar a la IA contra la IA, en partidas de 45 segundos que se encadenan solas, mientras el agente grababa las tres cámaras y la interfaz. De ahí sacó el montaje de arriba, las imágenes de esta entrada y un hilo que publiqué al día siguiente en X y Bluesky.

La interfaz de micro:brawl en plena partida: en el centro, la vista del cielo con los dos marcadores rodeados por un círculo naranja y otro azul, la vista de pista incrustada; a izquierda y derecha, la telemetría de cada robot; abajo, el trazado en el suelo, el registro y el estado de la Pi.
La interfaz en plena partida, en inglés: la vista del cielo con los marcadores seguidos, la telemetría de cada robot a ambos lados, el trazado en el suelo, el registro de toques y el estado de la Pi.
La misma interfaz, grabada durante el modo demo: la telemetría de A, luego la de B, la repetición de un toque, el trazado y el registro.

A la mañana siguiente, el agente corrigió lo que había mostrado el rodaje. Contra la IA, cae un toque cada 10 segundos más o menos, y los espectadores casi solo veían repeticiones: ahora son más cortas y devuelven la imagen al directo en cuanto se reanuda el juego. Perder el Bluetooth pone ahora la partida en pausa, en vez de dejarla seguir con un robot inerte. El seguimiento decodifica la imagen a la mitad de su tamaño: 15 ms por imagen en la Pi en lugar de 46, con la misma tasa de detección, porque la Pi subía a 82 °C y reducía su frecuencia. Aun así, necesitará un ventilador. Estas correcciones quedan por comprobar en una partida de verdad.

El código está en GitHub, a título informativo: storagebits/microbrawl.

# Lo que viene

Lo que me divertiría es abrir el juego: dejar que desconocidos se conecten y piloten los robots, y verlos rodar en directo en mi casa. También me apetece ampliarlo a otros robots, un Thymio quizá, o un minidron de interior. Las puertas están abiertas.

# Enlaces