Control de Brazo Robótico con Kinect, Raspberry Pi y ESP32
January 26, 2025
1 Objetivos del Proyecto
El proyecto tiene como objetivo integrar y controlar un brazo robótico usando múltiples componentes,
incluyendo el Kinect para la detección de movimientos, Raspberry Pi para el procesamiento de los
datos, y ESP32 para el control de los motores. A continuación se presentan los objetivos clave del
proyecto:
Integración de Kinect y Raspberry Pi: Usar el Kinect para capturar los movimientos y
procesar los datos de posición mediante la Raspberry Pi.
Comunicación entre Raspberry Pi y ESP32: Establecer la comunicación entre la Raspberry
Pi y los ESP32 para enviar las coordenadas de los motores a controlar.
Control de Motores con ESP32: Controlar los motores del brazo robótico usando los ESP32
y los controladores de puente H (L6206 y BTS7960).
Control Manual desde LabVIEW: Usar LabVIEW para crear una interfaz de usuario que
permita el control manual de los motores y visualizar las posiciones en tiempo real.
Integración de Control Autónomo con Kinect: Implementar un modo autónomo en el que
el Kinect controle el movimiento del brazo robótico según la posición de la mano.
Retroalimentación de Posición: Obtener retroalimentación precisa de la posición del brazo
robótico usando los encoders HEDL-6540 y ajustar el movimiento si es necesario.
Pruebas y Ajustes Finos: Asegurarse de que el sistema funcione correctamente y de manera
precisa, tanto en el control manual como autónomo.
Optimización y Mejora: Optimizar la precisión y la respuesta del sistema en tiempo real.
2 Puntos por Lograr
El proyecto se divide en varias fases, con puntos clave por lograr en cada una de ellas:
1. Configurar el Kinect y la Raspberry Pi: Conectar y configurar el Kinect para capturar
datos de movimiento y procesarlos con la Raspberry Pi.
2. Establecer comunicación entre la Raspberry Pi y los ESP32: Asegurar que los datos de
coordenadas se envı́en correctamente a los ESP32.
3. Control de Motores: Usar los ESP32 para controlar los motores, gestionando las señales de
PWM y dirección, y leer los encoders para retroalimentación de posición.
4. Desarrollar la Interfaz en LabVIEW: Crear una interfaz en LabVIEW para el control manual
de los motores y la visualización de datos.
1
5. Implementar Control Autónomo con Kinect: Configurar el Kinect para controlar el brazo
robótico automáticamente, enviando las posiciones a los ESP32.
6. Obtener Retroalimentación de Posición: Usar los encoders HEDL-6540 para obtener la
posición real del motor y compararla con la posición deseada.
7. Realizar Pruebas y Ajustes: Verificar el comportamiento de los motores y la comunicación
entre los dispositivos, ajustando la precisión del sistema.
8. Optimización del Sistema: Mejorar la precisión de la detección del Kinect, reducir la latencia
y optimizar la comunicación entre los componentes.
3 Próximos Pasos
A continuación se detallan los pasos inmediatos que se llevarán a cabo:
Configuración del Kinect y la Raspberry Pi para captura de datos.
Establecimiento de la comunicación Wi-Fi o UART entre la Raspberry Pi y los ESP32.
Implementación del código de control de los motores y lectura de encoders en los ESP32.
Desarrollo de la interfaz gráfica de control en LabVIEW.
Implementación del control autónomo con Kinect.
