Benemérita Universidad Autónoma de Puebla
FACULTAD DE CIENCIAS DE LA ELECTRÓNICA
Programa de Capacitación ,
Divulgación y Difusión
de la Investigación Científica
y Desarrollo Tecnológico
“Visual Servoing”
M. C. Nohely Terán Vásquez
¿QUÉ ES VISUAL SERVOING?
Es una técnica de control que utiliza
uno o varios sensores de visión como
medio de retroalimentación para
manipular robots.
DISCIPLINAS QUE ENGLOBA VS.
VISUAL
SERVOING
ELEMENTOS PRINCIPALES
Robot manipulador
Algoritmo de control
Sistema de visión
◦ Captura de imágenes
◦ Procesamiento de imágenes
RELACIÓN GENERAL ENTRE LOS
ELEMENTOS PRINCIPALES
Posiciones
deseadas
ALGORITMO
DE CONTROL S
I
S
T
E
M
A
PROCESAMIENTO DE D
IMÁGENES E
V
I
S
I
Ó
N
MODELO DEL ROBOT
PROCEDIMIENTO PARA OBTENER EL
MODELO DE UN ROBOT
Obtención de la energía cinética y
potencial
Cálculo del Lagrangiano
Desarrollo de las ecuaciones de
Lagrange
EL PÉNDULO
CINEMATICA DIRECTA
v
(píxeles)
q
l
CINEMATICA INVERSA
(u,v)
u
(píxeles)
EL PÉNDULO
MODELO DINAMICO
◦CALCULO DE LA ENERGIA
CINETICA
◦
◦
◦
◦
◦
◦
◦CALCULO DE LA ENERGIA
POTENCIAL
EL PÉNDULO
◦LAGRANGIANO
◦
◦
◦
◦
◦
◦ECUACION DE LAGRANGE
EL ROBOT DE DOS GRADOS DE LIBERTAD
CINEMATICA DIRECTA
CINEMATICA INVERSA
EL ROBOT DE DOS GRADOS DE LIBERTAD
MODELO DINAMICO
◦ENERGIA CINETICA
◦
◦
Primer eslabón
EL ROBOT DE DOS GRADOS DE LIBERTAD
Segundo eslabón
ENERGIA POTENCIAL
n
EL ROBOT DE DOS GRADOS DE LIBERTAD
◦LAGRANGIANO
◦
◦
◦
◦
EL ROBOT DE DOS GRADOS DE LIBERTAD
◦ECUACIONES DE LAGRANGE
◦
◦
◦
◦
ALGORITMO DE CONTROL
DISEÑO DEL ALGORITMO DE CONTROL
(Teoría de Estabilidad de Lyapunov)
El procedimiento de diseño consiste en
proponer una función que cumpla
con lo siguiente:
[Link] obtienen los puntos de equilibrio de
la función propuesta igualada con el
modelo dinámico del robot.
[Link] propone una función de
Lyapunovdefinida positiva la cual, al
derivarla deberá ser semidefinida o
definida negativa.
ALGORITMOS DE CONTROL MÁS COMUNES
MODELO DEL SISTEMA DE VISIÓN
Consiste en analizar todos los aspectos
matemáticos, físicos y mecánicos que
involucran al robot con la imagen
capturada por la cámara.
Iluminación
Robot
Cámara
Captura de
Imágenes
CAPTURA DE LA IMAGEN
Iluminación.
Formación de la imagen.
Calidad de la imagen.
El CCD.
Digitalización de la imagen.
FORMACIÓN DE LA IMAGEN
TRANSFORMACIÓN DEL CUERPO RÍGIDO
TRANSFORMACIÓN PERSPECTIVA
TRANSFORMACIÓN DE COORDENADAS DEL
PLANO CCD AL PLANO DE LA IMAGEN
MODELO DEL SISTEMA DE VISIÓN SIN
DISTORSIÓN ÓPTICA
CALIDAD DE LA IMAGEN
Las aberraciones reducen la calidad de
la imagen introduciendo borrosidad.
Las aberraciones que introducen
variaciones en el enfoque de la
escena son:
◦ Aberración esférica
◦ Coma
◦ Astigmatismo
◦ Distorsión
CALIDAD DE LA IMAGEN
Las aberraciones cromáticas son
debidas a las diferentes longitudes de
onda de la luz enfocada a distancias
diferentes del lente.
CCD (Charged Coupled Device)
Son circuitos integrados de
silicio que contienen una
matriz de fotodiodos
Su función principal
es convertir los
fotones de luz
incidente en carga
eléctrica
PROCESAMIENTO DE IMÁGENES
Imagen Capturada (en RGB)
0 ≤ r11, r12, …, rmn ≤ 255
0 ≤ g11, g12, …, gmn ≤ 255
0 ≤ b11, b12, …, bmn ≤ 255
PROCESAMIENTO DE IMAGENES
En escala de grises
I(m,n)
0 ≤ v11, v12, …, vmn ≤ 255
PROCESAMIENTO DE IMAGENES
Histograma
◦ Muestra la frecuencia de cada tono de
gris de la imagen.
PROCESAMIENTO DE IMAGENES
Umbral
◦ Es obtenido a partir del histograma de la
imagen
◦ Sirve para transformar la imagen en
escala de grises a otra en blanco y
negro
*La iluminación del sistema robótico cambiará el
histograma de la imagen
◦
PROCESAMIENTO DE IMAGENES
Imagen en blanco y negro
b11 b12 … b1n
B(m,n b21 b22 … b2n 0 ≤ b11, b12, …, bmn ≤ 1
) …
…
…
bm1 bm2 … bmn
PROCESAMIENTO DE IMAGENES
Obtención del centroide
C(u, v) = (max_u/area , max_v/area)
RGB Escala Blanco y Centroide
de grises negro
CLASIFICACIÓN DE LAS TÉCNICAS
GENERALMENTE EMPLEADAS PARA
VISUAL SERVOING
VS BASADO EN IMÁGENES
Los parámetros a controlar son
determinados a partir de la imagen.
El error de posiciónes calculado
mediante la imagen del robot.
~
u ud – u
v~ vd - v
VS. BASADO EN POSICIÓN
Los parámetros a controlar son
extraídos de la imagen y usadas junto
con el modelo cinemático del robot,
el de la cámara y el modelo
geométrico del objeto a manipular.
EJEMPLOS DE ROBOTS EMPLEANDO VS
EJEMPLOS DE ROBOTS EMPLEANDO VS
