Parte 1: Introducción

Msc. Raúl Fernando Gómez Sierra

Robotica
UNIVALLE - BOLIVIA
1
 Bibliografía

• R.C. González y R.E. Woods, Digital Image Processing, Prentice

Hall, 2ª Edición, 2002. (caps. 1 y 2)
• J. Vélez, Á. Sánchez, A.B. Moreno y J.L. Esteban, Visión por
Computador, Ed. Dyckinson y Serv. Public. URJC, 2003. (caps. 1 y
2)
• J. González, Visión por Computador, Ed. Paraninfo, 2001. (cap. 1)
• G. Pajares y J.M. de la Cruz, Visión por Computador, Ed. Ra-Ma,
2001. (cap. 1)
• Mikell P.Groover, Mitchel Weiss, "Robotica Industrial. Tecnologia,
Programación y Aaplicación", McGraw Hill

2
 PARTE I: Introducción
Tema 1: Panorámica de la Visión Artificial

• Introducción a los Sistemas de Visión Artificial (SVA)

• Aspectos generales sobre imágenes
• Etapas de los SVA
• Elementos de un SVA
• Clases fundamentales de procesado de imágenes
• Algoritmos y aplicaciones sobre imágenes digitales

3
 Panorámica de la Visión Artificial
Introducción a los SVA: Objetivo
 Extraer e interpretar de manera automática la
información del mundo real 3D.

- Escena de tráfico
- Número de vehículos
- Clases de vehículos
- Localización de obstáculos
- Interpretación de la escena

4
 Panorámica de la Visión Artificial
Introducción a los SVA:
¿Por qué un SVA?
• “Una imagen tiene más información que mil palabras”
• Muchos sistemas biológicos dependen de su sistema
de visión (inspiración biológica)
• En la actualidad, los computadores, cámaras y otros
dispositivos son baratos y sus prestaciones aumentan
• El “mundo real” es 3D y dinámico
5
 Panorámica de la Visión Artificial

Introducción a los SVA:

¿ Por qué aparecen los SVA en la industria ?

6
 Panorámica de la Visión Artificial
Introducción a los SVA:
Se debe determinar los aspectos de Interés
para configurar un SVA:
• ¿Cuál es la información relevante a extraer
de la escena para resolver el problema?
• ¿Cómo se puede extraer dicha información?
• ¿Cuál es la forma más apropiada de
representar la información extraída?
• ¿Cómo se puede usar dicha información
para resolver el problema de VA planteado?
7
 Panorámica de la Visión Artificial
Introducción a los SVA:
La Visión Artificial es un área
multidisciplinar, relacionada con:
• Tratamiento de imágenes
• Reconocimiento de patrones
• Fotogrametría
• Gráficos por computador
• Inteligencia artificial
• Geometría proyectiva
• Teoría de control
• ….
8
 Panorámica de la Visión Artificial
Física de la imagen: ¿Cómo se forman las
imágenes?
Cámaras (sensores):
- ¿Cómo funciona una cámara?
- ¿Cómo posicionar la/s cámara/s en un SVA?
Luz:
- ¿Cómo medir la cantidad de energía luminosa?
- ¿Cómo interactúa la luz con la superficie de los
objetos?
- ¿Cómo se calculan los valores de brillo de los píxeles
Color:
- ¿Cuáles son los mecanismos físicos del color?
- ¿Cómo representar y medir el color? 9
 Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: la luz

• Una parte pequeña del espectro electromagnético

es la zona visible (luz visible)
• Comprende longitudes de onda aproximadamente
desde los 400 hasta los 700 nm

10
 Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: la luz
c
• La refracción se produce nm 
cuando la luz incide sobre vm
una superficie límite de
separación entre dos
medios, atravesando de uno
a otro
• La parte transmitida se
desvía un cierto ángulo de
refracción
• El índice de refracción (n)
de un material: 11
 Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: la luz

• Otro fenómeno a destacar es la dispersión (Newton)

• Descomposición de la luz en sus componentes
monocromáticos al penetrar en un medio, como
consecuencia de la variación del índice de refracción del
medio, que desvía las distintas componentes de la luz según
sus respectivas longitudes de onda.
• Así cuando luz blanca penetra en un prisma, este
descompone el haz en sus colores básicos constituyentes.

12
Panorámica de la Visión Artificial
Comparación entre sistemas
Vision humana Vs SVA

Sistema Humano
• Mejor capacidad de reconocimiento
• Mejor adaptación a situaciones imprevistas
• Utilización de conocimiento previo
Sistema Artificial (SVA)
• Mejor evaluación de magnitudes físicas
• Buen desempeño de tareas rutinarias
13
Panorámica de la Visión Artificial
Vision humana Vs SVA

• Proyección de Perspectiva - Ventaja Sistema Humano de Visión

14
Panorámica de la Visión Artificial
Vision humana Vs SVA

Dificultad para medir magnitudes de intensidad -

Ventaja Sistema Visión Artificial

15
Panorámica de la Visión Artificial
Vision humana Vs SVA
Dificultad mediciones geométricas - Ventaja Sistema de
Visión Artificial

16
Panorámica de la Visión Artificial
Vision humana Vs SVA
Dificultad mediciones geométricas - Ventaja Sistema de
Visión Artificial
ILUSION DE PONZO:Las dos líneas oblícuas hacen que
percibamos las líneas horizontales de distinto tamaño pese a
tener la misma longitud

17
Panorámica de la Visión Artificial
Vision humana Vs SVA

Reconocimiento de información compleja - Ventaja

Sistema Humano de Visión

18
Panorámica de la Visión Artificial
Vision humana Vs SVA

Diferencia en el análisis de objetos - Ventaja Sistema

Visión Artificial

¿Cuál es la cantidad de ¿Cuál es la cantidad de

anillos cerrados? anillos abiertos?
Rapido….. Rapido….. 19
Panorámica de la Visión Artificial
Vision humana Vs SVA

Efectos ópticos ilusorios - Ventaja Sistema de Visión

Artificial

20
Panorámica de la Visión Artificial
Vision humana Vs SVA

Efectos ópticos ilusorios - Ventaja Sistema de Visión

Artificial

21
Panorámica de la Visión Artificial
Vision humana Vs SVA
Efectos ópticos ilusorios (Textura de volumen tridimensional
- cuadrado)-Ventaja Sistema de Visión Artificial

22
Panorámica de la Visión Artificial
Vision humana Vs SVA

Ambigüedades - Ventaja Sistema de Visión Artificial

23
Panorámica de la Visión Artificial
Vision humana Vs SVA

Inconsistencias - Ventaja Sistema de Visión Artificial

24
Panorámica de la Visión Artificial

Aspectos generales sobre imágenes:

Sistema Visual Humano

25
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes:
Sistema Visual Humano

26
 Panorámica de la Visión Artificial
Aspectos generales sobre imágenes:
Sistema Visual Humano
• La luz visible es absorbida (enfocada) por el cristalino,
que actúa como lente, y se proyecta en la retina.
•La retina está compuesta por 2 tipos de células
fotosensibles:
• Conos: responsables del color
• Bastones: responsables de la percepción de la
intensidad (concentrados en el exterior)
•En general un humano posee del orden de 120 millones
de bastones y 6 millones de conos
27
 Panorámica de la Visión Artificial
Sistemas de Visión Artificial

• Es el análogo artificial de la visión humana

28
 Panorámica de la Visión Artificial
Elementos de un SVA: Sensores

• Cámaras analógicas + tarjetas digitalizadoras

• Cámaras CCD
• Cámaras de infrarrojos
• Escáneres 2D y 3D
• Cámaras digitales de fotografía

29
 Panorámica de la Visión Artificial
Elementos de un SVA: relación entre dispositivos

30
 Panorámica de la Visión Artificial

Aspectos generales: Tipos de cámaras

31
 Panorámica de la Visión Artificial
Cámara bidimensional: Estructura de un
dispositivo CCD

32
 Panorámica de la Visión Artificial
Cámara bidimensional: Estructura de un
dispositivo CCD <Transferencia de cuadro (FT)>

33
 Panorámica de la Visión Artificial
Cámara lineal: Escáner 3d

• Un escáner 3D dispone de un elemento

activo que recorre el objeto a escanear
tomando medidas de las posiciones de los
puntos por los que pasa.
•Se pueden distinguir los digitalizadores
táctiles y los láser.
•El digitalizador 3D láser no tiene contacto
con el objeto durante el muestreo. Utiliza un
método conocido como tiempo de vuelo para
obtener puntos de la superficie del objeto, y
genera una nube de puntos regular de su
superficie. 34
 Panorámica de la Visión Artificial

Aspectos generales: Imágenes digitales

• Las imágenes se forman cuando un sensor (p.ej. cámara)
registra la cantidad de radiación luminosa que ha
interaccionado con los objetos físicos de la escena.
•Una imagen digital es una función bidimensional discreta
f(x,y) que asocia a cada punto o píxel (x, y) un valor de brillo.
•El valor f(x,y), podría representar un valor de distancia u
otra cantidad física.
•El tratamiento digital de imágenes consiste en destacar las
características de interés en imágenes (y atenuar el detalle
irrelevante) para conseguir de éstas información útil
35
Panorámica de la Visión Artificial
Sistemas de Visión Artificial

36
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Parámetros físicos involucrados
• Parámetros ópticos: caracterizan al sensor
- tipo de lente, distancia focal, campo de visión, grado de
apertura angular, ...
•Parámetros fotométricos: caracterizan la luz reflejada
por el objeto
-características de la iluminación (tipo, intensidad,
dirección), propiedades de reflectancia del objeto visto, ...
•Parámetros geométricos: caracterizan la proyección
del objeto en el sensor
- tipo de proyección, posición y orientación del (de los)
sensor(es), distorsiones debidas a la perspectiva, … 37
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Digitalización de una imagen

38
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Digitalización de una imagen
El esquema
proceso de
deconversión
subdivisiónconsiste
más común,
en dividir
es ellade
imagen
la cuadrícula
en pequeñas
rectangular
regiones
que
llamadas
a continuación
elementos
se muestra:
de una pintura o pixeles.

Matemáticamente, la formación de una imagen puede representarse como un

proceso de mapeo del espacio de un objeto en tres dimensiones al espacio de una
39
imagen en dos dimensiones.
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Ecuación de proyección en una cámara

Localización de un píxel en un plano cartesiano 2D, usando semejanza

de triángulos e ignorando la tercera componente:
x y
(x, y, z)  ( f , f )
z z 40
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Representación de imágenes digitales

41
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Tipos de imágenes

256 colores/canal 256 colores/canal 2 colores/canal

3 canales (RGB) 1 canal (gris) 1 canal (gris)
24 bits = 8 bits/canal 8 bits 1 bit

Cantidad de bits por pixel 42

 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Tipos de imágenes

Escala de grises Monocromática

256 colores/canal 2 colores/canal
Valores: {0,1,2,...,255} Valores: {0,255}
[0,255] [0,1] {0,255} {0,1}

43
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Por tanto… Volumen de información
NOTA: La eficiencia de un SVA radica en la velocidad de procesamiento del
computador donde esta radicado el algoritmo y esto esta en función a la
cantidad de información a ser procesada.

Capacidad de memoria
con 256 tonos de grises:

128x128x256=4Mbytes

Capacidad de memoria
con 2 tonos de grises:

128x128x2=16Kbytes
Se necesita menos capacidad de 44
procesamiento para 2 tonos de grises.
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Tipos de imágenes

Trabajaremos principalmente con imágenes fotográficas (tanto

45
en niveles de gris y como en blanco y negro)
Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Representación de las imágenes 2D

y
x

Imagen Imagen binarizada

analógica Lista para ser
procesada por
46
un SVA
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Reconstrucción 3D
• Las formas 3D se pueden obtener a partir de:
– visión estereroscópica (múltiples imágenes 2D)
– movimiento (secuencias de vídeo)
– variaciones de intensidad, textura, enfoque, …
• Estrategia de la Visión Estereoscópica:
– Obtener distintas medidas del mismo objeto (o región)
de la imagen
• Aspectos a considerar:
– Correspondencia: ¿qué píxeles en las diferentes
imágenes son proyecciones del mismo punto 3D?
– Representación: ¿cómo describir el objeto 3D?
– Ruido: ¿cómo minimizar su influencia? 47
Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Representación de las imágenes 3D
y
x

48
 Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Definición

• Es el análogo artificial de la visión humana

49
Panorámica de la Visión Artificial
Iluminación del entorno

50
 Panorámica de la Visión Artificial
Iluminación del entorno
• Tipos básicos de iluminación:
•Direccional
•Difusa
•Contraluz
•Estructurada
•Estroboscopica

51
 Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Definiciones
El histograma
El histograma de
de frecuencias
frecuenciasnos muestra
es un una serie
instrumento dede líneas que
medida verticales
ayuda
alineadas
al en su extremo
ojo, siempre subjetivo inferior, representativas
y acomodable, de laun
a hacer cantidad de píxeles
diagnóstico de la
que hay yen
imagen una imagen
valorar por cada valor
sus posibilidades de luminosidad.
de mejora, En el
decidiendo losextremo
ajustes
izquierdo está el valor 0 (negro) y en el derecho el 255 (blanco), como indica
tonales necesarios
la barra de degradado que suele acompañarlo.

52
 Panorámica de la Visión Artificial
Etapas de un sistema de visión por computador

53
 Panorámica de la Visión Artificial
Aspectos generales: Imágenes digitales
Adquisición de la imagen
Una imagen digital se puede considerar como una matriz en cuyos renglones y
columnas se identifica un punto de la imagen y los valores correspondientes de la
matriz que identifican el nivel de gris en ese punto, como vimos anteriormente, son los
pixeles [González, 1992].

54
 Panorámica de la Visión Artificial
Aspectos generales: Problemas con la
captura de imágenes

• La captura de imágenes no está exenta de problemas:

imagen óptica  señal eléctrica continua  señal digital
•El problema más típico es el ruido que es una
información no deseada que contamina la imagen.

•Existen fundamentalmente 2 tipos de

ruido: 55
 Panorámica de la Visión Artificial
Aspectos generales: Problemas con la
captura de imágenes

Ruido impulsivo (Salt and

Pepper) : el valor del píxel no Ruido gausiano :
tiene relación con el valor ideal produce pequeñas
sino con el valor de ruido que variaciones en la
imagen 56
toma valores muy altos o bajos
Panorámica de la Visión Artificial
Aspectos generales: Problemas con la
captura de imágenes

Ruido Poisson

57
Panorámica de la Visión Artificial
Aspectos generales: Problemas con la
captura de imágenes

Ruido Speckle

58
 Panorámica de la Visión Artificial
Para compensar las deficiencias en la captura es
fundamental el preprocesado de imágenes
• Fijación de umbrales:

Cada pixel es convertido a un valor binario blanco o negro,

esto en base al histograma de frecuencias de la imagen y el
nivel de gris mediante la definición de un umbral.

59
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes

• Fijación de umbrales:

60
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros:
- mejora de imágenes degradadas: g(x,y) = H [f(x,y)] + η(x,y)
- Soluciones: filtrado inverso, aproximación algebraica, …

61
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros: Filtro Laplaciano

Este tipo de filtro se basa en un operador derivativo, por lo

que acentúa las zonas que tienen gran discontinuidad
en la imagen, destacando detalles finos, bordes y
discontinuidades

62
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros: Filtro Laplaciano

63
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros: Filtro Butterworth

64
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros: Filtro Butterworth

65
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros: Transformada de Fourier

Transformada: Representación alternativa de una imagen

Transformada de Fourier: Cualquier señal periódica
puede representarse por una suma de señales
basadas en senos y cosenos con diferente amplitud,
frecuencia y fase

66
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros: Transformada de Fourier
Transformada de Fourier

Ejemplos de cambio de dominio

67
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros: Transformada de Fourier

68
 Panorámica de la Visión Artificial
Clases fundamentales de preprocesado de imágenes
• Restauración por medio de filtros: Transformada de Fourier
Transformada de Fourier

69
 Panorámica de la Visión Artificial
Sistemas de Visión Artificial
• Segmentación / Detección de bordes: El objetivo es
agrupar áreas de una imagen que tengan características
similares dentro de entidades distintas para poder
diferenciarlas. Empleando los procesos que se describen
a continuación.

70
 Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Segmentación

• Crecimiento de una región:

Se basa en la fijación de umbrales para la identificación de un
objeto, una vez realizado este proceso:
a) Se debe seleccionar un pixel que este dentro la región del
objeto y se le da el valor de 1.
b) Se compara el pixel seleccionado con los pixeles
adyacentes, si existe concordancia de atributos se le asigna
también un 1.
C) Repetir el proceso hasta que no exista concordancia y
finalizar. 71
 Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Segmentación

• Crecimiento de una región:

72
 Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Segmentación
• Detección de bordes
Considera el cambio de intensidad que se produce en los
pixeles en el contorno de bordes de un objeto. Se fija un
umbral y se va asignando el valor 1 al pixel que cumple con el
umbral y cero cuando el pixel es diferente.

73
 Panorámica de la Visión Artificial

Extracción de características
Esto una vez finalizada la segmentación…

• Se obtiene medidas de características de los objetos

segmentados para así poderlos diferenciar por medio de:
• Color
•Textura
•Tecnicas (área, perímetro, número de agujeros, ...)

74
 Panorámica de la Visión Artificial
Ejemplos de texturas: Color

75
 Panorámica de la Visión Artificial
Ejemplos de Técnicas: Se pueden usar
para identificar un objeto.

Área
Perímetro

Excentricidad
76
 Panorámica de la Visión Artificial
Ejemplos de Técnicas:

•Relación de aspecto:

Relación de anchura y longitud

de un rectángulo que rodea al
objeto

Relación de aspecto
77
 Panorámica de la Visión Artificial
Ejemplos de Técnicas:
•Delgadez:

Área
Perímetro

78
 Panorámica de la Visión Artificial
Ejemplos de Técnicas:

•Nro. de agujeros:

79
 Panorámica de la Visión Artificial
Ejemplos de Técnicas:

•Centro de gravedad:

•Momentos:

80
 Panorámica de la Visión Artificial
Reconocimiento – Metodologías
Coincidencia de planilla:
Consiste en clasificar los objetos de la escena a partir de
características extraídas. Deben coincidir todas o la mayoría de
  las características extraídas al modelo, obtenidas durante el
 
 
proceso de adiestramiento. ( Método estadístico).
 
 

N ú m e r o d e a g u je r o s To rn illo s
Tu e rc a s
A ra n d e la s

0 .1 0 .2 0 .3 0 .4 0 .5

D e s v ia c ió n t íp ic a d e l r a d io d e la f ig u r a
81
 Panorámica de la Visión Artificial

Aplicaciones del reconocimiento de objetos:

Inspección bidimensional de productos:
•Por la naturaleza del producto (ejm. Control de calidad -> control de
diámetros, mediciones en gral.)

82
 Panorámica de la Visión Artificial

Aplicaciones del reconocimiento de objetos:

Interpretación de imágenes: Un paso más allá, el

SVA puede diferenciar la temática de cada toma
83
fotográfica, por los tipos de objetos que contienen.
 Panorámica de la Visión Artificial
Aplicaciones del reconocimiento de objetos:
• Análisis de la imagen: extracción de información
relevante de una imagen

84
GRACIAS…

85