Procesamiento Digital de Imágenes

TEMA I – Introducción
Rafael Molina
[email protected] (http://decsai.ugr.es/~rms)
Rafael Molina TID: Tema 1 1
Contenidos
• Motivación
• Ejemplos de aplicación
• Conceptos básicos
• Ejemplos de operaciones típicas de procesamiento de imágenes
• Sistemas de procesamiento de imágenes
• Sistema de visión por computador
• Fuentes
• Bibliografía adicional

Rafael Molina TID: Tema 1 2

 Motivación
Para pensar un poco
• La Visión es nuestro sentido más desarrollado
• La capacidad para guiar nuestras acciones y procesos cognitivos a partir de
estímulos visuales es un rasgo notable de la especie humana … . No obstante,
– … mucho de “cómo hacemos exactamente lo que hacemos” está todavía por
descubrir
• “Una imagen vale más que mil palabras”
• La capacidad de extraer automáticamente información semántica a partir de una
imagen es (y será por mucho tiempo) un área de investigación abierta y muy
activa
• La necesidad de extraer información de imágenes e interpretar su contenido es la
razón fundamental del desarrollo del procesamiento de imágenes y la visión
artificial
Rafael Molina
en las últimas décadas. TID: Tema 1 3
 Ejemplos de aplicación
• Medicina: EEG, PET, X-ray , MRI , fMRI, etc.

EEG PET Rayos-X

MRI fMRI

Rafael Molina TID: Tema 1 4

 Ejemplos de aplicación
• Medicina: Imágenes histológicas

Deconvolución y normalización de color para una mejor

clasificación
Rafael Molina TID: Tema 1 5
 Ejemplos de aplicación
• Aplicaciones industriales
Sistemas de Seguridad

Automated guided
vehicles (AGVs)
Vehículos guiados
automáticamente

Control de calidad

Rafael Molina TID: Tema 1 6

 Ejemplos de aplicación
Imágenes milimétricas

Imágenes pasivas milimétricas

• Fila superior: observadas

• Fila inferior: imágenes procesadas

Rafael Molina TID: Tema 1 7

Imágenes milimétricas

Prototipo actual
http://wavecamm.com

Rafael Molina TID: Tema 1 8

Imágenes milimétricas
Del procesado a la clasificación:

• Filas primera y tercera, ejemplos

de PMMWIs (los cuadros rojos
indican localización de objetos
ocultos)

• Filas segunda y cuarta: imágenes

visuales correspondientes

Rafael Molina TID: Tema 1 9

Imágenes milimétricas
Del procesado a la
clasificación:
Amenazas simuladas: cutter (1),
325g de gel(2), a 200g de tiza (3),
pistola simulada (4), 200g de
azucar (5), 200g de guisantes (6),
150ml de colonia (7), 160g de gel
(8) , bolsa con piezas metálicas
(9), 200g de harina (10), 50cl de
agua embotellada (11), and a
250ml botella de peródixo de
hodrógeno (12).
Rafael Molina TID: Tema 1 10
 Ejemplos de aplicación
• Electrónica de Consumo

Rafael Molina TID: Tema 1 11

 Ejemplos de aplicación
• Aplicaciones Militares

Sistemas de Visión UAV

Rafael Molina TID: Tema 1 12
 Ejemplos de aplicación
• Aplicación de la Ley y Seguridad

Rafael Molina TID: Tema 1 13

Deconvolución Ciega

Rafael Molina TID: Tema 1 14

Deconvolución Ciega
Imágenes restauradas

Software disponible en http://www.dbabacan.info/BDGSP.php

S.D. Babacan, R. Molina, M.N. Do, and A.K. Katsaggelos, “Bayesian Blind deconvolution
with general sparse image priors” in European Conference on Computer Vision (ECCV),
341-355, Florence (Italy), September 2012
Rafael Molina TID: Tema 1 15
Deconvolución ciega
Imágenes ruidosas y borrosas

Rafael Molina TID: Tema 1 16

Deconvolución ciega
Restauraciones

Rafael Molina TID: Tema 1 17

X. Zhou, M. Vega, F. Zhou, R. Molina, and A. K. Katsaggelos, “Fast Bayesian Blind Deconvolution
with Huber Super Gaussian Priors”, Digital Signal Processing, vol. 60, 122-133, 2017.

Software disponible en https://sites.google.com/site/fbdhsgp/

Rafael Molina TID: Tema 1 18

Super-Resolución
Imagen observada Imagen observada x2

Rafael Molina TID: Tema 1 19

Super-Resolución
Imagen observada Imagen observada x2

Rafael Molina TID: Tema 1 20

Super-Resolución
Imagen observada Imagen observada x2

Rafael Molina TID: Tema 1 21

Super-Resolución

Imagen reconstruida

Reconstrucción con
8 imágenes de baja resolución
Software disponible en

http://decsai.ugr.es/pi/superresolution/software.html

Rafael Molina TID: Tema 1 22

 Super resolución basada en ejemplos

Ledig, C., Theis, L., Huszar, F., Caballero, J., Aitken, A., Tejani, A., … Shi, W. (2016). Photo-Realistic Single Image Super-
Resolution Using a Generative Adversarial Network. Retrieved from http://arxiv.org/abs/1609.04802

Enormes aplicaciones: SR de vídeo

Rafael Molina TID: Tema 1 23
Denoising
Denoising e inpainting

Inpainting

Rafael Molina TID: Tema 1 24

Deepak Pathak, Philipp Krähenbühl, Jeff
Donahue, Trevor Darrell and Alexei A.
Efros, Context Encoders: Feature Learning
by Inpainting,", CoRR, abs/1604.07379,
2016

Rafael Molina TID: Tema 1 25

Rafael Molina TID: Tema 1 26
¿Existen modelos para generar imágenes?
Los datasets más usados son: MNIST, Toronto Face Database (TFD) y CIFAR-10.

MINIST (28x28) Gray CIFAR-10 (32x32) RGB TFD

60000 Train set 50000 Train set Gray
10000 Test set 5000 Test set (No accesible)
Rafael Molina10 clases 10 clases
TID: Tema 1 27
Ejemplos de imágenes generadas

MINIST CIFAR-10 TFD

(28x28) (32x32) Gray
Gray RGB (No accesible)

Rafael Molina TID: Tema 1 28

Otras aplicaciones
Generar
dormitorios

Generar dibujos anime

Rafael Molina TID: Tema 1 29

Generadores de “gatos”
Edges2Cats: Se extraen los bordes de las imágenes de muchos gatos.

Rafael Molina TID: Tema 1 30

Generadores de “gatos”
Edges2Cats

Rafael Molina TID: Tema 1 31

Generadores de caras

• CelebA face dataset

https://houxianxu.github.io/assets/project/dfcvae

Rafael Molina TID: Tema 1 32

Generador de caras

• PVAE: plain VAE (pérdida por píxel) También podemos

• DCGAN: Deep Convolutional GAN añadir gafas, quitar y
• VAE-123/-345: pequeñas diferencias en la arquitectura poner sonrisas, visita la
Rafael Molina TID: Tema 1
https://houxianxu.github.io/assets/project/dfcvae página!! 33
Más generadores
Imagen en gris a
color

Etiquetas a
Fachada

Rafael Molina TID: Tema 1 34

 Conceptos básicos
• ¿Qué es una imagen?
– Una representación visual de un objeto, una persona o escena
producida por un dispositivo normalmente óptico es una
imagen. No obstante, existen otros tipos de imágenes
• Unas notas:
– La representación es normalmente 2D, aunque corresponde a
infinitas proyecciones de escenas 3D.
– La definición supone la existencia de una fuente de energía
(bien interna o externa).
– La imagen contiene información y estamos interesados en
extraerla.

Rafael Molina TID: Tema 01 35

 Conceptos básicos
• ¿Qué es una imagen digital?
– Una imagen digital es una representación de una imagen bidimensional
utilizando un número finito de puntos que reciben el nombre de píxeles
(picture elements)
• Unas notas:
– Cada píxel es representado por (o tiene asociado) uno o varios valores
numéricos:
• Para imágenes monocromáticas (niveles de gris), un único valor
representa la intensidad del píxel (normalmente, el rango [0, 255] es
suficiente),
• Para imágenes en color se necesita normalmente tres valores, que
representan la cantidad de rojo (R), verde (G) y azul (B)

Rafael Molina TID: Tema 01 36

 Conceptos básicos
• ¿Qué es el procesamiento digital de imágenes?
– La modificación de imágenes digitales mediante ordenadores
digitales.

• Unas notas:
– El término digital en la definición anterior se refiere a ambos,
la imagen y el procesador. Normalmente suprimiremos el
adjetivo digital.
– Los cambios que se realizan en las imágenes se llevan a cabo
de una forma automática y están basados en algoritmos
diseñados cuidadosamente para realizar estas tareas.
Rafael Molina TID: Tema 01 37
 Conceptos básicos
• ¿Cuáles son los objetivos del procesamiento de imágenes?
– Los algoritmos de procesamiento de imágenes se diseñan para mejorar una
imagen con el objetivo de:
• Permitir la interpretación humana, o
• Hacerla más apropiada para un análisis posterior y la extracción automática
de algunos de sus contenidos
– A veces estos objetivos pueden colisionar.
• Ejemplos:
– Realzar una imagen para permitir la inspección de detalles (bueno para
observadores humanos) vs
– Emborronar una imagen para reducir la cantidad de información no
relevante (a veces bueno en computer vision)
Rafael Molina TID: Tema 01 38
 Conceptos básicos
• Normalmente se distinguen tres niveles de operaciones de
procesamiento de imágenes
– Bajo Nivel: operaciones primitivas (p.e., reducción de
ruido, mejora de contraste, etc.). La entrada y salida son
imágenes.
– Nivel Medio: extracción de atributos (p.e., fronteras,
contornos, regiones, etc.) a partir de imágenes.
– Nivel Alto: Análisis e interpretación de los contenidos de
una escena.

Rafael Molina TID: Tema 01 39

 Ejemplos de operaciones típicas de
procesamiento de imágenes

• Sharpening (Realce)

Rafael Molina TID: Tema 1 40

 Ejemplos de operaciones típicas de
procesamiento de imágenes
• Eliminación de Ruido

Rafael Molina TID: Tema 1 41

 Ejemplos de operaciones típicas de
procesamiento de imágenes
• Eliminación de Emborronamiento (Deblurring)

Rafael Molina TID: Tema 1 42

 Ejemplos de operaciones típicas de
procesamiento de imágenes
• Extracción de Fronteras

Rafael Molina TID: Tema 1 43

 Ejemplos de operaciones típicas de
procesamiento de imágenes
• Binarización

Rafael Molina TID: Tema 1 44

 Ejemplos de operaciones típicas de
procesamiento de imágenes
• Emborronamiento

Rafael Molina TID: Tema 1 45

 Ejemplos de operaciones típicas de
procesamiento de imágenes
• Mejora del Contraste

Rafael Molina TID: Tema 1 46

 Ejemplos de operaciones típicas de
procesamiento de imágenes
• Segmentación y Etiquetado

Rafael Molina TID: Tema 1 47

Sistemas de Adquisición Visualización e Impresión
procesamiento
de imágenes
Procesamiento
Escáner
Monitor

Cámara
Ordenador

Impresora
Vídeo Procesamiento

Rafael Molina TID: Tema 1 48

Disco magnético Disco óptico
 Sistemas de procesamiento de imágenes
• Hardware
– captación: escáneres, sensores, cámaras, vídeo, etc.
– Procesamiento: ordenadores, estaciones de trabajo, hardware
especializado, etc.
– Dispositivos de visualización e impresión: monitores, impresoras, etc.
– Unidades de Almacenamiento: discos magnéticos, discos ópticos, etc.
• Software
– Módulos que realizan tareas específicas, p.e.: Matlab, Java, ImageJ,
OpenCV

Rafael Molina TID: Tema 01 49

 Sistema de visión por computador

Dominio del Resultados

problema

Adquisición Pre- Segmentación Extracción de Clasificación

Procesamiento Rasgos

Base de
conocimiento
Gráfico importante
Rafael Molina TID: Tema 1 50
 Sistema de visión por computador

• ¿Por qué es tan complicado emular las capacidades

del sistema visual humano utilizando cámaras y
ordenadores?
– Representaciones de imágenes y conceptos asociados
– Alta velocidad
– Capacidad para trabajar bajo condiciones muy diversas
– Los sistemas de visión por computador deben
(generalmente) imponer muchas restricciones para
funcionar
Rafael Molina TID: Tema 01 51
• Revistas (entre otras)
Fuentes
– IEEE Transactions on Image Processing
– Journal on Image and Video Processing
– Digital Signal Processing
– Journal of Advances in Signal Processing
– International Journal of Computer Vision
– IEEE Transactions on Pattern Analysis and Machine Intelligence
– Computer Vision and Image Understanding
– Machine Vision and its Applications
– Image and Vision Computing Journal
– Journal of the Optical Society of America A
– Pattern Recognition
– Pattern Recognition Letters
– IEEE Transactions on Systems, Man and Cybernetics
– IEE Proceedings: Vision, Image and Signal Processing
– Artificial Intelligence
– …….
Rafael Molina TID: Tema 01 52
 Fuentes
• Congresos (entre otros)
– International Conference on Image Processing (ICIP)
– European Signal Processing Conference (EUSIPCO)
– International Conference on Computer Vision and
Pattern Recognition (CVPR)
– European Conference on Computer Vision (ECCV)
– International Conference on Pattern Recognition
(ICPR)

Rafael Molina TID: Tema 01 53

 Fuentes
• Enlaces Interesantes
– Cvonline

Enviar páginas, blogs, … que consideréis de interés a [email protected]

Rafael Molina TID: Tema 01 54

 Bibliografía adicional (además de la
incluida en la primera página)
O. Marque, Practical Image and Video Processing Using Matlab (2011)

R. Szeliski, Computer Vision: Algorithms and Applications, 2nd ed. (en

preparación)

https://szeliski.org/Book/

Rafael Molina TID: Tema 01 55