INVESTIGACION
Neocognitron.
Redes PCA
INTEGRANTES:
Ingrid Velecela
Gabriel Unamuno
Constance Villacreses
Miguel Vega
Inés Vergara
DOCENTE:
Ing. Byron Lima
NEOCOGNITRON.
Descripción del modelo de red neuronal. Incluya la gráfica representativa y formulación matemática.
La arquitectura empleada para modelar una red neuronal, define la configuración para cada uno de
los elementos básicos, en el que el paradigma de las redes neuronales artificiales está caracterizado
en cómo los algoritmos de aprendizaje determinan el cambio de los pesos.
Algunos modelos de red empleados tienen una entrada extra, la cual es denominada "bias" cuyo
único objetivo es lograr una convergencia más rápida de la red, aunque el empleo de este término
dependerá de la aplicación.
La organización de la RNA en cuanto a su arquitectura consiste en la disposición de las neuronas en
forma de capas, de manera que las neuronas de una capa están conectadas con las neuronas de la
capa siguiente, a las que pueden enviar información. Se agrupan en tres tipos:
EP de la capa de entrada: Sólo reciben las señales de entrada desde fuentes externas al sistema y
sin procesarlas transmiten la señal a las capas siguientes.
EP de la capa de salida: Mandan las señales que reciben hacia afuera del sistema. En sí, son las
encargadas de entregar la respuesta de la red y en muchos casos del control de los dispositivos que
se conecten a su salida.
EP de la capa intermedia u oculta: No tienen contacto con el exterior de la red, puede no haber
niveles ocultos, son las principales encargadas del proceso de representación interna de la
información.
En conjunto, todos los EP presentan el siguiente esquema:
:
Cuya nomenclatura es la siguiente:
FA, FB, FC Capa de Entrada, Intermedia y de Salida
respectivamente a1 ... an Señales de entrada
c1 ... cq Señales de salida
a1 ... an Elementos procesadores de la capa de entrada
b1 ... bp Elementos procesadores de la capa
intermedia c1 ... cq Elementos procesadores de la
capa de salida
vnp Indica los pesos asociados entre las neuronas n, p correspondientes a las capas de
entrada e intermedia
wpq Indica los pesos asociados entre las neuronas p, q correspondientes a las capas de
entrada e intermedia
El número de capas intermedias y el número de neuronas de cada capa dependerá del tipo de
aplicación al que se vaya a destinar la red neuronal.
Las conexiones, son las uniones entre una o más neuronas, las cuales indican la relación existente
entre ambas y tiene que ver con la definición de los pesos.
El esquema de interconexión es lo que define a la arquitectura de una red neuronal artificial, es el
que indica como se propagará la señal desde un EP a otro o hacia sí mismo. Dichas interconexiones
son unidireccionales y tienen un peso asociado para cada conexión, estos pesos forman la memoria
de la red.
Las conexiones excitatorias, usualmente señales positivas o cercanas a 1, aumentan el valor de
entrada al EP, mientras que las conexiones inhibitorias decrementan el valor.
Existen tres diferentes esquemas de interconexión entre los EP en una red
neuronal Conexiones entre EP de la misma capa.
Conexiones entre EP de diferente capa.
Conexiones recurrentes que conectan a un EP consigo mismo.
Existe una clasificación para los tipos de conexiones existentes entre las distintas neuronas y capas
que conforman la red:
Hacia delante o feedforward , si la información fluye en una dirección.
Hacia atrás o feedback, que pueden ser recurrentes o autorrecurrentes.
Laterales.
En cuanto al número de capas, las RNA se pueden clasificar en:
Redes Monocapa: Con conexiones laterales o autorecurrentes, e implementadas para su utilización.
Redes Multicapa: Cada capa de una RNA se distingue por que esta conformada por el conjunto de
neuronas que comparten el origen de las señales de entrada y el destino de las señales de salida, de
acuerdo al tipo de conexión tendremos entonces redes multicapa:
Feedfoward: Generalmente, salvo algunas excepciones, las señales se propagan hacia delante, sin
conexiones hacia atrás, ni laterales, ni autorrecurrentes. Ampliamente utilizadas en reconocimiento o
clasificación de patrones.
Feedforward/feedback: En general, suelen ser bicapa, estructura particularmente adecuada y
generalmente utilizada en lo que se conoce como heteroasociación. Dentro de este grupo de RNA
encontraremos algunas con conexiones laterales, y otras con conexiones autorrecurrentes. También
existe un tipo particular de red denominada NEOCOGNITRON topológicamente organizada en capas
bidimensionales, lo que permite eliminar las variaciones geométricas o distorsiones en la información
de entrada de la red.(1)
Describa al menos 3 aplicaciones donde se utilice (o se han utilizado) dichas redes neuronales. Pueden
ser aplicaciones implementadas o trabajos de titulación de universidades.
1. Reconocimiento inteligente de electrocardiogramas mediante redes de neuronas selectivas y
aprendizaje profundo
Describe los métodos conocidos de reconocimiento de imágenes, basados en el uso de la red de neuronas
en las neuronas de McCulloc-Pitts. Considerada red neuronal convolutiva aprendizaje profundo, red
neuronal tipo cognitron y neocognitron, permitiendo el reconocimiento de imágenes, resistentes a
deformaciones, ruidos. Demostró la eficacia del reconocimiento de imágenes utilizando redes de
neuronas selectivas utilizando neuronas selectivas. Las redes neuronales de este tipo no requieren los
sistemas de cálculo de coeficientes de ponderación que proporcionan una reducción significativa del
cálculo en el diseño. Justifica la aplicación selectiva de redes neuronales para el reconocimiento
inteligente de imágenes de contorno de electrocardiogramas estándar (ECG) y cardiogramas complejos
para alteraciones del ritmo cardíaco. Desarrollado un sistema inteligente para el reconocimiento de curvas
médicas. El sistema se realizó sobre la base de redes de neuronas selectivas, aprendizaje profundo y
transformaciones convolucionales de tipo especial. A pesar del número limitado de capas de neuronas, el
sistema desarrollado ha permitido obtener diagnósticos de buena calidad.
2. Aplicación potencial de las imágenes de las venas del dedo: Identificación de personas por
medio de componentes principales y redes neuronales
Establecer la identidad humana de manera confiable y segura se ha convertido en un reto ambicioso para
los investigadores. Uno de los métodos para lograr la identificación personal está respaldado por
tecnologías biométricas, que consideran patrones biológicos y de comportamiento característicos. Se ha
demostrado que uno de los métodos más utilizados a lo largo de la historia es la identificación por medio
de huellas dactilares, pero esto es vulnerable a la falsificación, por eso este trabajo propone un algoritmo
basado en imágenes del patrón venoso del dedo, que es una alternativa. que ofrece un mayor grado de
confiabilidad, ya que utiliza características internas que no están expuestas y no se pueden modificar
como si sucediera con las huellas dactilares. Para el estudio de esta propuesta se hace uso de una base de
datos pública, lo que se procesa y, a través de las redes neuronales, se logra un porcentaje de clasificación
del 73,3% a partir de un mínimo de 2 características, lo que concluye que es posible ofrecer un porcentaje
de clasificación de un sistema automático adaptable dinámico. (2)
3. Una aplicación de la red neuronal " neocognitron " para el procesamiento integral de imágenes
de chip
En la actualidad, se aplican diferentes tipos de redes neuronales en las tareas de reconocimiento y análisis
de imágenes [1] - [2] [3] [4] . En el informe, se ha representado la tecnología de búsqueda en una foto de
captura de escala de grises de un chip de un circuito integrado (KC) y sus unidades estructurales sobre la
base de la red neuronal multicapa "neocognitron". El algoritmo de búsqueda de una unidad separada en
el IC de imagen se realiza mediante un método de escaneo de esta imagen mediante la ventana deslizante,
donde para cada posición de la ventana se mide la aptitud de la imagen en la ventana con la imagen de
un IC de unidad requerido. definido La red neuronal multicapa de la arquitectura simplificada
"neocognitron" con el algoritmo modificado de entrenamiento se ha aplicado para el cálculo de la medida
de la condición física.
Resumir 2 papers de IEEE, Scopus o ScienceDirect donde hayan utilizado estas estructuras conexionistas.
1. Neocognitron como herramienta para el reconocimiento óptico de marcas.
El documento propuso una idea de la estructura de red simplificada para resolver un caso particular de
problema de reconocimiento de marcas ópticas. El modelado experimental muestra que dicha estructura
puede ser lo suficientemente efectiva como para alcanzar una tasa de reconocimiento de hasta el 98%.
Se presenta una descripción de todas las etapas del procesamiento de la imagen desde la forma digital
manuscrita hasta la respuesta del neocognitron ANN. El enfoque sugerido está diseñado para funcionar
con imágenes de valor de gris iniciales de un tamaño comparativamente enorme de 100 × 100 píxeles,
con un nuevo ajuste de escala para ser aplicable al neocognitron.
La mayoría de los problemas durante la implementación de neocognitron están relacionados con la
selección efectiva de parámetros en común, particularmente en este caso, se invirtió mucho tiempo en
seleccionar las mejores características para extraer en las primeras etapas. Otro problema del
neocognitron es su velocidad de procesamiento debido a una gran cantidad de conexiones y debido a la
estructura simplificada sugerida, el procesamiento de imágenes en tiempo real es posible incluso sin
paralelización.
El trabajo adicional puede estar relacionado con una investigación si dichos neocognitrones de pequeña
escala pueden ser aplicables para el reconocimiento de una mayor cantidad de clases de etalon. (3)
2. Neocognitron capaz de aprendizaje incrementa
Este artículo propone un nuevo neocognitron que acepta el aprendizaje incremental, sin causar un daño
severo a los viejos recuerdos o reducir la velocidad de aprendizaje. El nuevo neocognitron utiliza un
aprendizaje competitivo, y el aprendizaje de todas las etapas de la red jerárquica progresa
simultáneamente. Para aumentar la velocidad de aprendizaje, los neocognitrones convencionales de las
versiones recientes sacrificaron la capacidad de aprendizaje incremental y utilizaron una técnica de
construcción secuencial de capas, mediante la cual el aprendizaje de una capa comenzó después de que
el aprendizaje de las capas precedentes hubiera terminado por completo. Si la velocidad de aprendizaje
es simplemente alta para el neocognitron convencional la construcción simultánea de capas produce
muchas celdas de basura, que se vuelven siempre silenciosas después de haber terminado el aprendizaje.
El neocognitron propuesto con un nuevo método de aprendizaje puede evitar la generación de tales
celdas de basura incluso con una alta velocidad de aprendizaje, lo que permite un aprendizaje
incremental. (4)
Red PCA.
Descripción del modelo de red neuronal. Incluya la gráfica representativa y formulación matemática.
También es conocido como la transformada Karhunen-Loéve . El Análisis de Componentes Principales
(PCA del inglés Principal Components Analysis) es una de las técnicas de análisis multivariante más
sencillas [20]. Su objetivo es el de, dado un conjunto de variables Y1, Y2, Y3, . . . , Yp, encontrar
combinaciones lineales que produzcan nuevas variables Z1, Z2, Z3, . . . , Zp, llamadas componentes
principales, tal que ´estas no estén correlacionados y la varianza este maximizada en cada una de ellas.
La falta de correlación entre los ´índices indica que estos miden dimensiones diferentes de los datos.
Además, los nuevos índices están ordenados en relación a su varianza.
La entrada al PCA consiste en los datos que desean analizarse en forma de una matriz, que llamaremos
INPUT . Ésta tiene dimensiones N × M , donde cada N renglón corresponde a una muestra diferente y
cada M columna corresponde a una característica, variable o medición diferente. Si las características
M miden datos de naturaleza diferente (distancia, velocidad, volumen, etc.) es necesario hacer una
normalización de los datos para que la diferencia en las escalas de valores no afecten la efectividad del
algoritmo.
El resultado principal, producto de aplicar PCA sobre la matriz INPUT , es una matriz TRANS de tamaño
M × M . Dicha matriz contiene los M polinomios lineales que permiten calcular los M componentes
principales buscados, como se muestra a continuación:
Pcij = INPUTi • TRANSj
Donde INPUTi es el vector de variables para la muestra i, TRANSj es el vector de la matriz de
transformación para el cálculo del j-´esimo componente principal y pcij es el j-´esimo componente
principal para la i-´e sima muestra.
Como ya dijimos, los componentes principales se calculan y ordenan de tal manera
Que:
v(pc1) > v(pc2) > . . . > v(pcM )
donde v(x) es la varianza de x y pcM es el m-´esimo componente principal. Nótese que nos referimos a
v(pcM ) pues nos referimos a la varianza del componente M con respecto a las N muestras.(5)
Además la varianza total de los datos originales se mantiene, es decir:
M M
Σ v(pcm) = Σ v(INPUTm)
m=1 m=1
Describa al menos 3 aplicaciones donde se utilice (o se han utilizado) dichas redes neuronales. Pueden
ser aplicaciones implementadas o trabajos de titulación de universidades.
1. Estimación y clasificación de daños en materiales utilizando modelos AR
y redes neuronales para la evaluación no destructiva con ultrasonidos
Este proyecto se ocupa de la construcción de un clasificador de señales ultrasónicas asociadas a
determinados niveles de daño en materiales. Los datos de partida son señales provenientes de
experimentos de evaluación no destructiva ultrasónica, a las cuales, se les realizará una extracción de
características mediante el uso de modelos autorregresivos. Además, se estudiará la posibilidad de reducir
el espacio de características y aplicar técnicas de pre procesado de las señales.
Las características seleccionadas, serán la entrada a un clasificador basado en redes neuronales que
producirá una salida que indique el nivel de daño en el material. En este sentido, se probarán distintas
configuraciones de redes neuronales, así cómo diferentes tipos de entrenamiento analizando los
resultados obtenidos.(6)
2. Design of a face recognition system using the hybridisation pattern recognition technique, and
vision ia, focused on robotics safety and social interaction
En su trabajo pionero en 1991, Kirby y Sirovich, propuso el uso de PCA para el análisis y la
representación de la cara. Su trabajo fue seguido por la técnica “Eigenfaces " de Turk y Pentland, la
aplicación de la ACP para reconocimiento facial. Puesto que los vectores son basados en PCA había la
misma dimensión que las imágenes de entrada de la cara, que se denomina “Eigenfaces ".
Una eigenface es la combinación de una combinación de componentes o bases de unas series de caras,
a estos rostros bases se les conoce como Eigenfaces.(7)
3. Reconhecimento de Faces com PCA e Redes Neurais
Consideraciones sobre el rendimiento
Una imagen de dimensión 128x128 será representada por un punto en un espacio de tamaño 16384
La matriz A será de 16384 líneas por 1 columna, portando C = AA ' será cuadrada de orden 16384 Esto es
inviable computacionalmente
Teniendo como solución:
En lugar de calcular C = AAt se calcula
t
L=A A que será cuadrada de orden M. Se calculan los auto-vectores (v) y auto-valores (μ) de L: ( At A)v =
mv
Los auto-vectores (u) de C serán: u=Av
A( At A)v = Amv ( AAt ) Av = m( Av)
Resumir 2 papers de IEEE, Scopus o ScienceDirect donde hayan utilizado estas estructuras conexionistas.
se propone un método de inspiración biológica que reduciría la carga de cálculo del modelo supervisado
de neocognición existente. Este método también proporciona una forma relativamente elegante de
extender las propiedades de invariancia de necognitrom para incluir invariancia de rotación. En muchos
aspectos, el neocognitron puede considerarse como el análogo de la vía parvocelular en nuestro sistema
visual; la idea clave es incorporar el camino magnocelular en el algoritmo de Fukushima. Sin embargo, un
cambio básico en el paradigma es que se dice que se reconoce una entrada cuando y solo cuando uno de
los ganadores de la vía magnocelular es validado por la vía parvocelular.
Introducción
El modelo supervisado de neocognitron tiene muchas características interesantes. Después del
entrenamiento, puede reconocer entradas visuales con un alto grado de tolerancia al desplazamiento,
escalado, ruido y, sobre todo, distracción de las imágenes. Debe enfatizarse que tales capacidades de
invariancia son inherentes a la arquitectura de la red; no es necesario realizar un pre procesamiento que
implique un proceso invariante que puede ser costoso desde el punto de vista computacional. Además,
este modelo está, desde el principio, diseñado para entradas analógicas. Las aplicaciones de Noecognitron
incluyen el reconocimiento de caracteres y la clasificación de vehículos militares.
A pesar de su virtuosidad en el manejo del cambio, escalado, ruido y distorsión, Neocognitron no puede
reconocer ninguna entrada que se gire con respecto a la orientación canónica con la que se realiza el
entrenamiento. Es evidente que para que un sistema de reconocimiento de patrones funcione en un
entorno menos restringido, la invariabilidad es indispensable.
Idea
La idea básica puede expresarse como "levantamiento y apoyo". Como los estudios neurofisiológicos
tienen una vía indical, la vía parvocelular y la vía magnocelular existen en la fase temprana del proceso de
reconocimiento visual. Lo que hace la vía magnocelular es que extrae información general y gruesa de los
estímulos. Dependiendo del grado de inhibición lateral, es probable que active relativamente más células
de abuela, planteando hipótesis de que la entrada podría bien "1", "7", etc.
algoritmo propuesto
Los extractores de elementos más elementales en nuestro sistema visual son células simples y complejos
descubiertos por hubel y wiesel. La bien conocida arquitectura de Fukushima se considera la vía
parvocelular. Todo el proceso de reconocimiento es el siguiente.
Paso 1: Hacer la etapa 1 de la neocognición.
Pasó 2: sume los 8 planos c respectivamente y forme un vector de 8 componentes
Paso 3: normalizar el vector. Llámalo el vector de entrada x
paso 4: alimenta x en la red kohonen
paso 5: hacer los tages restantes del neocognitron
Simetría cíclica zk
¿Cómo reconoce el modelo propuesto con la invariabilidad de la rotación? Primero, notamos que el vector
de entrada x contiene una simetría cíclica zk. El componente 1, x1, es la fuerza total relativa del detector
que responde más fuertemente a la orientación 0. Ahora, introduzca la operación de permutación cíclica
P:
La simetría cíclica de zb se puede expresar sucintamente como pb = 1 (identidad)
en segundo lugar, nos damos cuenta de que x como se construyó en el paso 1-3 no contiene información
espacial en absoluto. Por ejemplo, las dos entradas diferentes darían el mismo vector de entrada. Esta
característica es la clave de la invariancia de rotación.
BIBLIOGRAFIA
[1]"[Link]", [Link], 2019. [Online]. Available:
[Link] [Accessed: 06-
Feb- 2019].
[2]"Sistema Único de Autentificación – Universidad Politécnica Salesiana....", [Link], 2019.
[Online]. Available: [Link]
84966421105&origin=resultslist&sort=plf-
f&src=s&st1=neocognitron&nlo=&nlr=&nls=&sid=a274942f2d4e3e7a32be0ac1db68fe98&sot=b&sdt=b
&sl=27&s=TITLE-ABS-KEY%28neocognitron%29&relpos=66&citeCnt=2&searchTerm=. [Accessed: 06-
Feb- 2019].
[3]"Sistema Único de Autentificación – Universidad Politécnica Salesiana....", [Link],
2019. [Online]. Available: [Link] [Accessed: 06- Feb-
2019].
[4]"Sistema Único de Autentificación – Universidad Politécnica Salesiana....", [Link],
2019. [Online]. Available: [Link]
85031407095&origin=resultslist&zone=contextBox. [Accessed: 06- Feb- 2019].
[5][Link], 2019. [Online]. Available:
[Link] [Accessed: 06- Feb-
2019].
[6]S. Andrade, "Reconhecimento de Faces com PCA e Redes Neurais", [Link], 2019. [Online].
Available:
[Link]
[Accessed: 06- Feb- 2019].
[7]S. Andrade, "Reconhecimento de Faces com PCA e Redes Neurais", [Link], 2019. [Online].
Available:
[Link]
[Accessed: 06- Feb- 2019].
