Tipos de neuronas Artificiales
1. Aproximaciones (estimaciones, regresiones, etc.) 2. Clasificacin. Se caracterizan por: 1. Un estado interno: activada (1) o desactivada (0). 2. Seales de entrada 3. Funciones de activacin y transferencia. Una Red Neuronal puede trabajar en dos modos: 1. Aprendizaje 1.1. Supervisado 1.2. No supervisado 2. Simulacin
Funciones Bsicas
.
Funcin de activacin
()
Funcin de transferencia
Si suponemos los pesos:
, tenemos que: AND 0 0 1 0 OR 1 1 1 0
1 0 1 0
0 1 1 0
1 1 2 0
Dado que La salida estar dada por: ( ) Para el OR con un y para el AND con un { solucionamos nuestro problema.
Nota: La funcin XOR (o exclusivo) no se puede representar mediante este mtodo porque no es linealmente separable. Ver la figura a continuacin.
XOR
Aprendizaje
Capacidad de una neurona (o red neuronal) para ajustar las conexiones (pesos) de modo de obtener una respuesta deseada o que satisfaga ciertos criterios. 1. Regla de Hebb (1949) Cuando una neurona i repetida y persistentemente excita a una neurona j algn proceso de crecimiento o metablico se produce en una o ambas neuronas de modo que la eficiencia de excitacin de i sobre j aumenta.
Redes Neuronales artificiales (RNA)
Consisten en un conjunto de neuronas interconectadas entre s Se caracterizan (completamente) por: 1. 2. 3. 4. Nmero de neuronas Arquitectura de interconexin Valor de los pesos Funciones de activacin y transferencia
Red Neuronal Simple
Las RNA pueden trabajar en dos modos: 1. Aprendizaje: adapta sus pesos; su arquitectura; sus funciones de activacin y transferencia 2. Reconocimiento o simulacin: se usa la RNA para procesar informacin Aprendizaje de RNA: 1. Supervisado (va ejemplos) 2. No-Supervisado
Entrenamiento / Problema Memorias Asociativas Clasificacin Prediccin Interpolacin Cubanizacin
Supervisado Hopfield Adaline-Perceptron MLP TDNN LVQ RBF LVQ (Learning Vector Quantization)
No-Supervisado
Kohonen ART (Redes de resonancia adaptativa)
Tabla con algunas de las redes ms tpicas
Ingeniera Neuronal: buenos modales
1. Tratamiento previo de los datos y anlisis del sistema 2. Creacin de la red 3. Validacin del modelo Pasos: 1. Exhaustivo anlisis del sistema Nmero y tipo de variables de entrada y salida Cuestionar si es imprescindible usar un modelo neuronal Se cuentan con los datos (muestras) necesarias? 2. Pre Procesamiento Un modelo neuronal es de tipo caja negra Son modelos de interpolacin, nuca de extrapolacin que dependen fuertemente de la calidad (grado en que representan la realidad) y cantidad de los datos (muestras) disponibles. Las variables deben estn normalizadas cuando intervienen variables en diferentes magnitudes y unidades 3. Diseo del modelo neuronal Determinar: Numero de neuronas de entrada y de salida Numero de neuronas en la capa intermedia ( Se recomienda la siguiente proporcin. ( Dnde Nmero de pesos. Por otro lado sabemos que: ( ) ( ) Dnde: Nmero de neuronas en la capa de entradas, por ende, nmero de entradas. Nmero de neuronas en la capa de salida. Funciones de transferencia: Tpicamente sigmoidales
): )
4. Entrenamiento Problemas: a. Sesgo: se debe aumentar prudentemente el nmero de neuronas en capa oculta
b. Sobre parametrizacin c. Sobre aprendizaje
Mtodos a. Validacin cruzada b. Parada temprana c. Regularizacin: se trata de agregar trminos a la funcin objetivo de tal manera que al minimizarla se penalice la cantidad de parmetros que tenga el modelo. d. Poda: se trata de agregar trminos a la funcin objetivo de tal manera que al minimizarla se penalice la cantidad de parmetros que tenga el modelo. 5. Generalizacin Hay dos mtodos tpicos: a. OSA: un paso adelante b. MPO: mltiples pasos adelantes
Metodologas de modelacin
1. Modelacin terica o fundamental Se usa teora aceptada por las ciencias que subyacen el fenmeno Caractersticas: Se requiere ayuda de expertos Fcilmente generalizable Comprensin del fenmeno o proceso
2. Modelacin emprica o experimental Observaciones directas > ecuaciones Solo informacin entrada-salida Mtodos de desarrollo: algortmicos, numerosos y diversos -> identificacin Modelos lineales de orden reducido No-generalizables 3. Modelacin combinada (descriptivos) Frecuentemente utilizada La estructura se define por modelacin terica Parmetros <- experimentacin
Perceptron Mono-capa
Frank Rossenblat, 1957
Red de 3 capas, la ltima de ellas con funcin de transferencia de tipo umbral lgico diseada para tarea de clasificacin.
Luego,
B A A B B
Mtodos de optimizacin
1. Deterministas 1.1. Primer orden Trabajan con la primera derivada 1.2. Segundo orden Trabajan con la segunda derivada. Son ms lento en cada iteracin (respecto a los de primer orden), pero toman muchas menos iteraciones, lo cual a la larga los hace ms rpidos. Son ms difciles de implementar (programar) y requieren ms recursos. 2. Estocsticos
