Perceptron Multicapa
-
Upload
jair-vazquez-palma -
Category
Documents
-
view
231 -
download
0
description
Transcript of Perceptron Multicapa
-
Maestra en Ciencias de la
Computacin INTELIGENCIA ARTIFICIAL
Perceptrn Multicapa
Presenta: J. Jair Vzquez Palma
-
Perceptrn Simple Limitaciones Resuelve solo problemas linealmente separables Es decir clasificar entre 2 clases (0,1)
-
Perceptrn Multicapa El primer algoritmo de entrenamiento para las redes multicapa fue desarrollado por Paul Werbos en 1974. Al principio no fue Aceptada por la comunidad de los desarrolladores del Redes Neuronales. Fue asta los 80s el Backpropagation redescubierto por David Rumelhart (1986), Geoffrey Hinton - Rolal Williams, David Parker y Yann Le Cun.
-
Perceptrn Multicapa
La Perceptrn Multicapa surge de para resolver problemas que no son linealmente separables
-
Perceptrn Multicapa Pasos Aprendizaje (Propagacin hacia delante, hacia atrs): a) Definir la Topologa (numero de capas, funcin de
activacin o transferencia). b) Inicializar lo pesos aleatoriamente. c) Ingresar los patrones. d) Realizar la propagacin. e) Comparar salidas. f) Calcular el error. g) Propagar hacia tras h) Actualizar pesos.
-
Perceptrn Multicapa
Ingreso de los patrones
-
Perceptrn Multicapa
Calculando Funcin Net
-
Perceptrn Multicapa
Funcin de Transferencia. Se utiliza para acotar la salida de la neurona y generalmente viene dada por la interpretacin que queramos darle a dichas salidas. Las ms utilizadas son: Funcin sigmoidea: para obtener valores en el intervalo [0,1] casi nunca toca a 0 logsig salida positiva: f(n)=1/[1+e^(-n)] Funcin tangente hiperblica Para obtener valores en el intervalo [-1,1] pasando por el 0. f(n)=[e^n - e^-n] / [e^n + e^-n]
-
Perceptrn Multicapa
Aplicando Funcin de Transferencia. Salida positiva: f(n)=1/[1+e^(-n)]
Todo este proceso se realiza con cada una de las neuronas. Funcin Net Funcin de Activacin Los resultados de la primera capa sern la entrada de la siguiente capa.
-
Perceptrn Multicapa
El cambio de la topologa de la red (nmero de capas) depender de la satisfaccin del porcentaje de error, si el error no es satisfactorio se aumentara una capa capas a la Red Neuronal.
Podemos observar una tendencia. Se elige el numero que sea mas cerca a 1.
-
Perceptrn Multicapa
Se comparan la salida Real con las Salida Esperada, si los resultados no son los adecuados se entrena la Red Neuronal.
Los resultados son diferentes, entonces se necesita aplicar el entrenamiento.
-
Perceptrn Multicapa
Para conocer los valores esperados ahora tenemos:
-
Perceptrn Multicapa
Aprendizaje: Tipo de aprendizaje Supervisado. La propagacin se da desde la primera a la ultima capa hasta generar una salida Se calcula el error medio cuadrtico: compara la salida real(a) con la salida deseada(t) Las salidas de error se propagan hacia atrs, partiendo de la capa de salida hacia las neuronas que contribuyen directamente a la salida. BackPropagation.
-
Perceptrn Multicapa
En backpropagation, el mtodo general de entrenamiento se resume en los siguientes pasos: Pasos hacia delante: 1. Selecciona un vector de entrada desde el conjunto de entrenamiento. 2. Aplica esta entrada a la red y calcula la salida. Pasos hacia atrs: 3. Calcular el error entre la salida calculada y la salida deseada de la entrada usada. 4. Ajustar los pesos para que el error cometido entre la salida calculada y la salida deseada sea disminuido. 5. Se continua propagando el error hacia atrs y ajustando los pesos hasta que se alcance la capa de entradas. 6. Este proceso se repetir con los diferentes datos de entrenamiento.
-
Perceptrn Multicapa
Ajustando pesos: Regla Delta
La actualizacin de los pesos de la ultima capa se realiza mediante:
Nota: se ocupa cuando existe una sola salida.
-
Perceptrn Multicapa
Ajustando pesos: Regla Delta
La actualizacin de los pesos entre las capas ocultas sera calculando el (delta) propagando hacia atrs desde la capa de salida. Zpj = resultado de la neurona
Nota: se ocupa cuando existen mas de una salida.
-
Perceptrn Multicapa
Ejercicio
Asuma una funcin sigmoide para la funcin Z Asuma =1y todos los pesos inicialmente a 1.0. Patron 1: 0, 0 salida deseada o esperada 1 Patron 2: 0, 1 salida deseada o esperada 0 El primer patrn de entrada 0, 0 salida 1
-
Perceptrn Multicapa
Calculando el error:
Los nuevos pesos despus de la primer par de entrenamiento se realiza mediante: