Post on 15-Feb-2016
description
1
Aprendizaje del Perceptron Multicapa Mediante
Retropropagación del Error
Control Inteligente
2
Temario
Dibuje un perceptron multicapa con 2 entradas, 2 neuronas escondidas, y una neurona de salida
Escriba las fórmulas de actualización de cada uno de los pesos de conexión entre las neuronas de la capa oculta y
la capa de salida.
Fórmulas de actualización de los pesos de conexión entre las entradas y las neuronas de la capa oculta.
Batch Training
3
Temario
Escriba el programa para realizer el aprendizaje por retropropagación del error para que la red neuronal del ejercicio 1 aprenda a partir de los patrones de entrenamiento de una compuerda XOR. Considere
un factor de aprendizaje de 0,1; alfa=4. Grafique la curva de aprendizaje. Considere aprendizaje en línea(ejemplo por ejemplo).Grafique las líneas de frontera de la red neuronal de acuerdo a lo
realizado en la actividad 7
Repita el numeral 4 pero con aprendizaje en paquete (“batch”). Grafique las líneas de frontera de la red neuronal de acuerdo a lo
realizado en la actividad 7
Batch Training
4
Batch Training
Dibuje un perceptron multicapa con 2 entradas, 2 neuronas escondidas, y una neurona de salida.
5
Batch Training𝐼𝑛0
𝐼𝑛1
𝐼𝑛2
𝑠0(2)
𝑠1(2)
𝑠2(2)
𝑠1(3)𝑤11
𝑤12
𝑤21
𝑤22
𝑤01
𝑤02
𝑤𝑠0
𝑤𝑠1
𝑤𝑠2
𝑠1(2)= 𝑓 (𝑤01 𝐼𝑛0+𝑤11 𝐼𝑛1+𝑤21 𝐼𝑛2)
𝑠2(2)= 𝑓 (𝑤02 𝐼𝑛0+𝑤12 𝐼𝑛1+𝑤22 𝐼𝑛2)
𝑜𝑢𝑡=𝑠1(3)= 𝑓 (𝑤𝑠0𝑠0(2 )+𝑤𝑠 1𝑠1( 2)+𝑤𝑠2𝑠2(2))
6
Batch Training
Escriba las fórmulas de actualización de cada uno de los pesos de conexión entre las neuronas de la capa oculta y la capa de salida.
7
Perceptrón multicapa con una entrada, una neurona escondida y una neurona de salida.
Batch Training
8
Perceptrón multicapa con una entrada, una neurona escondida y una neurona de salida.
𝛥𝑤𝑠 2=−ƞ.𝑒𝑟𝑟𝑜𝑟 .(−1).⍺ .𝑜𝑢𝑡 .(1−𝑜𝑢𝑡) (𝑜𝑢𝑡 2)
Batch Training
9
Fórmulas de actualización de los pesos de conexión entre las entradas y las neuronas de la capa oculta.
Batch Training
10
Batch Training
11
Escriba el programa para realizer el aprendizaje por retropropagación del error para que la red neuronal del ejercicio
1 aprenda a partir de los patrones de entrenamiento de una compuerda XOR. Considere un factor de aprendizaje de 0,1;
alfa=4. Grafique la curva de aprendizaje. Considere aprendizaje en línea(ejemplo por ejemplo).
Grafique las líneas de frontera de la red neuronal de acuerdo a lo realizado en la actividad 7.
Batch Training
12
%Factor de Aprendizaje eta=0.5;w01=-1.1;w11=1.2;w21=-0.1;w02=-0.5;w12=1.1;w22=0.9;ws0=-2.1;ws1=-1.1;ws2=0.1;dw01=0;dw11=0;dw12=0;dw02=0;dw21=0;dw22=0;
dws0=0;dws1=0;dws2=0;c=0;%Entradasin0=1;in1=[0 0 1 1];in2=[0 1 0 1];%Salidasout1=[0 0 0 0];out2=[0 0 0 0];out=[0 0 0 0];%Objetivotarg=[0 1 1 0];%Factor de Suavidad Sigmoidealpha=4;
Programa RealizadoBatch Training
13
Programa RealizadoBatch Training
14
Programa RealizadoBatch Training
15
Curva de aprendizaje
Batch Training
16
Líneas de frontera
Batch Training
17
Líneas de frontera
Batch Training
18
Batch Training
Repita el numeral 4 pero con aprendizaje en paquete (“batch”). Grafique las líneas
de frontera de la red neuronal de acuerdo a lo realizado en la actividad 7.
19
Batch Training
El algoritmo de aprendizaje descenso de gradiente contiene una suma sobre todos los patrones de entrenamiento p
Cuando sumamos los cambios en el peso de todos los patrones de formación de este tipo, y los aplicamos de una sola vez, se llama Entrenamiento por Lotes.
20
Batch Training
21
Batch Training
22
Batch Training
23
Batch Training
0 10 20 30 40 50 60 70 80 90 1000
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
24
Batch Training
00.2
0.40.6
0.81
0
0.5
10
0.2
0.4
0.6
0.8
1
in1in2
out
25
Batch Training