Redes Neuronales Monocapa con Conexiones en Cascada PERCEPTRON
description
Transcript of Redes Neuronales Monocapa con Conexiones en Cascada PERCEPTRON
Enero 2000 ESCOM I P N 1
Unidad IIUnidad II Redes Neuronales Monocapa Redes Neuronales Monocapa
con Conexiones en Cascadacon Conexiones en Cascada
El PerceptrónEl Perceptrón
Enero 2000 ESCOM I P N 2
El PerceptrónFrank Rosenblatt Frank Rosenblatt
invento el perceptrón invento el perceptrón en 1957 en el en 1957 en el Laboratorio de Laboratorio de Aeronautica de Aeronautica de Cornell en un intento Cornell en un intento de comprender la de comprender la memoria humana, el memoria humana, el aprendizaje, y el aprendizaje, y el proceso cognocitivo. proceso cognocitivo.
Enero 2000 ESCOM I P N 3
El Perceptrón
En junio de 1960, En junio de 1960, demostró la MARK demostró la MARK I Perceptrón, la I Perceptrón, la primera maquina primera maquina que podía que podía aprender a aprender a reconocer e reconocer e identificar identificar patrones ópticos.patrones ópticos.
Enero 2000 ESCOM I P N 4
Enero 2000 ESCOM I P N 5
Características del Perceptrón
Aprendizaje Aprendizaje Supervisado (offline)Supervisado (offline)
Aprendizaje por Aprendizaje por corrección de errorcorrección de error
Reconocimiento de Reconocimiento de patrones sencillospatrones sencillos
Clasificación de Clasificación de patrones linealmente patrones linealmente separables separables
Enero 2000 ESCOM I P N 6
Arquitectura Arquitectura del Perceptróndel Perceptrón
Dos CapasDos Capas 1a Capa 1a Capa
compuesta de compuesta de varias neuronasvarias neuronas
2a. Capa formada 2a. Capa formada por una sola por una sola neuronaneurona
Función de Función de transferencia en transferencia en escalón .escalón .
Enero 2000 ESCOM I P N 7
PerceptrónPerceptrón Basic building block Basic building block
Comprised of Synaptic Comprised of Synaptic
Weights and NeuronWeights and Neuron
Weights scale the Weights scale the
input valuesinput values
Combination of Combination of
weights and transfer weights and transfer
function F(x) transform function F(x) transform
inputs to needed inputs to needed
output Ooutput O
Trained by changing Trained by changing
weights until desired weights until desired
output is achievedoutput is achieved
F(x)
Bias
I1
I2
In
I3 XO
W1
W2
W3
Wn
Inputs SynapticWeights Neuron
Enero 2000 ESCOM I P N 8
Single-Neuron Single-Neuron PerceptronPerceptron
a hardlim wT
1 p b+ hardlim w1 1 p1 w1 2 p2 b+ + = =
w1 1 1= w1 2 1= b 1–=
Enero 2000 ESCOM I P N 9
Perceptrón MultiplePerceptrón Multiple
Enero 2000 ESCOM I P N 10
Enero 2000 ESCOM I P N 11
Soluciona Problemas Soluciona Problemas linealmente Separableslinealmente Separables
Enero 2000 ESCOM I P N 12
Incapaz de Resolver Problemas no
linealmente separables
Enero 2000 ESCOM I P N 13
Aprendizaje del Aprendizaje del PerceptronPerceptron
Regla de aprendizaje: Es un Regla de aprendizaje: Es un procedimiento para modificar los procedimiento para modificar los pesos y los niveles de umbral de pesos y los niveles de umbral de activación en una red neuronal.activación en una red neuronal.
La principal aportación de F. La principal aportación de F. Rosemblatt fue el desarrollo de una Rosemblatt fue el desarrollo de una regla de aprendizaje simple y regla de aprendizaje simple y automática aplicada al automática aplicada al reconocimiento de patrones.reconocimiento de patrones.
Enero 2000 ESCOM I P N 14
Aprendizaje del Aprendizaje del PerceptronPerceptron
La red aprendía de sus errores y se La red aprendía de sus errores y se inicializaba con valores aleatorios.inicializaba con valores aleatorios.
La regla de aprendizaje siempre La regla de aprendizaje siempre
convergirá a los pesos correctos de convergirá a los pesos correctos de la red si es que existen los pesos la red si es que existen los pesos que solucionen dicho problema.que solucionen dicho problema.
Enero 2000 ESCOM I P N 15
Regla de Aprendizaje Regla de Aprendizaje del Perceptróndel Perceptrón
El entrenamiento comienza El entrenamiento comienza asignandole valores iniciales asignandole valores iniciales pequeños (aleatorios) a los pequeños (aleatorios) a los parámetros de la red (W y b).parámetros de la red (W y b).
Enero 2000 ESCOM I P N 16
Donde:Donde:
W es el peso sináptico.W es el peso sináptico. P es el patrón de entrada, o P es el patrón de entrada, o
elementos de entrada.elementos de entrada. B es el umbral de activación de B es el umbral de activación de
la neuronala neurona e es el error entre el valor e es el error entre el valor
objetivo (t) y el valor de salida de objetivo (t) y el valor de salida de la neurona.la neurona.
Enero 2000 ESCOM I P N 17
La Red fue muy criticada por M. Minsky y
S. Paper en Perceptrons
Enero 2000 ESCOM I P N 18
Ejemplos de clasificación Ejemplos de clasificación de Patrones de de Patrones de
orden 1 (M. Minsky)orden 1 (M. Minsky)
Algunas Funciones Lógicas P/ Algunas Funciones Lógicas P/ ej.ej.•ANDAND•OROR
Patrones linealmente Patrones linealmente separablesseparables
Enero 2000 ESCOM I P N 19
Clasificación de Clasificación de Patrones por medio Patrones por medio
del Perceptróndel Perceptrón
Método GráficoMétodo Gráfico
Enero 2000 ESCOM I P N 20
Decision BoundaryDecision BoundarywT
1 p b+ 0= wT1 p b–=
• All points on the decision boundary have the same inner product with the weight vector.
• Therefore they have the same projection onto the weight vector, and they must lie on a line orthogonal to the weight vector
Enero 2000 ESCOM I P N 21
Example - ORExample - OR
p10
0= t1 0=
p20
1= t2 1=
p31
0= t3 1=
p41
1= t4 1=
Enero 2000 ESCOM I P N 22
OR SolutionOR Solution
w10.5
0.5=
wT1 p b+ 0.5 0.5
0
0.5b+ 0.25 b+ 0= = = b 0.25–=
Weight vector should be orthogonal to the decision
boundary.
Pick a point on the decision boundary to find the bias.
Enero 2000 ESCOM I P N 23
Clasificación de Clasificación de Patrones por medio Patrones por medio
del Perceptróndel Perceptrón
““La regla de La regla de aprendizaje aprendizaje
del perceptrón”del perceptrón”
Enero 2000 ESCOM I P N 24
Ejemplo 1. Ejemplo 1. Clasificación de 2 Clasificación de 2 tipos de patronestipos de patrones
a) Resuelva el a) Resuelva el problema de problema de clasificación con la clasificación con la regla de aprendizaje regla de aprendizaje del perceptrón.del perceptrón.
B) Escriba el código B) Escriba el código para simularlo en para simularlo en Neural Network Neural Network Tolbox.Tolbox.
Enero 2000 ESCOM I P N 25
Learning Rule Test Learning Rule Test ProblemProblemp1 t1{ , } p2 t2{ , } pQ tQ{ , }
p11
2= t1 1=
p21–
2= t2 0=
p30
1–= t3 0=
Enero 2000 ESCOM I P N 26
Starting PointStarting Point
w11.0
0.8–=
Present p1 to the network:
a hardlim wT1 p1 hardlim 1.0 0.8–1
2
= =a hardlim 0.6– 0= =
Random initial weight:
Incorrect Classification.
Enero 2000 ESCOM I P N 27
Tentative Learning Rule• Set
1w to p
1
– Not stable
• Add p1 to
1w
If t 1 and a 0, then w1new
w1old
p+== =
w1new w1
ol d p1+ 1.0
0.8–
1
2+ 2.0
1.2= = =
Tentative Rule:
Enero 2000 ESCOM I P N 28
Second Input Second Input VectorVector
If t 0 and a 1, then w1new
w1old
p–== =
a hardlim wT1 p2 hardlim 2.0 1.2
1–
2
= =
a ha rdlim 0.4 1= = (Incorrect Classification)
Modification to Rule:
w1new
w1ol d
p2–2.0
1.2
1–
2–
3.0
0.8–= = =
Enero 2000 ESCOM I P N 29
Third Input Third Input VectorVector
Patterns are now correctly classified.
a hardlim wT
1 p3 hardlim 3.0 0.8–0
1–
= =
a hardlim 0.8 1= =
(Incorrect Classification)
w1new w1
ol d p3– 3.00.8–
01–
– 3.00.2
= = =
If t a, then w1new w1
o ld.==
Enero 2000 ESCOM I P N 30
Unified Learning Unified Learning RuleRule
e t a–=
w1new
w1ol d
ep+ w1ol d
t a– p+= =
bnew
bol d
e+=
A bias is aweight with
an input of 1.
Enero 2000 ESCOM I P N 31
Multiple-Neuron Multiple-Neuron PerceptronsPerceptrons
winew wi
olde ip+=
binew
biol d
ei+=
Wnew Wol d epT+=
bnew
bol d
e+=
To update the ith row of the weight matrix: Matrix form:
Enero 2000 ESCOM I P N 32
Apple/Banana Apple/Banana ExampleExample
W 0.5 1– 0.5–= b 0.5=
Training Set
Initial Weights
p1
1–
11–
t1 1= =
p2
1
11–
t2 0= =
Enero 2000 ESCOM I P N 33
Perceptron Rule Perceptron Rule CapabilityCapability
The perceptron rule will always converge to weights which
accomplish the desired classification, assuming that
such weights exist.
Enero 2000 ESCOM I P N 34
Matlab Neural Matlab Neural Network ToolboxNetwork Toolbox
Simulación del Simulación del PerceptrónPerceptrón
Enero 2000 ESCOM I P N 35
Perceptrón Perceptrón ArchitectureArchitecture
ai har dlim ni hardlim wTi p bi+ = =
W
w1 1 w1 2 w1 R
w2 1 w2 2 w2 R
wS 1 wS 2 wS R
=
wi
wi 1
wi 2
wi R
= W
wT
1
wT
2
wT
S
=
Enero 2000 ESCOM I P N 36
Simulación de Perceptrones Simulación de Perceptrones en Neural Network Toolboxen Neural Network Toolbox
[W, b] = [W, b] = initp(P,T)initp(P,T)
[dW,db] = [dW,db] = learnp(p, e)learnp(p, e)
Esta función Esta función inicializa los pesos inicializa los pesos y el umbral en el y el umbral en el intervalo [+1,-1].intervalo [+1,-1].
Calcula los cambios Calcula los cambios en los pesos y el en los pesos y el umbral (P,T).umbral (P,T).
Enero 2000 ESCOM I P N 37
Simulación de Simulación de PerceptronesPerceptronesen Neural Network en Neural Network ToolboxToolbox
[W,b,ep,tr] = [W,b,ep,tr] = trainp(W,b,ep,trtrainp(W,b,ep,tr))
simup(P,W,b)simup(P,W,b)
Efectua lazos de Efectua lazos de entrenamiento entrenamiento (epoch).(epoch).
Simula una capa Simula una capa de perceptronde perceptron. .
Enero 2000 ESCOM I P N 38
Código de Código de Simulación Simulación
clear;echo on;clc;nntwarn off;clear;echo on;clc;nntwarn off; P= [ -1 -1 0 ; 1 -1 0 ]; T= [ 1 1 0 ]; [W,b]= initp(P,T) tp=[2 200] [W,b]= trainp(W,b,P,T,tp) pause %hit a letter plotpv(P,T) plotpc(W,b) a= simup(P,W,b) echo offecho off
Enero 2000 ESCOM I P N 39
Some Some Question ???Question ???
Enero 2000 ESCOM I P N 40
Sorry !!!, I See Sorry !!!, I See youyou
Enero 2000 ESCOM I P N 41
Enero 2000 ESCOM I P N 42
Enero 2000 ESCOM I P N 43
Enero 2000 ESCOM I P N 44
Enero 2000 ESCOM I P N 45
Enero 2000 ESCOM I P N 46
Enero 2000 ESCOM I P N 47
Enero 2000 ESCOM I P N 48
Enero 2000 ESCOM I P N 49
Enero 2000 ESCOM I P N 50
Enero 2000 ESCOM I P N 51
Enero 2000 ESCOM I P N 52
Enero 2000 ESCOM I P N 53
Enero 2000 ESCOM I P N 54
Enero 2000 ESCOM I P N 55
Enero 2000 ESCOM I P N 56
Enero 2000 ESCOM I P N 57