Lección 6 Redes Neuronales Artificiales
Curso Básico Curso Aproximación al estudio de célula mínima desde la Biología de Sistemas Montevideo 6-10 diciembre 2010 Federico Morán Departamento de Bioqímica y Biología Molecular Universidad Complutense madrid, España
Algunos enlaces de interés
• http://www.gc.ssr.upm.es/inves/neural/ann2/anntutor.htm
• http://www.ee.umd.edu/medlab/neural/nn1.html
• http://math.chtf.stuba.sk/Books_texts_ANN.htm
2
7
Neurona formal (McCulloch-Pitts, 1943)
Binaria:
I j = wij xi !i"
y j =0 si I j < !1 si I j " !# $ %
x1
x2
xn
…
yj f
w1j w2j
wnj
Valores reales:
I j = wij xii! "# $
y j = f (I j ) siendo f
función escalónsigmoidegaussiana
...
!
" # #
$ # #
8
Stanislaw Ulam
Sistemas dinámicos discretos capaces de describir sistemas dinámicos continuos
Toffoli T. (1984) Cellular automata as an alternative (rather than an approximation of) differential equations in modeling physics. Physica 10, 117- 127 Vichiniac G.Y. (1984) Simulating physics with cellular automata Physica 10D, 96-116 http//:www.wolfram.com/articles
John von Neumann
John Horton Conway
DISCRETO: “Que las propiedades, el espacio y el tiempo del autómata tienen un número de estados finitos”
Los autómatas celulares son una alternativa a los sistemas de ecuaciones diferenciales parciales
• Células • Rejilla
• Estados • Reglas de transición • Condiciones de contorno • Vecindad
Autómatas celulares
9
Neurona formal vs. autómata celular
x2
x3
x s
x1
x4
s(t +1) = f ({xi(t)},s(t))x(t +1) = g({xi(t)},s(t))
! " #
y j =0 si wij xi
i! "# < 0
1 si wij xii! "# $ 0
% & '
( '
x1
x2
xn
… yj
f
w1j w2j
wnj
Θ
10
Historia de las Redes Neuronales Artificiales (Primera Epoca)
AÑO AUTORES CONTRIBUCIÓN
1943 W. McCulloch, W. Pitts Neurona formal 1949 Donald Hebb Aprendizaje hebbiano 1950 N. Wiener Cybernetics 1951 y 56 J. von Neuman Automata y computacion neuronal.
Redundancia
1951 M. Minsky Neurocomputer 1957 y 62 F. Rosenblatt Regla delta y Perceptron 1962 B. Widraw ADALINE 1963 Winograd y Cowan Proceso distribuido 1969 M. Minsky y S. Papert Critica al perceptron
12
Aprendizaje
• Supervisado: se conoce la respuesta esperada y se puede evaluar el grado de acierto
– Refuerzo positivo/negativo – Cálculo del error (regla delta)
• No supervisado: no se conoce si la respuesta es acertada o no; no se conoce el tipo de respuesta (clasificación)
– Autoorganizado – Hebbiano
13
Primeras redes adaptativas: El perceptrón original (Rosemblatt, 1959)
x1
x2
xn
… yj
f
w1j w2j
wnj
Θ
y j =!1 si wij xi
i" !# < 0
+1 si wij xii" !# $ 0
% & '
( '
Primera regla de aprendizaje (Rosemblatt): wij(nuevo) = wij(viejo) + β yj xi β es la constante de refuerzo (“critico”)
!1 respuesta incorrecta+1 respuesta correcta{
Procedimiento: - Se presenta la muestra en veces sucesivas - Se van modificando los pesos en cada paso hasta llegar a una situación estacionaria - El estado final depende de los valores iniciales de los pesos (mínimos locales)
Otras reglas de aprendizaje: • Tipo Hebb: β=0 • Convergente
! = signo(y j x i ) respuesta incorrecta0 respuesta correcta{
14
Primeras redes adaptativas: regla delta
x1
x2
xn
… yj f
w1j w2j
wnj
Θ
tj (respuesta deseada)
y j =0 si wij xi
i! "# < 0
1 si wij xii! "# $ 0
% & '
( '
wij (nuevo) = wij (viejo) + !(t j " y j )xi
! : constante aprendizaje (0 < ! " 1)
! j = (t j " y j )
Rosenblatt demostró en 1962 que con esta regla de aprendizaje el error siempre disminuye
18
Historia de las Redes Neuronales Artificiales (Epoca Intermedia)
AÑO AUTORES CONTRIBUCIÓN
1971 T. Kohonen Memoria asociativa 1973 Ch. von der Maslsburg Columnas de Orientacion 1975 S.I. Amari Aprendizaje competitivo 1976 Willsaw y von der Malsburg Retinotopia
1977 J. Anderson Autoasociación 1977 y 79 K. Fukushima Cognitron y neocognitron 1978 S. Grossberg Autoorganizacion de redes 1982 T. Kohonen Self Organizing Map (SOM) 1982 y 84 J. Hopfield Redes resonantes o de Hopfield 1985 Ackley, Hinton, Sejnowski Maquina de Boltzman
20
Redes Resonantes o Redes de Hopfield
• Las redes de Hopfield están formadas por neuronas binarias, es decir que sus estado sj pueden adoptar valores (1, -1) ó (1, 0) • Las neuronas están conectadas todas con todas mediante pesos sinápticos con las siguientes restricciones:
- wij = wji (conexiones simétricas) - wii = 0 (no se conectan a sí mismas)
• Regla de actualización de la actividad:
• La actividad se va actualizando de modo recursivo hasta que no varíe en un turno completo • En estas condiciones la energía E siempre disminuye:
24
Aprendizaje no supervisado
• El aprendizaje implica la modificación de los pesos “sinápticos” • La red presenta ENTRADA y SALIDA, pero no hay retorno desde fuera • La red debe descubrir por sí misma patrones, características, regularidades, correlaciones, etc. en los datos de entrada y codificarlos en la salida • Tanto unidades como conexiones han de ser capaces de autoorganización • Sólo es posible si existe redundancia en los datos de entrada:
“La redundancia proporciona conocimiento” (Barlow, 1989) • Tipos de tareas que se pueden realizar:
- modelización de procesos biológicos - agrupar por familias - análisis de componentes principales - “clustering” (agrupamiento o clasificación) - localiación de prototipos - codificación - extracción de carácterísticas comunes - organización topológica de datos
32
Historia de las Redes Neuronales Artificiales (Segunda Epoca)
AÑO AUTORES CONTRIBUCIÓN
1986 Rumelhart, Hinton y Williams
Regla delta generalizada, backpropagation
1986 Rumelhart, McClelland y PDP-group
Paralell distributed processing
1986 Sejnowski y Rosenberg NETtalk 1989 T. Kohonen LVQ
39
NETtalk: Sejnowski, T. J. and Rosenberg, C. R. (1986) NETtalk: a parallel network that learns to read aloud, Cognitive Science, 14, 179-211.
40
Redes Neuronales en Bioinformática Algoritmos supervisados
http://bioinformatics.org.au/gann/
• Genetic Algorithm Neural Networks for Regulatory Region Identification Robert G. Beiko and Robert L. Charleboi
• Análisis de microarrays de DNA: diagnóstico de diferentes tipos de cáncer basándose en sus expresiones génicas características. Khan et al. Nature Med. 7: 673-679 (2001)
• Predicción de la estructura secundaria a partir de la secuencia de aminácidos de una proteína. B Rost: PHD: predicting one-dimensional protein structure by profile based neural networks.
Meth. in Enzymolgy, 266, 525-539, (1996) http://www.predictprotein.org/
http://www.cmpharm.ucsf.edu/~nomi/nnpredict.html
Top Related