Con la intención de entender el cerebro humano, a principios del siglo XIX se iniciaron las primeras investigaciones en redes neuronales artificiales. Un dispositivo hidráulico descrito por Russell fue la primera implementación de redes neuronales artificiales. Debido al trabajo de varios científicos y de los avances del hardware, en la década de los 40, en el siglo XX, el estudio de las redes neuronales artificiales cobró una fuerza que se ha incrementado hasta la actualidad.
El primer modelo matemático de redes neuronales, fue realizado por Warren McCulloch y Walter Pitts. Este modelo se basa en la idea de que las neuronas funcionan a base de impulsos binarios. Si bien el modelo generó gran interés, ya que su factor clave está en la capacidad de aprendizaje. Su trabajo es conocido como el origen del campo de las redes neuronales artificiales, el cual fue realizado en 1943. Este trabajo fue ampliamente leído en ese tiempo y hasta el día de hoy.
Posteriormente, Donald Hebb desarrolló un procedimiento matemático de aprendizaje competitivo, el cual lo describió él mismo en su libro titulado Organization of Behavior [Hebb, 1949]. En este procedimiento la red tiene una capa de neuronas de entrada y una capa de neuronas de salida. Los valores binarios (0 ó 1) son usados con más frecuencia en los nodos de salida. Esto significa que hay tantas neuronas de salida como número de clases, a su vez que cada nodo de salida representa una categoría de patrones. El procedimiento tiene el objetivo de seleccionar un ganador, es por esto que cuando una neurona participa constantemente en activar una neurona de salida, la influencia de la neurona de entrada es aumentada. A la neurona de salida que proporciona el valor más alto le es asignado el valor total (podría ser 1), por el contrario a las demás se les asigna el valor 0 (Bencomo, Díaz, Díaz, & Martínez, 2001). Éste paradigma de aprendizaje ahora lleva su nombre, aprendizaje hebbiano (Isasi Viñuela & Galván León, 2004).
Marvin Minsky obtuvo los primeros resultados prácticos en redes neuronales en 1945. Minsky y Edmons diseñaron una máquina con 40 neuronas en donde las conexiones se ajustaban con una serie de eventos que ocurrían al realizar ciertas actividades. La máquina fue construida con tubos, motores y relés y fue capaz de modelar el comportamiento de una rata buscando comida en un laberinto.
Poco después, Frank Rosenblatt extendió el modelo de McCulloch y Pitts añadiendo aprendizaje y así el modelo fue llamado el Perceptrón. Desarrolló un modelo de dos niveles, donde los pesos de las conexiones se ajustaban entre los niveles de entrada y la salida obtenida.
Bernard Widrow diseñó una red neuronal artificial similar al Perceptrón y la llamó Adaptative Linear Element o ADALINE. Esta red ajusta los pesos entre los niveles de entrada y salida en función del error entre el valor de salida esperado y el obtenido. En 1960, Widrow junto con Marcian Hoff probaron matemáticamente que en ciertas circunstancias el error entre la salida deseada y la obtenida puede ser minimizado hasta el límite que queramos. El ADALINE ha sido utilizado para procesamiento adaptativo de señales, sistemas de control y sistemas adaptativos de antenas.
Uno de los primeros investigadores en desarrollo de métodos de codificación de información en redes de neuronas, fue Steinbuch. Las redes se aplicaron al reconocimiento de escritura a mano, mecanismos de diagnóstico de fallos de maquinarias y control de múltiples procesos en producción.
El más influyente e informal de todos los investigadores fue Stephen Grossberg, quien realizó importantes estudios sobre procesos y fenómenos psicológicos y biológicos de procesamiento humano de la información. Sus trabajos incluyen estrictos análisis matemáticos, que permitieron la realización de nuevos paradigmas de redes de neuronas.
Grossberg formó un grupo de investigación en la universidad de de Boston. Con este grupo, investigó todas las facetas del procesamiento de información por parte de los humanos. Estas investigaciones cubren todo el aspecto de las redes neuronales artificiales.
Shun-Ichi Amari combinó la actividad de las redes neuronales biológicas con modelos matemáticos de redes neuronales artificiales. Un ejemplo de estos es una solución al problema de la asignación de créditos.
James Anderson, realizó un modelo de memoria asociativa lineal siguiendo el planteamiento de Hebb, el cual se basa en que las conexiones entre neuronas son reforzadas cada vez que son activadas. El nuevo método de Anderson consistía en elementos integradores o neuronas, que sumaban sus entradas, desarrollando un nuevo modelo llamado Brain-state-in-a-box en 1977. Entre las aplicaciones de este modelo se encuentran la extracción de conocimiento de bases de datos.
Los primeros en descubrir la relación entre los hologramas[1] y las memorias asociativas, fueron los investigadores del Departamento de Máquinas Inteligentes de la Universidad de Edimburgo en 1968. Los dos mecanismos son capaces de obtener un patrón a partir de pocas pistas. Longuet y Higgins crearon un sistema de ecuaciones codificadas para almacenar y recuperar una secuencia de señales. Años más tarde, Willhaw y Buneman junto con Longuet y Higgins, introdujeron los principios holográficos, como un posible mecanismo en los procesos de memoria humanos. De este trabajo surgió un modelo temporal de red neuronal artificial llamado HOLPHONE, paradigma que almacena señales de entrada y puede obtener una señal completa, partiendo únicamente de una parte de ella.
A finales de los 60, Kunihiko Fukushima empezó a trabajar sobre redes de neuronas artificiales, estudiando modelos espaciales y espacio-temporales para sistemas de visión y el cerebro.
A. Harry Kolpf estudió las relaciones entre la psicología de la mente y la biología del cerebro. Realizó una teoría donde menciona que la neurona es un sistema adaptativo, el cual aumenta la eficacia de sus sinapsis excitadoras cuando se despolariza[2] y aumenta la eficacia de sus sinapsis inhibidoras cuando se hiperpolariza[3].
Teuvo Kohonen, sus trabajos se centraron en memorias asociativas y matrices de correlación, de manera semejante a los trabajos de Anderson. Tiempo después, Kohone extendió el modelo de memoria asociativa lineal, en uno que buscaba las óptimas entre vectores linealmente independientes, llamado Asociador Óptimo de Memoria Lineal (OLAM).
A principios de los 70, Leon Cooper y su colega Charles Elbaum comenzaron a trabajar en redes neuronales artificiales. Crearon un grupo llamado Nestor Associates, para el desarrollo de la patente y la comercialización de redes neuronales artificiales. Este grupo tuvo mucho éxito en el desarrollo comercial de ciertos sistemas de red neuronal, por ejemplo la red RCE (Reduced Coulom Energy). (Galvan, 2004, p. 21).
Los modelos matemáticos y biológicos fueron investigados por Terence Sejnowski. Junto con Geoff Hinton descubrieron el algoritmo de la máquina de Boltzmann, la cual reconocía un algoritmo de aprendizaje para una red de tres niveles. Sus más recientes contribuciones han sido a la aplicación del algoritmo de retropropagación, en especial el reconocimiento de voz.
Por otra parte, los psicólogos McClelland y Rumelhart han realizado investigaciones a cerca de los modelos de redes de neuronas artificiales para ayudar a comprender las funciones psicológicas de la mente. Tiempo después integraron sus esfuerzos para realizar un paradigma de reconocimiento de voz llamado Interactive Activation Model. Posteriormente seguidos por otros investigadores interesados, nació el grupo PDP (Parallel Distributed Processing) (Galvan, 2004, p. 24). En 1986 el grupo de investigadores publicó un libro en dos volúmenes titulado Parallel Distributed Processing: Exploration in the Microstructure of Cognition. Los autores más destacados de este libro son, McClelland, Rumelhart, Hinton, Zipser, Smolensky, Sejnowsky, Williams, Jordan, Stone, Rabin, Elman, Kawamoto, Crick, Asanuma, Munro.
El principal diseñador de uno de los primeros computadores personales fue Robert Hecht-Nielsen. Este computador fue dedicado al procesamiento de paradigmas en redes neuronales. TRW MARK III, es el nombre del neurocomputador, el cual estuvo disponible a la venta en 1986. (Nelson & Illingworth, 1994).
Un método de análisis del estado estable en una red asociativa fue descrito en 1982 por John Hopfield (Nelson & Illingworth, 1994). Con este método Hopfield demuestra que se puede construir una ecuación de energía que describe la actividad de una red neuronal de una capa en tiempo discreto, que esta ecuación de energía puede ir disipándose y que a un valor mínimo local el sistema puede converger.
[1] Holograma: Imagen tridimensional creada por proyección fotográfica.
[2] Despolarizar: Tendencia a excitar la generación de los pulsos de la neurona receptora.
[3] Hiperpolarizar: Tendencia a inhibir la generación de los pulsos en la neurona receptora.
El primer modelo matemático de redes neuronales, fue realizado por Warren McCulloch y Walter Pitts. Este modelo se basa en la idea de que las neuronas funcionan a base de impulsos binarios. Si bien el modelo generó gran interés, ya que su factor clave está en la capacidad de aprendizaje. Su trabajo es conocido como el origen del campo de las redes neuronales artificiales, el cual fue realizado en 1943. Este trabajo fue ampliamente leído en ese tiempo y hasta el día de hoy.
Posteriormente, Donald Hebb desarrolló un procedimiento matemático de aprendizaje competitivo, el cual lo describió él mismo en su libro titulado Organization of Behavior [Hebb, 1949]. En este procedimiento la red tiene una capa de neuronas de entrada y una capa de neuronas de salida. Los valores binarios (0 ó 1) son usados con más frecuencia en los nodos de salida. Esto significa que hay tantas neuronas de salida como número de clases, a su vez que cada nodo de salida representa una categoría de patrones. El procedimiento tiene el objetivo de seleccionar un ganador, es por esto que cuando una neurona participa constantemente en activar una neurona de salida, la influencia de la neurona de entrada es aumentada. A la neurona de salida que proporciona el valor más alto le es asignado el valor total (podría ser 1), por el contrario a las demás se les asigna el valor 0 (Bencomo, Díaz, Díaz, & Martínez, 2001). Éste paradigma de aprendizaje ahora lleva su nombre, aprendizaje hebbiano (Isasi Viñuela & Galván León, 2004).
Marvin Minsky obtuvo los primeros resultados prácticos en redes neuronales en 1945. Minsky y Edmons diseñaron una máquina con 40 neuronas en donde las conexiones se ajustaban con una serie de eventos que ocurrían al realizar ciertas actividades. La máquina fue construida con tubos, motores y relés y fue capaz de modelar el comportamiento de una rata buscando comida en un laberinto.
Poco después, Frank Rosenblatt extendió el modelo de McCulloch y Pitts añadiendo aprendizaje y así el modelo fue llamado el Perceptrón. Desarrolló un modelo de dos niveles, donde los pesos de las conexiones se ajustaban entre los niveles de entrada y la salida obtenida.
Bernard Widrow diseñó una red neuronal artificial similar al Perceptrón y la llamó Adaptative Linear Element o ADALINE. Esta red ajusta los pesos entre los niveles de entrada y salida en función del error entre el valor de salida esperado y el obtenido. En 1960, Widrow junto con Marcian Hoff probaron matemáticamente que en ciertas circunstancias el error entre la salida deseada y la obtenida puede ser minimizado hasta el límite que queramos. El ADALINE ha sido utilizado para procesamiento adaptativo de señales, sistemas de control y sistemas adaptativos de antenas.
Uno de los primeros investigadores en desarrollo de métodos de codificación de información en redes de neuronas, fue Steinbuch. Las redes se aplicaron al reconocimiento de escritura a mano, mecanismos de diagnóstico de fallos de maquinarias y control de múltiples procesos en producción.
El más influyente e informal de todos los investigadores fue Stephen Grossberg, quien realizó importantes estudios sobre procesos y fenómenos psicológicos y biológicos de procesamiento humano de la información. Sus trabajos incluyen estrictos análisis matemáticos, que permitieron la realización de nuevos paradigmas de redes de neuronas.
Grossberg formó un grupo de investigación en la universidad de de Boston. Con este grupo, investigó todas las facetas del procesamiento de información por parte de los humanos. Estas investigaciones cubren todo el aspecto de las redes neuronales artificiales.
Shun-Ichi Amari combinó la actividad de las redes neuronales biológicas con modelos matemáticos de redes neuronales artificiales. Un ejemplo de estos es una solución al problema de la asignación de créditos.
James Anderson, realizó un modelo de memoria asociativa lineal siguiendo el planteamiento de Hebb, el cual se basa en que las conexiones entre neuronas son reforzadas cada vez que son activadas. El nuevo método de Anderson consistía en elementos integradores o neuronas, que sumaban sus entradas, desarrollando un nuevo modelo llamado Brain-state-in-a-box en 1977. Entre las aplicaciones de este modelo se encuentran la extracción de conocimiento de bases de datos.
Los primeros en descubrir la relación entre los hologramas[1] y las memorias asociativas, fueron los investigadores del Departamento de Máquinas Inteligentes de la Universidad de Edimburgo en 1968. Los dos mecanismos son capaces de obtener un patrón a partir de pocas pistas. Longuet y Higgins crearon un sistema de ecuaciones codificadas para almacenar y recuperar una secuencia de señales. Años más tarde, Willhaw y Buneman junto con Longuet y Higgins, introdujeron los principios holográficos, como un posible mecanismo en los procesos de memoria humanos. De este trabajo surgió un modelo temporal de red neuronal artificial llamado HOLPHONE, paradigma que almacena señales de entrada y puede obtener una señal completa, partiendo únicamente de una parte de ella.
A finales de los 60, Kunihiko Fukushima empezó a trabajar sobre redes de neuronas artificiales, estudiando modelos espaciales y espacio-temporales para sistemas de visión y el cerebro.
A. Harry Kolpf estudió las relaciones entre la psicología de la mente y la biología del cerebro. Realizó una teoría donde menciona que la neurona es un sistema adaptativo, el cual aumenta la eficacia de sus sinapsis excitadoras cuando se despolariza[2] y aumenta la eficacia de sus sinapsis inhibidoras cuando se hiperpolariza[3].
Teuvo Kohonen, sus trabajos se centraron en memorias asociativas y matrices de correlación, de manera semejante a los trabajos de Anderson. Tiempo después, Kohone extendió el modelo de memoria asociativa lineal, en uno que buscaba las óptimas entre vectores linealmente independientes, llamado Asociador Óptimo de Memoria Lineal (OLAM).
A principios de los 70, Leon Cooper y su colega Charles Elbaum comenzaron a trabajar en redes neuronales artificiales. Crearon un grupo llamado Nestor Associates, para el desarrollo de la patente y la comercialización de redes neuronales artificiales. Este grupo tuvo mucho éxito en el desarrollo comercial de ciertos sistemas de red neuronal, por ejemplo la red RCE (Reduced Coulom Energy). (Galvan, 2004, p. 21).
Los modelos matemáticos y biológicos fueron investigados por Terence Sejnowski. Junto con Geoff Hinton descubrieron el algoritmo de la máquina de Boltzmann, la cual reconocía un algoritmo de aprendizaje para una red de tres niveles. Sus más recientes contribuciones han sido a la aplicación del algoritmo de retropropagación, en especial el reconocimiento de voz.
Por otra parte, los psicólogos McClelland y Rumelhart han realizado investigaciones a cerca de los modelos de redes de neuronas artificiales para ayudar a comprender las funciones psicológicas de la mente. Tiempo después integraron sus esfuerzos para realizar un paradigma de reconocimiento de voz llamado Interactive Activation Model. Posteriormente seguidos por otros investigadores interesados, nació el grupo PDP (Parallel Distributed Processing) (Galvan, 2004, p. 24). En 1986 el grupo de investigadores publicó un libro en dos volúmenes titulado Parallel Distributed Processing: Exploration in the Microstructure of Cognition. Los autores más destacados de este libro son, McClelland, Rumelhart, Hinton, Zipser, Smolensky, Sejnowsky, Williams, Jordan, Stone, Rabin, Elman, Kawamoto, Crick, Asanuma, Munro.
El principal diseñador de uno de los primeros computadores personales fue Robert Hecht-Nielsen. Este computador fue dedicado al procesamiento de paradigmas en redes neuronales. TRW MARK III, es el nombre del neurocomputador, el cual estuvo disponible a la venta en 1986. (Nelson & Illingworth, 1994).
Un método de análisis del estado estable en una red asociativa fue descrito en 1982 por John Hopfield (Nelson & Illingworth, 1994). Con este método Hopfield demuestra que se puede construir una ecuación de energía que describe la actividad de una red neuronal de una capa en tiempo discreto, que esta ecuación de energía puede ir disipándose y que a un valor mínimo local el sistema puede converger.
[1] Holograma: Imagen tridimensional creada por proyección fotográfica.
[2] Despolarizar: Tendencia a excitar la generación de los pulsos de la neurona receptora.
[3] Hiperpolarizar: Tendencia a inhibir la generación de los pulsos en la neurona receptora.
No hay comentarios:
Publicar un comentario