Centro universitario uaem atlacomulco



Descargar 65.47 Kb.
Fecha de conversión05.10.2018
Tamaño65.47 Kb.

Reporte Bloque 3 REDES NEURONALES ARTIFICIALES FUNDAMENTOS, MODELOS Y APLICACIONES Cachorros Reporte 1 19 de Agosto 2014

UNIVERSIDAD AUTÓNOMA DEL ESTADO DE MÉXICO

CENTRO UNIVERSITARIO UAEM ATLACOMULCO

Línea de Aprendizaje: redes neuronales

ingeniero: marco antonio lopez paredes

Reporte 1.

REDES NEURONALES ARTIFICIALES FUNDAMENTOS, MODELOS Y APLICACIONES



Capítulo 3 Características de las redes neuronales

ICO 17 5to Semestre

Cachorros”



Rogelio Valdés Sánchez

Juan Carlos Tomas Reyes

Oscar Longinos Velázquez

Oliver Sánchez Cruz

Levi Guadarrama Tercero

Contenido



Topologías de las redes neuronales……………………………………….……pag1

Redes monocapa……………………………………………………………...........pag3

Redes multicapa………………..……………………………………………………pag3

Redes con conexiones hacia adelante (feedforward) ………………….........pag4

Redes con conexión hacia adelante y hacia atrás (feedforward/feedback)...... ……………..………………………………………..………………………………….pag4

Mecanismo de aprendizaje………………..……………………………………… pag4

Redes con aprendizaje supervisado………………..…………………………....pag5

Aprendizaje por corrección de error………………..………………………..…. pag5

Aprendizaje por refuerzo………………..………………………………………… pag7

Aprendizaje Estocástico………………..………………………………………….pag8

Redes con aprendizaje no supervisado………………..………………………. pag8

Aprendizaje hebbiano………………..……………………………………………..pag9

Aprendizaje Competitivo y Cooperativo………………..…………………….. pag10

Tipo de asociación entre las informaciones de entrada y salida………… pag12

Red Heteroasociativa………………..…………………………………………… pag12

Red Autoasociativa………………..………………………………………………pag13

Representación de la información de entrada y salida………………..…....pag15

Caracteristicas de los modelos de redes neuronales mas conocidos…..pag15

Topologías de las redes neuronales

La topología o arquitectura de las rede neuronales consiste en la organización y disposición de la neuronas en la red formando copas o agrupaciones.



Párrafo 2/pag.69/renglón 1,2,3/reporte 1

Los parámetros fundamentales: el número de capaz, el número de neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas.



Párrafo 2/pag.69/renglón 4/reporte 1

Una clasificación de las redes en términos topológicos, suele distinguir entre las redes con una sola capa o nivel de neuronas y las redes múltiples capas.



Párrafo 3/pag.69/renglón 1/reporte 1

Redes monocapa

En la redes monocapa, la red HOPFIELD, la red BRAIN-STATE-IN-A-BOX establece conexiones laterales entre las neuronas que pertenecen a la única capa que constituye la capa, pueden existir capaz conexiones autorrecurrentes.



Párrafo 1/pag.70/renglón 1,2,2/reporte 1

Crossbar suele utilizarse como etapa de transición cuando se pretende implementar físicamente una red monocapa.

Las redes monocapa se utilizan típicamente en tareas relacionadas con lo que se conoce como auto asociación.

Redes multicapa

Son aquellas que disponen de conjuntos de neuronas, una forma para distinguir la capa a la que pertenece una neurona, consistirá en fijarse en el origen de las señales que reciben a la entrada y el destino de la señal de salida.



Párrafo 1/pag.71/renglón 1,2,3/reporte 1

Un gran número de estas redes también existen la posibilidad de conectar las salidas de las neuronas de capas posteriores a las entradas de las capas anteriores, a estas conexiones se les denomina conexiones hacia atrás o feedback.



Párrafo 2/pag.71/renglón 1,2/reporte 1

Las redes con conexiones hacia adelante o redes feedforward y las redes que disponen de conexiones tanto hacia adelante como hacia atrás o redes feedback/feedforward.



Párrafo 3/pag.71/renglón 2/reporte 1

Redes con conexiones hacia adelante (feedforward)

En las redes feedforward todas las señales neuronales se propagan hacia adelante a través de las capas de la red, por ende es mas factible para obtener resultados.



Párrafo 1/pag.72/renglón 1,2/reporte 1

En el caso de los modelos de red propuestos por Kohonen denominados LEARNING VECTOR QUANTIZER (LVQ) y TOPOLOGY PRESERVING MAP (TPM), en las que existen unas conexiones implícitas muy particulares entre las neuronas de la capa de salida.



Párrafo 1/pag.72/renglón 7,8,9/reporte 1

Las redes feedforward más conocidas son: PERCEPTRON, ADALINE, MADALINE, LINEAR ADAPTIVE MEMORY (LAM), DRIVE-REINFORCE-MENT, BACKPROPAGATION. Son específicamente útiles en las aplicaciones de reconocimiento o clasificación de patrones.



Párrafo 2/pag.72/renglón 1,2,3/reporte 1

Redes con conexión hacia adelante y hacia atrás (feedforward/feedback)

En este tipo de redes circulan información tanto hacia delante como hacia atrás durante el funcionamiento de la red esto es posible feedforward y conexiones feedback entre las neuronas las redes cagnitron y neocognitron suelen ser bicapa los valores de los pesos de estos tiposde conexiones no tienen por que coincidir siendo diferentes en la mayor parte de los casos este tipo de estructura es principalmente para realizar una asociación de información o patrón de entrada con otra información este tipo de funcionamiento basado en lo que se conoce como resonancia de tal forma que la primera y segunda capa interactúen entre si hasta que alcance un estado estable



Párrafo 2/pag.72/renglón 5,7,12,13/reporte 1

Mecanismo de aprendizaje

El aprendizaje es el proceso por el cual una re modifica sus pesos en respuesta a una información de entrada.

Los modelos de redes neuronales artificiales le creación de una nueva conexión implica que el paso de la misma pasa tener un valor distinto de cero. En el proceso de las conexiones de la red sufren modificación por lo tanto estos procesos se han terminado.

El conocer cómo se modifica los valores d los pesos cambia el valor asignado a las conexiones cuando se pretende que la red aprende una nueva información, La regla de aprendizaje las que responde a lo que habitualmente se conoce como aprendizaje supervisado y correspondiente a un aprendizaje no supervisado

RNA CON APRENDIZAJE SUPERVISADO

RNA CON APRENDIZAJE NO SUPERVISADO



Párrafo 1,2,3,4/pag.75/renglón 1,2 7,8,9,10,12,15,20/reporte 1

Redes con aprendizaje supervisado

ESTE SE CARACTERIZA por el proceso de aprendizaje se realiza mediante un entrenamiento controlado por un agente externo que determina la respuesta que debería generar la red a partir de una entrada determinada el supervisor comprueba la salida de la red y en el caso de que coincida se producirá una modificación en los pesos de las conexiones Aprendizaje por corrección de error Aprendizaje por refuerzo Aprendizaje por estocástico



Párrafo 1,/pag.76/renglón 1,2,3,7/reporte

Aprendizaje por corrección de error

Presenta al sistema un conjunto de pares de datos, representado la entrada y la salida deseada para dicha entrada. Ajustando los pesos de las conexiones de la red para después hacer la relación en función de la diferencia entre los todos los valores deseados y obtenidos en la salida, como se muestra: Fig. 3.1



Párrafo 1,/pag.77/renglón 1,2,3/reporte 1

Es un aprendizaje ON Line



c:\yoyo\presentacion\77_fig.jpg


 :factor de aprendizaje ( 0 <  < 1 )

Aquí se muestra un esquema mas claro:



http://www.varpa.org/%7emgpenedo/cursos/scx/tema2/img/2.gif

Algoritmos que utilizan este tipo de aprendizaje son:



  • Regla de aprendizaje del perceptron: utilizada en la red PERCEPTRON

  • Regla delta o del mínimo error cuadrado: utilizado en las redes ADALINE y MADALINE.

  • Regla delta generalizada: utilizada en redes multicapa

c:\yoyo\presentacion\117_fig.jpg

c:\yoyo\presentacion\129_fig.jpg

Aprendizaje por refuerzo

Es un aprendizaje ON Line. Donde hay una relación de entrada-salida a través de un proceso de éxito o fracaso (éxito=+1 o fracaso=-1), el cual produce la señal de refuerzo que ayuda al sistema a su buen funcionamiento en todos los aspectos.



Párrafo 3,/pag.80/renglón 1,2,3 /reporte 1

Algunos personajes han formulado el aprendizaje por Refuerzo, lo han hecho como una estrategia de aprendizaje en donde no se necesita un conjunto de ejemplos evaluados por un profesor. Estos Personajes fueron Barto, Sutton y Anderson

El sistema descrito por Barto explora el espacio entrada-salida y usa una señal de refuerzo (feeback) sobre las consecuencias de la señal de control (salida de la red) sobre el entorno.

Entonces se puede decir: Los pesos se ajustan en base a la señal de refuerzo basándose en un mecanismo de probabilidades.



Párrafo 3,/pag.80/renglón 3 y 4 /reporte 1

Aprendizaje Estocástico

A partir del objetivo deseado y de distribuciones de probabilidad vienen los cambios en los valores de los pesos y de inmediato se evalúa. De acuerdo algunas indagaciones una red que utiliza este tipo de aprendizaje es la red Boltzman Machine, ideada por Hinton, Ackley y Sejnowski en 1984 y la red Cauchy Machine desarrollada por Szu en 1986.



Párrafo 1,/pag.81/renglón 1,2,3/reporte 1

Proceso de la red que utiliza este tipo de Aprendizaje Estocástico:



  • Se realiza un cambio aleatorio en los Pesos.

  • Se determina la nueva energía de la red

  • Si la energía no decrece: se aceptaría el cambio en función de una determinada y preestablecida distribución de probabilidades.

Es un aprendizaje OFF Line

Redes con aprendizaje no supervisado

Conocido como auto supervisado es decir, que no depende de lo externo para ajustar los pesos entre la conexión de neuronas.



Párrafo 2,/pag.82/renglón 1,2,3/reporte 1

Su objetivo de este aprendizaje es encontrar grupos de información, reducción de la dimensionalidad, construcción de mapas topográficos, encontrar causas ocultas y modelar la densidad de datos.

Algunos usos de este aprendizaje son:


  • Compresión de Datos.

  • Clasificación.

  • Hacer otras tares de aprendizaje más fácil.

  • Una teoría del aprendizaje humano y la percepción.

Aprendizaje hebbiano

Este modelo memorístico fue postulado en 1949 por Donald Hebb. Afirmó que la huella de un recuerdo fruto de una experiencia ocurre y se mantiene por medio de modificaciones celulares que primero trazan y luego consolidan la estructura espacial de las redes neuronales.

Entonces es el ajuste de los pesos de las conexiones de acuerdo con correlación. Se entiende por correlación es este caso como la multiplicación de valores binarios +1 y -1, de los valores de activación, ósea; salidas de las dos neuronas conectadas.

Párrafo 3/pag.84/renglón 1,2,3/reporte 1

Topología de Red:



i

j

Wji

Si las dos unidades son activas (positivas), se produce un reforzamiento de la conexión, pero si una es activa y la otra pasiva (negativa), se produce un debilitamiento de la conexión.

Párrafo 4,/pag.84/renglón 1,2,3/reporte 1

La modificación de los pesos se realiza en función de los estados (salidas) de las neuronas obtenidas tras la presentación de cierto estímulo (información de entrada a la red), sin tener en cuenta si se deseaba obtener o no esos estados de activación.

Hebb sugirió que la fuerza de la sinapsis en el cerebro cambia proporcionalmente a la correlación entre el disparo de las neuronas pre y post sinápticas.

La regla de aprendizaje de Hebb es NO Supervisada y se utiliza en redes neuronales feedforward debido a que solo se emplea el producto de las entradas y las salidas actuales para la modificación de los pesos.

Ninguna salida deseada se proporciona para generar la señal de aprendizaje que actualizará los pesos, Porque requiere de la inicialización de los pesos en valores pequeños y aleatorios cercanos a cero antes de realizar el aprendizaje.

Para finalizar con este subtema existen varias aplicaciones de este tipo de aprendizaje; en el diseño de circuitos integrados VLSI. Por su fácil implementación, reconocimiento de voz, reconocimiento de imágenes, control de motores, y reconocimiento de patrones.

Así como la resolución de problemas de optimización, ecuaciones, manipulación de grafos procesamiento de señales (diseño de convertidores analógico-digitales) y procesamiento de imágenes.

Aprendizaje Competitivo y Cooperativo

Suele decirse que las neuronas compiten (y cooperan) unas con otras con el fin de llevar a cabo una tarea dada. Con este tipo de aprendizaje, se pretende que cuando se presente a la red cierta información de entrada, solo una neurona de la salida de la red.

El objetivo de este aprendizaje es categorizar (clusterizar) datos que se introducen en la red; las informaciones similares son clasificadas formando parte de la misma categoría, y por tanto deben activar la misma neurona de salida.

Página 87/Párrafo 1/Renglón 1, 2, 3, 4/Reporte 1

Una forma de aplicar este tipo de aprendizaje fue propuesta por Rumelhart Zisper en 1985 [Rumelhart 85], utilizaban redes multicapa dividiendo cada capa en grupos de neuronas, estas disponían de conexiones inhibitorias con otras neuronas de su mismo grupo, y conexiones excitadoras con las neuronas de la siguiente capa.



Página 87/Párrafo 2/Renglón 1, 2, 3, 4, 5 /Reporte 1

En este tipo de red, cada neurona tiene asignado un peso total, suma de todos los, pesos de las conexiones que tiene a su entrada. El aprendizaje afecta solo a las neuronas ganadoras (activas), redistribuyendo este peso total entre sus conexiones, sustrayendo una porción a los pesos de todas las conexiones que llegan a la neurona vencedora y repartiendo esta cantidad por igual entre todas las conexiones procedentes de unidades activas.



Página 87/Párrafo 3/Renglón 1, 2, 3, 4, 5, 6/Reporte 1

Un ejemplo de este tipo fue desarrollado por Kohonen [Kohonen 88b], conocido como LVQ aplicado en redes feedforward de dos capas, y su uso depende de cómo de precise obtener una o varias unidades vencedoras en la capa de salida.



Página 87/Párrafo 4/Renglón 1, 2, 3, 4/Reporte 1

En otro caso en el que se emplea el aprendizaje competitivo es la conocida Teoría de la resonancia adaptativa desarrollado por Carpenter y Grossberg en 1986 [Carpenter 86] utilizado en la red ART en sus dos variantes (ART1 y ART2) de dos capas que maneja información analógica. Esta red realiza un prototipo de la informaciones que recibe a la entrega, generando como salida un ejemplar o prototipo que representa a todas las informaciones que podrían considerarse pertenecientes a la misma clase de categoría.



Página 88/Párrafo 4/Renglón 3, 4, 5, 6, 7, 8, 9, 10/Reporte 1

Clasificación de Redes Neuronales con aprendizaje supervisado mas importantes



Tipos de aprendizaje

no supervisado



Modelo de Red




Aprendizaje

Hebbiano



HIOPFIELD

Off Line

LEARNING MATRIX

TEMPORAL ASSOC. MEMORY

LINEAR ASSOC. MEMORY (LAM)

OPTIMAL LAM

DRIVE-REINFORCEMENT

FUZZY ASSOC. MEMORY

ADDITIVE GROSSBERG

On Line

SHUNTING GROSSBERG

BIDIRECTIONAL ASSOC. MEMORY (BAM)

Aprendizaje

Competitivo

/Cooperativo


ADAPTIVE BAM

LEARNING VECTOR QUANTIZER

Off Line

COGNITRON/NEOCOGNITRON

TOPOLOGY PRESERVING MAP

ADAPTIVE RESONANCE THEORY

On Line

Página 89/ Tabla 1/ Renglón / Reporte 1

Tipo de asociación entre las informaciones de entrada y salida

Las redes neuronales son sistemas que almacenan cierta información aprendida; esa se registra de forma distribuida en los pesos asociados a las conexiones entre neuronas. Cuando se aplica un estímulo (Dato de entrada) la red responde con una salida asociativa a dicha información de entrada, a esto se le llama memoria asociativa.



Página 90/Párrafo 1/Renglón 1, 2, 3, 6, 8/Reporte 1

Existen dos formas primarias de realizar esta asociación entre entrada/salida que se corresponden con la naturaleza de la información almacenada en la red.

La primera se llama Heteroasociación que se refiere a que la red aprende parejas de datos [(, de tal forma que cuando se presente cierta información de entrada Ai, deberá responder generando la correspondiente salida asociada Bi.

La segunda se conoce como Autoasociación, donde la red aprende ciertas formaciones , de tal forma que cuando se le presenta una informacion de entrada realizara una autocorrelacion, respondiendo con uno de los datos almacenados, el más parecido a la entrada.



Página 90/Párrafo 2/Renglón 1, 2, 3,4, 6, 7, 9, 10/Reporte 1

Estos mecanismos dan lugar a dos tipos de redes: Las Heteroasociativas y las Autoasociativas.

La red Heteroasociativa podrían considerarse aquella que computa cierta función, que en l mayorías de los casos no podría expresarse analíticamente, entre un conjunto de entradas y un conjunto de salidas, correspondiendo a cada posible entrada y una determinada salida.

En una red Autoasociativa su principal misión es reconstruir una determinada informacion de entrada que se presenta incompleta o distorsionada (le asocia el dato almacenado más parecido).



Página 90/Párrafo 3/Renglón 1, 2, 3, 4, 5, 6, 7, 8, 9/Reporte 1

Red Heteroasociativa

Al asociar informaciones de entrada con diferentes informaciones de salida, precisan al menos de dos capas, una para captar y retener informacion de entrada y otra para mantener la salida con la información asociada.



Página 91/Párrafo 2/Renglón 2, 3, 4/Reporte 1

Se pueden clasificar según el objetivo pretendido con su utilización, en cuanto a la conectividad existen redes con conexiones hacia adelante o feedforward (Perceptron, Backpropagation), con conexiones hacia atrás o feedforward/feedback (Art, Bam, etc.) y con conexiones laterales (Cabam)

El aprendizaje de este tipo de redes puede ser con supervisión (Perceptron, Backpropagation), o sin ella (Art, Bam, etc.).

Página 91/Párrafo 3, 4/Renglón 2, 3, 4, 6, 7, 8/Reporte 1

c:\users\alumno 9\desktop\untitled.png

Red Autoasociativa

Asocia una informacion de entrada con el ejemplar más parecido de los almacenados conocidos por la red. Este tipo de res se puede implementar con una sola capa de neuronas; esta tiene la informacion inicial presentada a la entrada, y terminara representando la informacion autoasociada, si se quiere mantener la informacion de entrada se debe añadir capa o capas adicionales.



Página 91, 92/Párrafo 1, 1/Renglón 1, 2- 1,2 3, 4/Reporte 1

En cuanto a conectividad, existen conexiones laterales entre neuronas (Hopfield, etc.), en algunos casos conexiones autorrecurrentes (salida de una neurona como entrada de la misma).



Página 92/Párrafo 2/Renglón 1, 2, 3, 4/Reporte 1

El tipo de aprendizaje de estas redes es no supervisado (Hopfield, Additive Grossberg, etc.) aunque existe una con supervisado (Brain-State-In-A-Box).



Página 92/Párrafo 3/Renglón 1, 2, 3/Reporte 1

Suelen utilizarse en tareas de filtrado de informacion para la reconstrucción de datos, eliminando distorsiones o ruido, etc.



Página 92/Párrafo 4/Renglón 1, 2/Reporte 1

c:\users\alumno 9\desktop\untitled.png



Red Heteroasociativa

Red Autoasociativa

PERCEPTRON

BRAIN-STATE-IN-A-BOX

ADALINE/MADALINE

HOPFIELD

BACKPROPAGATION

OPTIMAL LINEAR ASSOC MEMORY

LINEAR REWARD PENALTY

ASSOC. REWARD PENALTY

ADDITIVE GROSSBERG

ADAPTIVE HEURISTIC CRITIC

SHUNTING BROSSBERG

BOLTZMANN MACHINE




CAUCHY MACHINE

LEARNING MATRIX

TEMPORAL ASSOC. MEMORY

LINEAR ASSOC. MEMORY

OPTIMAL LINEAR ASSOC. MEMORY

DRIVE-REINFORCEMENT

FUZZY ASSOC. MEMORY

COUNTERPROPAGATION

BIDIRECTIONAL ASSOC. MEMORY

ADAPTIVE BIDIRECTIONAL ASSOC. MEMORY

COGNITRON/NEOCOGNITRON

TOPOLOGY PRESERVING MAP

LEARNING VECTOR QUANTIZER

ADAPTIVE RESONANCE THEORY

Página92, 93/ Tabla 1, 2/Reporte 1

Representación de la información de entrada y salida

Las redes neuronales pueden también clasificarse en diferentes maneras y función de la forma en que se representan las informaciones de entrada y las respuestas o datos de salida.



Párrafo 1/pag.93/renglón 1,2,3/reporte 1

Normalmente estarán normalizadas y su valor absoluto será menor que la unidad, solo admiten valores discretos o binarios {0,1} a su entrada generando también unas respuestas en la salida de tipo binario.



Párrafo 1/pag.94/renglón 1,2/reporte 1

Se ha realizado una versión continua de los mismo, como es el caso del modelo de HOPFIELD (DISCRETE HOPFIELD, CONTINOUS HOPFIELD) y el denominado ADOPTIVE RESONANCE THEORY. La información de entrada pueden ser valores continuos, aunque las salidas de la red sean discretas.



Párrafo 2/pag.94/renglón 7,8,9/reporte 1

Caracteristicas de los modelos de redes neuronales mas conocidos

Topologias

Mecanismos de aprendizaje

Tipo de asociacion de la informacion de entrada y salida y la forma de representar

Señaes de entrada/salida

Autores


c:\users\oscar\documents\bluetooth folder\img_20140817_141855234.jpg

c:\users\oscar\documents\bluetooth folder\img_20140817_141832527.jpg

c:\users\oscar\documents\bluetooth folder\img_20140817_141636953.jpg

c:\users\oscar\documents\bluetooth folder\img_20140817_141810509.jpg

Página de



La base de datos está protegida por derechos de autor ©bazica.org 2016
enviar mensaje

    Página principal