Simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado

Mostrar todas las versiones(2)

En este trabajo se estudia, mediante simulaciones numéricas, la implementación por hardware de redes neuronales sencillas para reconocimiento de caracteres en base a dispositivos memristivos con geometría de barras cruzadas. Se analiza el proceso de convergencia del algoritmo de aprendizaje para dis...

Descripción completa

Guardado en:
Detalles Bibliográficos
Autor principal: Quiñonez, Walter Javier
Otros Autores: Rubi, Diego
Formato: Tesis de grado publishedVersion
Lenguaje:Español
Publicado: Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales 2022
Acceso en línea:https://hdl.handle.net/20.500.12110/seminario_nFIS000132_Quinonez
Aporte de:
Biblioteca Digital - Facultad de Ciencias Exactas y Naturales (UBA) de Universidad de Buenos Aires
id seminario:seminario_nFIS000132_Quinonez
record_format dspace
spelling seminario:seminario_nFIS000132_Quinonez2023-09-12T13:14:27Z Simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado Quiñonez, Walter Javier Rubi, Diego Sánchez, María José En este trabajo se estudia, mediante simulaciones numéricas, la implementación por hardware de redes neuronales sencillas para reconocimiento de caracteres en base a dispositivos memristivos con geometría de barras cruzadas. Se analiza el proceso de convergencia del algoritmo de aprendizaje para distintas curvas de potenciación y depreciación sinápticas, tanto medidas experimentalmente, en distintos sistemas manganita-metal, como sintéticas. En ambos casos, se incorporaron en las simulaciones las limitaciones físicas asociadas a la implementación de las redes en sistemas físicos, entre las que mencionamos: bandas de pesos sinápticos discretas y acotadas, número de estados posibles,linealidad de las curvas de potenciación y depreciación. Las curvas de potenciación y depreciación sintéticas permiten variar de manera controlada las características anteriormente mencionadas y determinar cómo afecta cada uno de estos parámetros a la velocidad de convergencia y al accurary del algoritmo. Para la simulación del entrenamiento y la actualización iterativa de los pesos sinápticos se implementó un algoritmo basado en el método del descenso por el gradiente y la regla de Manhattan. Esta regla facilita la actualización de los pesos sinápticos en una red neuronal implementada físicamente y evita gran parte de la electrónica periférica necesaria para actualizar los pesos de manera exacta a partir del descenso por el gradiente estándar. Para cada caso, se determinaron los parámetros óptimos asociados a la función de activación utilizada, los cuales garantizan una correcta convergencia y maximizan la accuracy. Se concluyó que las curvas de potenciación y depreciación no lineales mejoran la velocidad de la convergencia del algoritmo. También se observó una mejora en la velocidad de convergencia al aumentar la banda de conductividades permitidas y al reducir el número de estados asociados a las curvas de potenciación y depreciación. Estas características del proceso de aprendizaje se relacionan con el método de actualización de pesos sinápticos utilizado. Por último, se implementaron métodos que introducen estocasticidad en la convergencia del proceso de aprendizaje de la red; en particular, se utilizaron mini-batches y la suma de componentes aleatorios en las actualizaciones de los pesos sinápticos. Se concluyó que la implementación de estos métodos aumentan la velocidad de convergencia del proceso de aprendizaje (la situación óptima se tiene al combinar ambos métodos) y permite mejorar el accuracy aun para funciones de activación con parámetros no óptimos. Los resultados obtenidos en esta tesis contribuyen a determinar y optimizar la respuesta eléctrica que deben tener los sistemas memristivos para su implementación en redes neuronales físicas. Fil: Quiñonez, Walter Javier. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales 2022-03-11 info:eu-repo/semantics/bachelorThesis info:ar-repo/semantics/tesis de grado info:eu-repo/semantics/publishedVersion application/pdf spa info:eu-repo/semantics/openAccess https://creativecommons.org/licenses/by-nc-sa/2.5/ar https://hdl.handle.net/20.500.12110/seminario_nFIS000132_Quinonez
institution Universidad de Buenos Aires
institution_str I-28
repository_str R-134
collection Biblioteca Digital - Facultad de Ciencias Exactas y Naturales (UBA)
language Español
orig_language_str_mv spa
description En este trabajo se estudia, mediante simulaciones numéricas, la implementación por hardware de redes neuronales sencillas para reconocimiento de caracteres en base a dispositivos memristivos con geometría de barras cruzadas. Se analiza el proceso de convergencia del algoritmo de aprendizaje para distintas curvas de potenciación y depreciación sinápticas, tanto medidas experimentalmente, en distintos sistemas manganita-metal, como sintéticas. En ambos casos, se incorporaron en las simulaciones las limitaciones físicas asociadas a la implementación de las redes en sistemas físicos, entre las que mencionamos: bandas de pesos sinápticos discretas y acotadas, número de estados posibles,linealidad de las curvas de potenciación y depreciación. Las curvas de potenciación y depreciación sintéticas permiten variar de manera controlada las características anteriormente mencionadas y determinar cómo afecta cada uno de estos parámetros a la velocidad de convergencia y al accurary del algoritmo. Para la simulación del entrenamiento y la actualización iterativa de los pesos sinápticos se implementó un algoritmo basado en el método del descenso por el gradiente y la regla de Manhattan. Esta regla facilita la actualización de los pesos sinápticos en una red neuronal implementada físicamente y evita gran parte de la electrónica periférica necesaria para actualizar los pesos de manera exacta a partir del descenso por el gradiente estándar. Para cada caso, se determinaron los parámetros óptimos asociados a la función de activación utilizada, los cuales garantizan una correcta convergencia y maximizan la accuracy. Se concluyó que las curvas de potenciación y depreciación no lineales mejoran la velocidad de la convergencia del algoritmo. También se observó una mejora en la velocidad de convergencia al aumentar la banda de conductividades permitidas y al reducir el número de estados asociados a las curvas de potenciación y depreciación. Estas características del proceso de aprendizaje se relacionan con el método de actualización de pesos sinápticos utilizado. Por último, se implementaron métodos que introducen estocasticidad en la convergencia del proceso de aprendizaje de la red; en particular, se utilizaron mini-batches y la suma de componentes aleatorios en las actualizaciones de los pesos sinápticos. Se concluyó que la implementación de estos métodos aumentan la velocidad de convergencia del proceso de aprendizaje (la situación óptima se tiene al combinar ambos métodos) y permite mejorar el accuracy aun para funciones de activación con parámetros no óptimos. Los resultados obtenidos en esta tesis contribuyen a determinar y optimizar la respuesta eléctrica que deben tener los sistemas memristivos para su implementación en redes neuronales físicas.
author2 Rubi, Diego
author_facet Rubi, Diego
Quiñonez, Walter Javier
format Tesis de grado
Tesis de grado
publishedVersion
author Quiñonez, Walter Javier
spellingShingle Quiñonez, Walter Javier
Simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado
author_sort Quiñonez, Walter Javier
title Simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado
title_short Simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado
title_full Simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado
title_fullStr Simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado
title_full_unstemmed Simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado
title_sort simulación de redes neuronales basadas en sistemas memristivos para aprendizaje supervisado
publisher Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales
publishDate 2022
url https://hdl.handle.net/20.500.12110/seminario_nFIS000132_Quinonez
work_keys_str_mv AT quinonezwalterjavier simulacionderedesneuronalesbasadasensistemasmemristivosparaaprendizajesupervisado
_version_ 1782031611291762688

Ejemplares similares