Algoritmos meta-heurísticos de optimización aplicados al entrenamiento de redes neuronales profundas

Abstract

La reciente introducción de las redes neuronales profundas ha provocado un resurgimiento en el interés por las redes neuronales artificiales. Las redes profundas son de importancia significativa para la resolución de un grupo importante de tareas, sin embargo, su entrenamiento presenta retos teóricos y prácticos al tratarse de un problema de optimización NP-duro. Específicamente, el algoritmo Gradiente Descendente Estocástico se enfrenta a cambios de orden cualitativo y cuantitavo a considerar. En este trabajo se propone el empleo de algoritmos de optimización meta-heurísticos para el entrenamiento de Redes Neuronales Profundas en paralelo. Se considera un algoritmo basado en métodos de continuación para disminuir el tiempo de ejecución del entrenamiento mediante meta-heurísticas y aumentar la precisión respecto al algoritmo Gradiente Descendente Estocástico. Los resultados obtenidos muestran que el entrenamiento mediante algoritmos meta-heuríticos obtiene mayor precisión que el entrenamiento mediante Gradiente Descendente Estocástico y que es posible disminuir el tiempo de ejecución de los algoritmos meta-heurísticos empleando un enfoque basado en continuación.