Implementación de algoritmos basados en aprendizaje de funciones de distancia para problemas de clasificación en la herramienta WEKA

Abstract

El aprendizaje de funciones de distancia, no es más que, aprender una función de distancia que transforme el espacio de entrada de los datos, de manera que los elementos de la misma clase se encuentren lo más cerca posible y los elementos de clases diferentes se encuentren lo más lejos posible. En este trabajo se muestra un estudio de los algoritmos de aprendizaje de funciones distancia para problemas de clasificación. Además se describe el proceso de implementación de los algoritmos más representativos del enfoque supervisado LMNN e ITML, y su integración a la herramienta WEKA, así como su evaluación utilizando pruebas estadísticas. Por último se introduce como resultado de esta investigación la extensión teórica del LMNN e ITML para problemas de predicción con salidas compuestas. Los resultados de la evaluación de los algoritmos utilizando la Prueba de Friedman y el post-hoc de Bonferroni-Dunn, muestran que existen diferencias significativas entre el LMNN-CV con el algoritmo base de WEKA, kNN. Con relación al accuracy, el algoritmo que mostró mejores resultados fue el LMNN-CV en 8 de 15 bases de datos.

Distance metric learning, is nothing more than, to learn a distance function that transforms the data input space, in a way that objects of the same class stay closer and the objects of different classes stay as far as possible. This paper presents a study of the existing distance metric learning algorithms for classification problems. Also it is described the implementation process of the most representative algorithms LMNN and ITML from the supervised approach and their integration to WEKA, also their evaluation using statistical processes . Finally the theoretical extensions of these algorithms to multi-target prediction problems. The results of this evaluation using the Friedman test and the post-hoc test of Bonferroni-dunn, showed that there are significant differences between the LMNN-CV and the basic WEKA algorithm kNN. Regarding accuracy, the algorithm that showed the best result was the LMNN-CV on 8 out of 15 datasets.