Implementación de algoritmos para la limpieza de datos

Abstract

En la actualidad es creciente la necesidad de las organizaciones de velar por la calidad de sus datos como fuente fundamental para los análisis en la toma de decisiones, por lo que es de vital importancia contar con procedimientos que ayuden en el proceso de limpieza de datos. Surge este trabajo como resultado de una investigación intensiva sobre el tema, el cual se basa en el análisis de la información de la base de datos del GESPRO, y la identificación de los problemas de calidad de datos que presentan. Para ello se estudian los principales conceptos relacionados con el tema, algoritmos y metodologías para realizar la limpieza de datos. Mediante el uso de la metodología propuesta por Leslie M. Tierstein se realiza el proceso de limpieza de datos. Se implementan las funciones de similitud de Jaro para la detección y corrección de duplicados y la distancia de edición para los errores ortográficos, no estandarización de cadenas e irregularidades. Implementados por medio de funciones SQL, estos métodos podrán ser corridos en la base de datos erradicándose estos errores de manera automática. Finalmente se valida la eficiencia de dichos métodos a través del cálculo de la complejidad y efectividad, definiéndose para ello un caso de estudio donde se miden en diferentes volúmenes de datos, el tiempo de ejecución y porciento de errores erradicados.