Plugin para el cálculo de la popularidad de enlaces en Nutch

Abstract

El surgimiento de internet y la creciente publicación de artículos, han propiciado el aumento del conocimiento de las personas en diversos temas. Esto ha conllevado al aumento de la información recogida en la web con las publicaciones de documentos, las creaciones de páginas o sitios web, realización de portales, blog, etc. Este cúmulo de información ha dificultado la búsqueda para los usuarios de lo que puedan desear en momentos específicos. Para resolver estos problemas se diseñaron los Sistemas de Recuperación de Información. En la Universidad de las Ciencias Informáticas se desarrolla el buscador Orión, el cual utiliza como indexador Solr, Symfony para el desarrollo web, y tiene como mecanismo de rastreo a Nutch. Nutch pertenece a la fundación Apache, se encarga de recorrer la web para obtener información publicada en ella. La información que se muestra a los usuarios debe aparecer lo más ordenada posible según popularidad o importancia de las páginas. Actualmente Nutch le otorga el mismo nivel de popularidad a sus enlaces, lo cual dificulta la búsqueda para los usuarios. La presente investigación permitió desarrollar un plugin para Nutch, el cual posibilita establecer un peso a cada página o documento almacenado en Solr y así establecer la popularidad de cada enlace. Para la implementación de la propuesta de solución, guiada por la metodología AUP-UCI se seleccionaron como principales tecnologías Nutch y Solr, como lenguaje de programación Java para desarrollar en el IDE NetBeans, además utilizando el Lenguaje Unificado de Modelado (UML) se escogió Visual Paradigm para el modelado del proceso en general. El plugin para establecer la popularidad de los enlaces en Nutch, permite calcular un peso o popularidad a cada enlace según una serie de aspectos, que contribuyen a la disminución o aumento del score del enlace.