Sistema de análisis visual para la exploración de grandes corpus periodísticos utilizando modelación de tópicos y entidades nombradas

Tesis de Maestría de Pedro Ricardo Ortega Castellanos, Centro de Investigación en Computación, Instituto Politécnico Nacional. To read his thesis, click here.

Resumen. El sistema Noti-Explorer es una herramienta para la exploración y análisis visual de noticias publicadas diariamente en diversos periódicos. El sistema implementa diversas técnicas de minería de datos que ayudan a entender una gran cantidad de noticias que han sido recolectadas, preprocesadas y almacenadas desde septiembre del 2016 a la fecha. La interfaz de usuario provee las opciones para reducir el tamaño del corpus que se desea analizar; permite ingresar palabras de interés, fechas de inicio y fi n, y elegir una sección periodística tales como: Política, Salud, Ciencia y Tecnología, Deportes, Nacional, Estados, Internacional, Sociedad, Opinión, Seguridad, entre otros. Sugerimos un sistema de análisis visual que combina visualizaciones interactivas en una aplicación web, la implementación métodos de aprendizaje no supervisado y el reconocimiento de entidades.

     Cabe mencionar que actualmente existen algunas aplicaciones web que integran diferentes periódicos digitales, tal como Google Noticias que te recomienda en base a una consulta y muestra una lista de posibles noticias relacionadas, NewsStand que despliega las noticias en un mapa geográ co y Analytix que mapea la cantidad de menciones extraídas de la API ya sea de Facebook o Twitter. Noti-Explorer utiliza técnicas de Procesamiento de Lenguaje Natural (NLP), procesos de Extracción, Transformación y Carga de datos (ETL), Reconocimiento de Entidades Nombradas (NER), un modelo probabilístico de aprendizaje no supervisado Latent Dirichlet Allocation (LDA) y diferentes técnicas de visualización sobre una interfaz web tales como: Tree Maps para interactuar con los grupos generados, las nubes de palabras para observar las palabras con mayor frecuencia, gráfi cas de líneas para ver la cantidad de publicaciones por día, el título y la imagen ubicadas de forma geográfi ca.

     En el presente sistema se basa en la idea que la modelación de tópicos probabilísticos ayuda a la sumarización, organización y exploración de grandes colecciones de documentos. Las diferentes técnicas de visualización que combinan formas, colores, figuras, imágenes, mapas y texto, aumentan la percepción visual y capacidad cognitiva de las personas que interactúan con la herramienta; el hacer uso de la exploración de noticias por medio de entidades nombradas también llega a ser de gran ayuda al momento de buscar las noticias que suelen ser más interesantes para un analista en particular.

     Con el uso de una herramienta de análisis visual se espera que las personas encargadas de leer una gran cantidad de textos periodísticos reduzcan el tiempo que emplean al visitar cada periódico digital por separado, disminuyan la carga de trabajo al momento de seleccionar las noticias que les interesa analizar y aumenten la capacidad cognitiva al buscar nuevo conocimiento.

     El prototipo está en fase de prueba, extrae de 32 periódicos digitales de México un promedio de 1800 noticias diariamente y actualmente se tienen más de 400 mil noticias que puede presentar posibles situaciones de interés al usuario que interactúa con él. La primera versión del sistema se puede visitar en la dirección http://148.204.66.228:8000/Noti-Explorer.

Pedro Ortega (al centro) defendió exitosamente su tesis de maestría en el Centro de Investigación en Computación, Instituto Politécnico Nacional. Aquí aparece con su jurado.

Modelo para la predicción de la demanda y el rebalanceo dinámico del sistema de bicicletas públicas de la Ciudad de México

Tesis de Maestría de Carlos Roberto Esquivel Briseño, Centro de Investigación en Computación del IPN, enero 2018. To read his thesis: click here.

Abstract: Public Bike Sharing Systems(PBS) become more popular recently in many metropolitan areas worldwide, these systems provide an economic, versatile and environmentally friendly tansportation, which also brings benefits to public health. Because of the mobility of people, some stations of the system are left without bicycles, Systems operators must balance the system and guarantee a certain level of availability. This work is based on the use of previous results that address the problem of rebalancing PBS, focusing these efforts on the reality of the public bicycle system of Mexico City called ECOBICI. The first task was the construction of a database that contains the journey’s information in ECOBICI since February 2010, with an amount of more than forty-five million trips made to date, weather data per hour in each suburb in Mexico City, the status of each station including information of how many bicycles are available minute by minute. With the above information it was possible to propose a set of solutions based on two machine learning techniques to solve the problem of calculating the necessary inventory per station; these techniques were an ARIMA model and a Random Forest, in the first method the historical data of the trips were used to treat them as a time series; As for the random forest, besides contemplating the historical information of the trips, A feature vector was build with online and offline information like weather and transit, with the intention of strengthening the model, finally the author of this work raised an own method to carry out the estimation of necessary inventories, but unlike the previous two, which are based on the history of trips, the new method takes advantage of the historical information of the status of the stations. Finally, a brute force algorithm is proposed for the establishment of rebalancing routes based on the construction of a reorder graph that incorporates the information obtained by predicting the necessary inventory per station; this algorithm could seem intractable in a system with many nodes and edges, however heuristics are proposed to perform spatial and temporal pruning in the reorder graph, with the purpose of making spatial and temporal pruning taking advantage of the information a priori with the information about the system, this information was known thanks to the support of the Mobility Analysis System (SAM), developed in the Computer Research Center of the IPN by a team of students and professors, including the author of this work.

Keywords: Rebalancing, Inventory Prediction, Shared Bicycle Systems, ECOBICI.

En el centro, Carlos Esquivel con su jurado. Enero 2018, Instituto Politécnico Nacional.

RieSis, software que ayuda a atender contingencias sísmicas severas

Este artículo corto en CIENCIA, la revista de divulgación de la Academia Mexicana de Ciencias, explica cómo la informática administra el manejo de personal, equipo, transporte, damnificados, heridos, y otros, después de los efectos de un gran terremoto en una zona urbana.

Resumen. La población de una zona urbana sacudida por un gran terremoto requiere atención urgente. Los tres primeros días son críticos para rescatar con vida a las víctimas. Los alcaldes de las ciudades pueden ahora usar RieSis, un software que recibe por internet peticiones de los sitios dañados, administra el envío de personal y recursos, e informa al público sobre la condición y ubicación de los damnificados, rescatistas, heridos, etc. Leer más.
 Más información: 
       Software to address a severe emergency in a large city, caused by a big earthquake. 
      Los  integrantes del Proyecto RieSis.