A Two-Dimensional Analysis of Resampling Techniques for Imbalanced Big Data Sets |
||
Publicación: |
Programación Matemática y Software |
PDF(915 KB) |
1Angélica Guzmán Ponce, J. Salvador Sanchéz2, 1Rosa M. Valdovinos Rosas, 1J. Raymundo Marcial Romero |
1 Facultad de Ingeniería, Universidad Autónoma del Estado de México. Cerro de Coatepec S/N, Ciudad Universitaria C.P. 50100. Toluca, Estado de México. |
Recibido: 6 de agosto 2018 Aceptado: 10 de diciembre 2018 Publicado en línea: 28 de febrero de 2019 |
Resumen. Las aplicaciones de Big Data son tema central de la investigación actual en muchos campos debido a la creciente producción de enormes cantidades de datos. Una dificultad importante de los datos, tanto en los problemas de la vida real tradicionales como en los grandes volúmenes de datos, se refiere al desbalance de clases, en el que una clase es muy poco representada en comparación con las otras clases. En este artículo, exploramos el uso de algunos métodos de remuestreo para manejar el desbalance de clase en grandes conjuntos de datos, analizando el tiempo de procesamiento y la precisión de clasificación lograda por tres clasificadores de diferente naturaleza. Los resultados experimentales muestran que los enfoques de sobre muestreo funcionan mejor que las técnicas de bajo muestreo, independientemente del clasificador usado, pero conducen a tiempos de clasificación mucho más altos. Al comparar los métodos de sobre muestreo, se observa que SMOTE supera los algoritmos de sobre muestreo aleatorios; en el caso de un bajo muestreo, el enfoque aleatorio es mejor que la regla condensada del vecino más cercano.
|
Palabras Clave: Grandes volúmenes de datos, Desbalance de datos, Sobre muestreo, Bajo muestreo. |
Abstract. Big data applications are the central focus of current research in many fields because of the increasing production of huge amounts of data. One important difficulty of data, both in traditional and big data real-life problems, refers to class imbalance where one class is heavily under-represented compared to the other classes. In this paper, we explore the use of some resampling methods for handling the class imbalance in big data sets, analysing processing time and classification accuracy achieved by three classifiers of different nature. The experimental results show that the over-sampling approaches perform better than the under-sampling techniques irrespective of the classifier used, but they lead to much higher classification times. When comparing the over-sampling methods, it is observed that SMOTE outperforms the random over-sampling algorithms; in the case of under-sampling, the random approach is better than the condensed nearest neighbour rule.
|
Keywords: Big data, Imbalanced data, Over-sampling, Under-sampling. |
Angélica Guzmán Ponce (Autor de correspondencia) |
Email:angelicagp1416@hotmail.com |
J. Salvador Sanchéz |
Email:sanchez@uji.es |
Rosa M. Valdovinos Rosas |
Email:rvaldovinosr@uaemex.mx |
J. Raymundo Marcial Romero |
Email:jrmarcialr@uaemex.mx |