Limpieza de datos

La limpieza de datos también conocida como data cleansing, es el proceso en el cual se identifican y corrigen  datos erróneos, incompletos o duplicados este proceso es de suma importación para contar con datos confiables y seguros que nos permitan un mejor análisis de datos para un posterior toma de decisiones.

Este proceso cuenta con un serie de pasos a seguir para un correcto proceso.

-Recopilación: Consigue los datos de varias fuentes. Verifica que sean relevantes y actuales.

-Inspección: Examina los datos para encontrar los problemas siguientes: ausencias de datos, duplicados, valores erróneos, errores de escritura, formatos inconsistentes, etcétera.

-Tratamiento de los datos ausentes: Decide qué hacer con los datos ausentes. Las opciones que pueden considerarse son: borrar la fila, imputar un valor o dejarlo tal como está. La elección dependerá de la situación existente.

-Eliminación de duplicados: Detecta y elimina los registros duplicados para que los datos representen una única observación.

-Corrección de datos erróneos: Comprueba y corrige errores ortográficos o inconsistencias en los datos (diferentes formatos de fecha, nombres, etcétera).

-Normalización: Asegúrate de que los datos tengan un formato consistente (unificar el manejo de las unidades o unificar los nombres, por ejemplo).

-Validación de los datos: Aplica reglas de validación de datos para que cumplan unas características de aceptabilidad (que estén dentro de valores esperados, por ejemplo).

-Documentación: Anota todos los cambios y las decisiones durante el proceso de limpieza para tener más adelante alguna referencia.

-Evaluación: Verifica que los datos obtenidos sean los adecuados para el análisis y que cumplan con los estándares de calidad.

-Almacenamiento: Guarda los datos limpios en un formato para el posterior uso y siempre que sea posible asegúrate de que sea de fácil acceso.

Esta serie de procesos nos permite tener una base de datos confiable la cual no permita un mejor toma de decisiones con datos reales y actuales logrando tomar decisiones de mejor manera.