data-cleaning

Files (2)

• SKILL.md
• docs.md · references/

SKILL.md (first lines)

# Skill: data-cleaning

Limpieza quirúrgica de datos. Nada de parches pedorros.

## Trigger

- El dataset está lleno de nulos, tipos raros o valores inconsistentes
- Hay outliers que pueden sesgar el análisis
- Recibiste un CSV que parece un campo de batalla
- Estás por modelar y necesitás datos confiables

## Workflow LEND

```
1. ANALIZAR
   ├── Null Anatomy: clasificá cada nulo
   │   MCAR (azar total), MAR (relacionado a otra variable), MNAR (no azar)
   │   → Nunca dropna() sin justificar pérdida de información
   ├── Outlier Strategy: IQR o Z-Score robusto (MAD)
   │   → ¿Es un error o un dato real? Si es real → Winsorization, no borrado
   ├── Tipos: verificá que cada columna tenga el tipo esperado
   └── Duplicados: siempre primero, antes de imputar nulos

2. OFRECER (Menú del Senior)
   ├── A) Limpieza agresiva — borrar ruido, ideal para modelos rápidos
   ├── B) Imputación inteligente — KNN o MICE para mantener volumen
   └── C) Flagging & Capping — marcar errores sin sesgar el análisis

3. ELEGIR → el usuario confirma

4. HACER
   ├── Duplicados primero (drop_duplicates antes de imputar)
   ├── Nulos: media (sin outliers), mediana (con outliers), moda (categórica),
   │   ffill (series temporales), o eliminar columna si >50% nulos
   ├── Outliers: IQR (no asume normalidad) vs Z-score (asume normalidad)
   │   Para Z-score robusto: usar MAD (median absolute deviation)
   ├── Strings: strip(), lower(), regex para limpieza de texto
   │   Si hay typos → fuzzy matching con Levenshtein
   ├── Prohibido df.iterrows() — todo vectorizado con Pandas/NumPy
   └── Pipeline reproducible (function que toma datos sucios y devuelve limpios)

5. VERIFICAR
   ├── El pipeline corre sin errores
   ├── No se perdió información valiosa sin justificación
   └── El dataset transformado mantiene la estructura esperada
```

## Patrones

- **Null Anatomy**: no todos los nulos son iguales. MCAR se puede borrar, MAR se imputa, MNAR requiere modelo.
- **Outliers con IQR**: no asume normalidad. Z-score funciona mal con distribuciones asimétricas.
- **Winsorization**: capar outliers en los percentiles 1 y 99 en vez de borrarlos.
- **Vectorizado siempre**: `df['col'] * 2` en vez de `for i in range(len(df))`.
- **Pipeline > Script**: una función que toma data_raw y devuelve data_clean es más testeable y reproducible.

## Anti-patrones

- ❌ `dropna()` sin mirar — si los nulos no son MCAR, estás introduciendo sesgo
- ❌ Imputar todo con la media — si hay outliers, la media está sesgada
- ❌ Borrar outliers solo porque "se ven feos" — si es un dato real, se queda
- ❌ `df.iterrows()` — lento, ilegible, no vectorizado
- ❌ No revisar `dtypes` después de `read_csv` — Pandas a veces se equivoca
- ❌ Asumir que no hay duplicados — una join mal hecha upstream te duplica filas sin aviso

From LeandroBenjaminL/lend-ai, MIT.

More from LeandroBenjaminL/lend-ai