data-profiling

Files (2)

• SKILL.md
• profile_report.py · assets/

SKILL.md (first lines)

# Skill: data-profiling

Profiling automático. En minutos sabés si el dataset es una joya o un desastre.

## Trigger

- Te pasaron un CSV que nunca viste
- Querés un reporte rápido de calidad antes de analizar
- Necesitás documentar la estructura de un dataset
- Vas a presentar un análisis y querés una sección de "calidad de datos"

## Workflow LEND

```
1. ANALIZAR
   ├── Tamaño: filas, columnas, memoria ocupada
   ├── Tipos: ¿Pandas infirió bien? ¿fechas, números, categorías?
   ├── Calidad: nulos %, duplicados %, valores únicos
   └── ¿Hay columnas que deberían estar pero no están?

2. OFRECER (Menú del Senior)
   ├── A) Express — ydata-profiling (pandas_profiling), 1 línea, reporte HTML completo
   ├── B) Custom — profiling manual con describe() + info() + isnull() + duplicated()
   └── C) Schema-based — pandera para validar contra un esquema definido

3. ELEGIR → confirmación

4. HACER
   ├── ydata-profiling: ProfileReport(df, title="Reporte", explorative=True)
   ├── Manual: describe(include='all'), info(), isnull().sum(), duplicated().sum()
   ├── Buscar: valores extremos, categorías con baja frecuencia, columnas constantes
   ├── Pandera: definir schema y validar (para producción)
   └── Guardar reporte en HTML para compartir

5. VERIFICAR
   ├── El reporte cubre todas las variables
   ├── Los problemas de calidad están documentados
   └── El schema pasa si se usa pandera
```

## Patrones

- **Profiling primero**: antes de cualquier análisis, un profiling rápido te ahorra horas de debugging
- **ypdata-profiling para explorar**: reporte interactivo con correlaciones, alerts, muestras
- **Pandera para producción**: define schemas y validalos en pipelines de CI
- **Manual para control fino**: describe + info + isnull + duplicated cuando necesitás decidir

## Anti-patrones

- ❌ No hacer profiling y asumir que los datos están bien
- ❌ Confiar ciegamente en profiling automático — siempre verificá hallazgos raros
- ❌ Ignorar las alertas de ydata-profiling (alta correlación, alta cardinalidad, desbalanceo)
- ❌ No documentar la calidad — "esto estaba medio sucio" no sirve en un informe

From LeandroBenjaminL/lend-ai, MIT.

More from LeandroBenjaminL/lend-ai