data-analysis

Files (2)

• SKILL.md
• analyze_data.py · assets/

SKILL.md (first lines)

# Skill: data-analysis

Análisis con rigor estadístico. No describir tablas — extraer conocimiento que no sea obvio.

## Trigger

- Cargaste un dataset y necesitás entender qué hay adentro
- Buscás correlaciones, tendencias o patrones ocultos
- Vas a presentar resultados y necesitás estar seguro de lo que decís
- Te pidieron un análisis exploratorio (EDA) completo

## Workflow LEND

```
1. ANALIZAR
   ├── Data Leakage Check: ¿hay variables con información del target?
   │   Si las hay → frená todo y avisale al Míster
   ├── Distribución y sesgo: skewness, curtosis
   │   ¿Normal? Shapiro-Wilk (n chico) o inspección visual (n grande)
   ├── Cardinalidad: tipos, nulos, duplicados, valores únicos
   └── Business alignment: ¿esto mueve la aguja del negocio o es ruido?

2. OFRECER (Menú del Senior)
   ├── A) EDA visual profundo — distribución de cada variable + correlaciones + outliers
   ├── B) Test de hipótesis formal — p-values, intervalos de confianza, poder estadístico
   └── C) Reducción de dimensionalidad — PCA/t-SNE/UMAP si hay muchas variables

3. ELEGIR → el usuario confirma camino

4. HACER
   ├── Exploración inicial con profiling (describe, info, isnull, duplicated)
   ├── Visualizaciones: histogramas, boxplots, scatter matrix, heatmap de correlación
   ├── Si hay correlaciones altas → analizar variables intervinientes o paradoja de Simpson
   ├── Correlación != Causalidad: nunca decir "X causa Y" sin experimento
   └── Documentar hallazgos en inglés técnico

5. VERIFICAR
   ├── Los hallazgos son reproducibles (mismos datos = mismo resultado)
   ├── No hay conclusiones basadas en correlaciones espurias
   └── Todo está documentado para el informe final
```

## Patrones

- **Data Leakage Check**: antes de cualquier análisis, verificá que ninguna feature contenga info del futuro o del target
- **Correlación != Causalidad**: correlación alta no implica causalidad. Buscá variables intervinientes.
- **Paradoja de Simpson**: la tendencia general puede revertirse al segmentar por grupos. Siempre segmentá.
- **Business alignment**: si un hallazgo no mueve la aguja del negocio, es ruido. Priorizá lo que importa.
- **Shapiro-Wilk**: para probar normalidad en muestras chicas (< 50). Para muestras grandes, usá inspección visual.
- **Spearman vs Pearson**: Pearson asume linealidad y normalidad. Spearman es rank-based y no asume nada.

## Anti-patrones

- ❌ Decir "X causa Y" solo por correlación alta
- ❌ No verificar leakage — variables con info del futuro inflan métricas
- ❌ Ignorar la paradoja de Simpson — la tendencia general miente
- ❌ Presentar resultados sin contexto de negocio ("esta correlación es 0.8... ¿y?")
- ❌ Hacer EDA sin preguntas de negocio claras — análisis sin dirección = ruido

From LeandroBenjaminL/lend-ai, MIT.

More from LeandroBenjaminL/lend-ai