data-validation

Files (2)

• SKILL.md
• docs.md · references/

SKILL.md (first lines)

# Skill: data-validation

Validación de datos. Si entra basura, sale basura — pero no si la frenás antes.

## Trigger

- Llegan datos de una fuente externa y necesitás verificar que estén bien
- Definiste un esquema y querés asegurarte de que se cumple
- Un pipeline de producción necesita garantías de calidad
- Querés documentar qué esperás de cada columna

## Workflow LEND

```
1. ANALIZAR
   ├── Origen: ¿API, CSV, DB, usuario? ¿confiable?
   ├── Tipo de validación: ¿esquema (tipos), rango (valores), integridad (unicidad)?
   ├── ¿Qué pasa si falla? ¿rechazar, alertar, imputar?
   └── Frecuencia: ¿one-shot o pipeline recurrente?

2. OFRECER (Menú del Senior)
   ├── A) Pandera — esquemas en Python, integración con Pandas, lightweight
   ├── B) Great Expectations — suites de expectativas, documentación, UI
   └── C) Manual + asserts — validación ad-hoc con condiciones if/assert

3. ELEGIR → confirmación

4. HACER
   ├── Pandera: definir DataFrameModel con tipos, rangos, nulos permitidos
   ├── Great Expectations: crear expectation suite con expect_column_values_to_be_between, etc.
   ├── Manual: asserts + logging con mensajes claros
   ├── Documentar qué campos son requeridos, opcionales, y sus constraints
   └── Si falla: decidir comportamiento (detener pipeline, alertar, imputar)

5. VERIFICAR
   ├── El esquema pasa con datos válidos
   ├── El esquema falla con datos inválidos (probado)
   └── El mensaje de error es claro sobre qué falló y dónde
```

## Patrones

- **Validar temprano**: en cuanto los datos entran al pipeline, no después de transformarlos
- **Contrato de datos**: documentar qué espera cada etapa del pipeline
- **Pandera para DataFrames**: validación tipada con integración Pandas nativa
- **Great Expectations para producción**: suites compartibles, data docs, alertas

## Anti-patrones

- ❌ Validar después de transformar — perdés la traza del error original
- ❌ Mensajes de error genéricos — "validation failed" no ayuda a nadie
- ❌ No documentar el esquema — "esto funciona" no es documentación
- ❌ Validar todo como required cuando hay campos opcionales

From LeandroBenjaminL/lend-ai, MIT.

More from LeandroBenjaminL/lend-ai