Datos / Infraestructura
groundtruth — Extracción de datos verificada
Motor de extracción web donde el dato llega verificado, no solo recolectado: cada entrega va con un informe que dice qué NO se pudo confirmar.

Los trabajos de datos no suelen fallar con un error. Fallan en silencio: el script corre, el archivo llega, y doscientas filas dicen "sin stock" porque un selector cambió de lugar. Nadie se entera hasta que alguien decide algo con esos datos.
Construí el motor alrededor de ese fallo. Cada corrida emite un informe de verificación —filas extraídas, filas incompletas por campo, conteo exacto— y una corrida que no llega a COMPLETED no se entrega: la máquina de estados se niega a pasar de PARCIAL a ENTREGADO sin aprobación humana explícita.
Las decisiones que sostienen eso son pequeñas y concretas. El hash de contenido excluye la fecha de captura, o el detector de cambios miente cada noche. El dinero es Decimal con locale obligatorio y sin valor por defecto, porque 1.234 significa cosas distintas según el país. Los productos se emparejan por SKU antes que por nombre, y un cruce dudoso va a revisión en vez de reportarse como una bajada de precio que nunca existió. Los ficheros de prueba incluyen el vacío legítimo y la página de bloqueo con código 200, que son los dos casos que nadie guarda y los únicos que distinguen "esta categoría está vacía" de "me han bloqueado".
Tecnologías
Python · SQLite · Pydantic · Playwright · pytest
Resultados
- 135 tests, ninguno toca internet
- Informe de verificación en cada entrega
- PARCIAL no llega a ENTREGADO sin aprobación humana