Bouwen tijdens mijn verlof

Ik breng een deel van mijn zwangerschapsverlof door met het bouwen van een dataplatform.

Niet omdat het moet — ik ben met verlof, ik moet helemaal niets — maar omdat het me oprecht blij maakt!

Ik hou van mijn baan als data engineer. Ik hou van de kracht van een goed ontworpen enterprise platform. Maar ergens onderweg viel me iets op dat me stilletjes is blijven storen.

Engineers in ons vakgebied worden steeds vaker opgeleid op één type tool — het grote, dure, volledig beheerde SaaS-type. En dat is prima, die tools kunnen fantastisch zijn. Maar het betekent dat steeds minder mensen weten hoe je iets vanaf nul bouwt. Hoe je meerdere open-source tools met elkaar verbindt en uitkomt op iets productieklaars. Hoe je naar het dataprobleem van een klein bedrijf kijkt en grijpt naar de oplossing die past, in plaats van de oplossing die bekend is.

Die vaardigheid — open-source system integration, bewust je eigen stack bouwen — wordt zeldzamer. En ik denk dat het de moeite waard is om daar een beetje tegenin te gaan.

Daarom bouwen Stan en ik een klein open-source dataplatform (datavloot) als startpunt van hoe dat er in de praktijk uitziet. DuckDB, dlt, dbt, Dagster.

Gebouwd om begrepen te worden, niet alleen om bediend te worden.

Gaat het de industrie veranderen? Waarschijnlijk niet. Is het een nieuwe hyperscaler? Absoluut niet — het is een hobby en passie, en als het eindresultaat gewoon een leuke rit is en wat nieuw opgedane kennis, dan is dat een volledig geslaagde uitkomst.

Volg mee als dit iets voor jou is.