DEV Community

Saul Burgos Davila
Saul Burgos Davila

Posted on • Updated on

 

Data engineer: Practica con dagster + airbyte + dbt + snowflake + docker

Image description

Comparto con la comunidad un proyecto de practica que he estado haciendo usando tecnologias open-source. Los servicios en el docker compose son los siguientes:

  • Dagster: Orquestador de operaciones
  • Airbyte: โ€œELโ€ tool para extraccion de datos
  • dbt: Herramienta para tranformacion de datos
  • Snowflake: Data warehouse
  • FastApi: REST API

En esta practica solamente me limite a crear los containers con los respectivos servicios y haciendo pequeรฑas pruebas de como los servicios se podrian comunicar entre si. Como usar en detalle cada herramienta no es el foco de esta practica, Espero que les sea de utilidad.

Parte 1

Parte 2

Parte 3

Parte 4

Parte 5

Parte 6

Parte 7

Parte 8

Parte 9

Parte 10

Codigo final: https://github.com/SaulBurgos/Data-Engineering-Project-public

Top comments (0)

An Animated Guide to Node.js Event Loop

>> Check out this classic DEV post <<