DEV Community

Saul Burgos Davila
Saul Burgos Davila

Posted on • Updated on

 

Data engineer: Practica con dagster + airbyte + dbt + snowflake + docker

Image description

Comparto con la comunidad un proyecto de practica que he estado haciendo usando tecnologias open-source. Los servicios en el docker compose son los siguientes:

  • Dagster: Orquestador de operaciones
  • Airbyte: β€œEL” tool para extraccion de datos
  • dbt: Herramienta para tranformacion de datos
  • Snowflake: Data warehouse
  • FastApi: REST API

En esta practica solamente me limite a crear los containers con los respectivos servicios y haciendo pequeΓ±as pruebas de como los servicios se podrian comunicar entre si. Como usar en detalle cada herramienta no es el foco de esta practica, Espero que les sea de utilidad.

Parte 1

Parte 2

Parte 3

Parte 4

Parte 5

Parte 6

Parte 7

Parte 8

Parte 9

Parte 10

Codigo final: https://github.com/SaulBurgos/Data-Engineering-Project-public

Oldest comments (0)

🌚 Friends don't let friends browse without dark mode.

Sorry, it's true.