DEV Community πŸ‘©β€πŸ’»πŸ‘¨β€πŸ’»

Saul Burgos Davila
Saul Burgos Davila

Posted on • Updated on

Data engineer: Practica con dagster + airbyte + dbt + snowflake + docker

Image description

Comparto con la comunidad un proyecto de practica que he estado haciendo usando tecnologias open-source. Los servicios en el docker compose son los siguientes:

  • Dagster: Orquestador de operaciones
  • Airbyte: β€œEL” tool para extraccion de datos
  • dbt: Herramienta para tranformacion de datos
  • Snowflake: Data warehouse
  • FastApi: REST API

En esta practica solamente me limite a crear los containers con los respectivos servicios y haciendo pequeΓ±as pruebas de como los servicios se podrian comunicar entre si. Como usar en detalle cada herramienta no es el foco de esta practica, Espero que les sea de utilidad.

Parte 1

Parte 2

Parte 3

Parte 4

Parte 5

Parte 6

Parte 7

Parte 8

Parte 9

Parte 10

Codigo final: https://github.com/SaulBurgos/Data-Engineering-Project-public

Top comments (0)

πŸ‘‹ Have You Posted on DEV Yet?

Head over to our Welcome Thread and tell us a bit about yourself!