Skip to content

DEV Community

Como aprendi Apache Spark em 2012 Series' Articles

Back to renanpyd's Series

renanpyd

Oct 6

Como aprendi Apache Spark: revisitando uma jornada pela Engenharia de Dados

#spark #bigdata #dataengineering #opensource

4 min read

Cover image for Como aprendi Apache Spark — Parte 1: Por que o Spark mudou o processamento de Big Data

renanpyd

Oct 6

Como aprendi Apache Spark — Parte 1: Por que o Spark mudou o processamento de Big Data

#spark #dataengineering #bigdata #python

7 min read

renanpyd

Oct 23

Próximo: Parte 2 — Por dentro da arquitetura do Apache Spark: Driver, Executors, Jobs, Stages e Tasks

#pyspark #bigdata #dataengineering #spark

10 min read

renanpyd

Oct 23

Como aprendi Apache Spark — Parte 3: Partições, paralelismo e performance

#dataengineering #bigdata #pyspark #spark

13 min read

renanpyd

Oct 23

Como aprendi Apache Spark — Parte 4: Shuffle — onde a performance começa a ficar avançada

#dataengineering #bigdata #pyspark #spark

13 min read

renanpyd

Oct 24

Como aprendi Apache Spark — Parte 5: Joins — Shuffle, Broadcast e estratégias de execução

#dataengineering #bigdata #spark #cluster

14 min read

renanpyd

Oct 24

Como aprendi Apache Spark — Parte 6: Spark SQL e DataFrames — do código ao plano de execução

#pyspark #dataengineering #bigdata #cluster

15 min read

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 8: RDD Lineage e tolerância a falhas — como o Spark se recupera

#spark #python #dataengineering #bigdata

16 min read

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 9: Broadcast, Accumulators e Closures

#bigdata #pyspark #dataengineering #apache

16 min read

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 10: Client Mode vs. Cluster Mode — onde o Spark realmente executa

#bigdata #spark #apache #python

17 min read

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 11: Dimensionamento de recursos, paralelismo e custos

#bigdata #apache #spark #python

17 min read

Cover image for Como aprendi Apache Spark — Parte 12: CSV, JSON, Parquet e ORC — performance começa no armazenamento

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 12: CSV, JSON, Parquet e ORC — performance começa no armazenamento

#python #apache #spark #bigdata

16 min read

Cover image for Como aprendi Apache Spark — Parte 13: Iceberg, Delta Lake e Hudi — a evolução para Lakehouse

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 13: Iceberg, Delta Lake e Hudi — a evolução para Lakehouse

#data #lake #spark #python

16 min read

Cover image for Como aprendi Apache Spark — Parte 14: Data Quality, Data Contracts e Governança

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 14: Data Quality, Data Contracts e Governança

#python #bigdata #spark #apache

17 min read

Cover image for Como aprendi Apache Spark — Parte 15: Structured Streaming, Watermarks e Checkpoints

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 15: Structured Streaming, Watermarks e Checkpoints

#bigdata #python #sql #apache

18 min read

Cover image for Como aprendi Apache Spark — Parte 16: Apache Kafka, CDC e pipelines incrementais

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 16: Apache Kafka, CDC e pipelines incrementais

#python #spark #bigdata #sql

19 min read

Cover image for Como aprendi Apache Spark — Parte 17: Airflow, CI/CD e DataOps

renanpyd

Nov 6

Como aprendi Apache Spark — Parte 17: Airflow, CI/CD e DataOps

#python #sql #bigdata #spark

16 min read

Cover image for Como aprendi Apache Spark — Parte 18: Performance Tuning avançado

renanpyd

Nov 9

Como aprendi Apache Spark — Parte 18: Performance Tuning avançado

#python #sql #apache #spark

17 min read