Automatizando a Coleta de Dados Estatísticos com Selenium e SQLite

Apresento um caso simples de uso do Selenium e SQLite para coleta de dados, a depender da necessidade, é possível então realizar downloads de arquivos de um determinado site para que futuramente seja possível analisar os dados desses arquivos e realizar diversos insights acima disso.

O script

Feito em Python, o script acessa o site StatCounter e baixa todos os dados estatísticos sobre o uso de plataformas no Brasil ao longo dos anos.

Com a biblioteca Selenium para acessar e fazer o download dos arquivos CSV, e SQLite para armazenar esses dados.

Como funciona?

1. Configuração do Chrome Headless: O Selenium configurado com a opção headless do Chrome para automatizar a navegação no site sem a necessidade de uma interface gráfica. Representada pela função configure_chrome_headless().

2. Download e Parse do CSV: Com a biblioteca requests, é feito o download de cada arquivo CSV que contém os dados estatísticos. Em seguida, a biblioteca csv é utilizada para analisar e extrair as informações relevantes. Representada pela função download_and_parse_csv().

3. Armazenamento no SQLite: São criadas e atualizadas tabelas em um banco de dados SQLite, organizando os dados por ano. Representada pela função save_to_sqlite().

Como executar o script?

O script está disponível aqui. Certifique-se de ter as bibliotecas necessárias instaladas - leia o README.md - e o Selenium configurado com o Chrome Driver.

# Execução
python platform_market_share.py

Neste artigo, exploro uma abordagem prática usando Selenium, SQLite e outras bibliotecas para automatizar processo de coleta e armazenamento de dados.