Skip to content

levyvix/projects

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 

Repository files navigation

Projetos

Blog: Medium

Descrição: Sistema automatizado de web scraping desenvolvido com tecnologias avançadas como BeautifulSoup (via Adaptor) e Scrapling para coleta inteligente de informações de filmes do site 'ComandoTorrents'. O sistema realiza uma extração detalhada de metadados de filmes, capturando título dublado e original, ano, nota IMDB, gêneros, tamanho, duração, qualidade de vídeo e sinopse com validação rigorosa implementada através do Pydantic. A solução incorpora técnicas avançadas de scraping, utilizando sessão furtiva com resolução de Cloudflare, memoização de cache para otimização de performance e mecanismos de fallback para extração de informações. O processo garante alta resiliência, com tratamento tolerante a variações na estrutura da página, suporte a múltiplos formatos de dados e registro detalhado de erros para debugging. A exportação é realizada automaticamente para JSON, mantendo uma estrutura de dados consistente e legível, com suporte completo a caracteres UTF-8. O sistema resolve o problema de catalogação manual de conteúdo, oferecendo uma solução técnica sofisticada e adaptável para coleta automatizada de informações de filmes, transformando o processo de levantamento de dados em uma operação eficiente e precisa.

Tecnologias: Python, Scrapy, SQL, SQLite, BigQuery, Prefect

Blog: Substack

Descrição: Aplicação de web scraping do Harry Potter Wiki que demonstra três estratégias de coleta de dados: sequencial (BeautifulSoup), multiprocessamento paralelo (pathos - ~6s) e assíncrono (aiohttp). Extrai informações biográficas de personagens dos 7 livros, aplicando filtros inteligentes e normalização de dados. Implementa arquitetura orientada a objetos com classe base compartilhada (BaseWikiCaller) para reduzir duplicação de código. Exporta dados para CSV e DuckDB, permitindo análises SQL. Execução flexível via CLI, script Python ou Docker. Projeto educacional que ilustra padrões de design, otimização de performance e boas práticas de engenharia de software Python.Aplicação de web scraping do Harry Potter Wiki que demonstra três estratégias de coleta de dados: sequencial (BeautifulSoup), multiprocessamento paralelo (pathos - ~6s) e assíncrono (aiohttp). Extrai informações biográficas de personagens dos 7 livros, aplicando filtros inteligentes e normalização de dados. Implementa arquitetura orientada a objetos com classe base compartilhada (BaseWikiCaller) para reduzir duplicação de código. Exporta dados para CSV e DuckDB, permitindo análises SQL. Execução flexível via CLI, script Python ou Docker. Projeto educacional que ilustra padrões de design, otimização de performance e boas práticas de engenharia de software Python.

Tecnologias: Python

Video: Linkedin

Descrição: Solver algorítmico abrangente e paramétrico para o jogo Wordle desenvolvido em Python, com precisão de 100% para palavras oficiais e média de apenas 3.65 tentativas. O projeto implementa heurística de frequência posicional de caracteres e oferece múltiplos modos de operação: jogar contra CPU, resolver palavras desconhecidas, mostrar solução para palavra específica, resolver usando visão computacional e avaliar desempenho do algoritmo. Suporta dicionários personalizados, configurações flexíveis de comprimento de palavra e modo difícil, além de gerar árvore de soluções completa com a primeira palavra ideal sendo 'SOARE', processando um conjunto de 2,315 palavras candidatas e 12,972 palavras válidas para tentativa.

Tecnologias: Python, Selenium, OpenCV

Descrição: Pipeline de dados moderno que implementa a arquitetura Medallion (Bronze, Silver, Gold) para processamento de eventos do GitHub usando DuckDB como engine principal e AWS S3 para armazenamento. O projeto realiza ingestão incremental de dados através de três estágios: coleta de eventos brutos, transformação e limpeza de dados, e criação de datasets analíticos refinados. Oferece orquestração via Dagster e execução modular através de scripts Python independentes, com configurações flexíveis via arquivo config.ini, demonstrando uma abordagem escalável e moderna para construção de data lakes com ênfase em performance e processamento eficiente de grandes volumes de dados.

Tecnologias: Python, AWS, DuckDB, S3

Blog: Medium

Descrição: API desenvolvida em FastAPI que realiza web scraping de um site de feriados e disponibiliza os dados em formato JSON, integrando consumo de API pública Calendarific com persistência local em banco de dados SQLite. O projeto utiliza SQLAlchemy para mapeamento objeto-relacional e oferece processo simples de instalação via pip ou uv. Resolve o problema de centralização e automatização de informações sobre feriados nacionais e internacionais, criando um banco de dados local (calendarific.db) que pode ser facilmente consultado e integrado com outras aplicações.

Tecnologias: Python, FastAPI, SQLAlchemy, PostgreSQL

Descrição: Ferramenta robusta de web scraping desenvolvida em Python com Selenium e Pandas para coletar dados detalhados de vídeos do YouTube, incluindo informações de canal, título, data de publicação, visualizações, likes e comentários. O projeto extrai quatro tipos de informações: vídeos recentes, vídeos em alta, dados gerais do canal e métricas dos últimos 30 dias. Implementa pipeline completo de ETL com scripts para limpeza e transformação de dados, além de notebooks Jupyter para análise e visualização, permitindo insights profundos sobre desempenho de canais e estratégias de conteúdo no YouTube.

Tecnologias: Python, Pandas, Selenium

Descrição: Pipeline de dados end-to-end demonstrando um stack moderno de engenharia de dados utilizando quatro ferramentas começando com 'D': dlt para Extract & Load, dbt para Transform, DuckDB como banco de dados analítico local e Dagster para orquestração (na verdade são 4D). O projeto extrai dados da FakeStore API, realiza transformações em múltiplas camadas (staging e mart) e implementa 89 testes de qualidade de dados. Oferece suporte flexível para DuckDB e PostgreSQL, asset-based orchestration com Dagster, e demonstra práticas modernas de modelagem de dados com testes unitários e de integração, servindo como referência educacional completa para construção de pipelines robustos e escaláveis.

Tecnologias: Python, SQL

Descrição: Pipeline de dados end-to-end específico para o setor de varejo, projetado para processar, transformar e analisar dados de vendas e inventário utilizando Apache Airflow para orquestração de workflows e DBT para transformações de dados. O projeto integra-se nativamente com Google Cloud Platform (BigQuery e Cloud Storage), oferecendo arquitetura modular e extensível com suporte a Python 3.10+ e Poetry para gerenciamento de dependências. Implementa containerização completa via Docker e Astro CLI, facilitando a extração de insights estratégicos para tomada de decisões empresariais baseadas em dados, desde coleta e limpeza até geração de relatórios analíticos para o setor varejista.

Tecnologias: Python, DBT, Airflow, GCP

Descrição: Projeto moderno de web scraping que utiliza a biblioteca Scrapling customizada para extrair informações de livros do site 'Books to Scrape', oferecendo configurações flexíveis de performance com 5-25 threads e 1-15 páginas. Desenvolvido em Python 3.10+ com gerenciamento de dependências via UV, implementa logging robusto com Loguru e barra de progresso com tqdm. O projeto oferece suporte completo para Docker com configurações multi-stage, volumes persistentes para dados e logs, e diferentes modos de execução (teste, desenvolvimento, produção), salvando os dados extraídos em formato JSON e demonstrando técnicas modernas e eficientes de web scraping com foco em facilidade de configuração.

Tecnologias: Python

Descrição: Projeto de Big Data implementando arquitetura Medallion em três camadas (Bronze, Prata, Ouro) que progressivamente melhoram a qualidade dos dados, utilizando AWS S3 para armazenamento e Databricks para processamento distribuído com Apache Spark. O pipeline realiza ingestão de dados brutos, transformações incrementais e preparação para análise, ciência de dados e machine learning. Demonstra integração nativa entre AWS, Databricks e Python para processamento de grandes volumes de dados em larga escala, servindo como modelo prático e educacional para implementação de arquiteturas de data lake modernas, escaláveis e eficientes em ambientes de nuvem.

Tecnologias: Python, AWS, Databricks, Pyspark

Descrição: Projeto focado na integração entre Polars (biblioteca de manipulação de dados de alta performance) e Delta Lake (formato de armazenamento transacional) para processamento eficiente de dados. Contém implementações em Python com arquivos main.py e merge.py sugerindo funcionalidades de transformação e operações de merge de dados. O projeto utiliza práticas modernas de empacotamento Python com pyproject.toml e uv.lock, embora ainda esteja em estágio inicial de desenvolvimento com documentação limitada, focando em demonstrar a combinação dessas duas tecnologias poderosas para engenharia de dados.

Tecnologias: Python

Descrição: Pipeline completo de Continuous Integration e Continuous Deployment especificamente projetado para projetos DBT usando GitHub Actions, implementando estratégia 'Slim CI' que executa testes apenas em modelos modificados. O projeto cria schemas isolados de teste para cada pull request, gerencia artifacts de manifest automaticamente e realiza limpeza automática de schemas temporários, reduzindo significativamente custos de warehouse e tempo de execução. Oferece comparação de estado incremental, geração dinâmica de schemas, comprehensive error handling e logging detalhado, sendo principalmente configurado para Snowflake mas adaptável para outras plataformas, garantindo segurança em produção testando contra estruturas de dados reais.

Tecnologias: DBT, CI/CD

Descrição: Template de deploy automatizado para pipelines de dados utilizando DLT (Data Load Tool) integrado com GitHub Actions para continuous integration e deployment. O projeto demonstra como executar pipelines de dados programaticamente através de workflows automatizados, incluindo o arquivo rest_api_pipeline.py como core do pipeline e configurações específicas para GitHub Actions. Implementa estrutura moderna de projeto Python com pyproject.toml e dependency locking via uv.lock, fornecendo um exemplo reproduzível e reutilizável de como integrar pipelines de ETL com infraestrutura de CI/CD do GitHub para processamento automatizado e confiável de dados.

Tecnologias: Python, DLT, GitHub Actions

Descrição: Aplicação web desenvolvida para resolver puzzles de cubo no jogo Genshin Impact, combinando HTML (71.4%) e Python (28.6%) em sua implementação. O projeto possui estrutura modular com diretórios 'app' e 'genshin_cube_solver', oferecendo uma interface web para auxiliar jogadores a resolverem os desafios de quebra-cabeça encontrados no jogo. Utiliza configuração moderna de projeto Python com pyproject.toml, focando em fornecer uma ferramenta interativa e prática para a comunidade de jogadores de Genshin Impact através de algoritmos de resolução de puzzles.

Tecnologias: HTML, JavaScript

Descrição: Projeto temático de modelagem e análise de dados para o parque temático fictício Horrorland durante a temporada de Halloween, utilizando dbt Fusion (engine dbt alimentado por Rust) e Snowflake como data warehouse. O projeto foca em análise de experiência de visitantes através de múltiplos ângulos: satisfação por casa assombrada, experiências VIP, avaliação de preços de ingressos, correlação entre níveis de medo e avaliações, e padrões de recomendação. Implementa workflow completo de transformação de dados com camadas de source, staging e mart, incluindo desenvolvimento de star schema, 89 testes de qualidade de dados, testes unitários e documentação abrangente, demonstrando práticas modernas de analytics engineering em contexto criativo.

Tecnologias: DBT, SQL

Descrição: Ferramenta de extração inteligente de informações de documentos PDF utilizando múltiplas tecnologias de AI e processamento de texto: PydanticAI para criação de agentes AI com output estruturado, Docling para OCR (Optical Character Recognition) e PDFPlumber para extração de texto. O projeto combina essas três abordagens complementares para parsing sofisticado de documentos, oferecendo extração baseada em AI ao invés de métodos tradicionais manuais. Desenvolvido com integração ao Gemini (modelo de linguagem do Google), o projeto visa automatizar data mining e research em documentos PDF complexos, gerando outputs estruturados e confiáveis através de agentes inteligentes.

Tecnologias: Python, PydanticAI, Gemini

Descrição: Aplicação Python moderna para processamento e análise eficiente de arquivos de log em formato JSON, implementando capacidades de processamento concorrente e operações em batch. O projeto utiliza UV como gerenciador de pacotes, Loguru para logging avançado, type hints para manutenibilidade de código e suporta Python 3.13+. Oferece integração com banco de dados para armazenamento persistente, rotação e compressão automatizada de logs, mecanismos de error handling e recovery, além de estrutura modular completa. Dockerizado para fácil deployment, o projeto resolve o desafio de gerenciamento de grandes volumes de dados de log com ênfase em resiliência, eficiência e práticas modernas de desenvolvimento Python.

Tecnologias: Python

Descrição: Implementação completa de Change Data Capture (CDC) para MySQL utilizando binlog para rastreamento de alterações em tempo real no banco de dados, monitorando três tipos de operações: inserções, atualizações e exclusões. O projeto oferece configuração automatizada com Docker, interface interativa para simulação de alterações e ambiente de desenvolvimento completamente configurável. Desenvolvido em Python 3.8+ com UV como gerenciador de pacotes, inclui scripts de carregamento de dados e componente principal de CDC. Ideal para casos de uso que requerem sincronização de dados em tempo real, auditoria de banco de dados, replicação de eventos ou streaming de mudanças para sistemas downstream.

Tecnologias: Python, MySQL

Descrição: API REST desenvolvida em FastAPI que reimplementa o famoso dataset Jaffle Shop do DBT como endpoints de API, fornecendo acesso a dados de e-commerce através de recursos como customers, products, stores, supplies e orders. Suporta paginação com limite de 100 itens por página, nested order items dentro de objetos de pedidos e filtragem baseada em datas. Requer Python 3.10+, utiliza UV para gerenciamento de dependências e oferece sincronização de dados via DLT (data load tool). O projeto está deployado no Digital Ocean com deployment automatizado via push na branch main, inclui documentação interativa em /docs, e suporte para testes via make test e desenvolvimento com hot reload, demonstrando práticas modernas de desenvolvimento de APIs com FastAPI.

Tecnologias: Python, FastAPI

Descrição: API Python sofisticada e type-safe projetada para extrair dados de REST APIs e armazená-los eficientemente em DuckDB (banco de dados analítico de alta performance), utilizando Pandas para manipulação de dados intermediária. Desenvolvido em Python 3.12+ com UV package manager, implementa error handling robusto, logging detalhado com Loguru, static type checking e comprehensive test suite com pytest. A estrutura modular inclui diretórios separados para lógica de API, utilities e testes, com suporte para ambientes de produção e desenvolvimento. O projeto representa uma abordagem moderna e eficiente para pipeline de API-to-database, focando em performance através do DuckDB, maintainability através de type hints e reliability através de testes extensivos.

Tecnologias: Python, DuckDB, FastAPI

Descrição: Ferramenta de automação desenvolvida em Python 3.9+ que envia notificações por email automaticamente quando downloads de torrent no qBittorrent são concluídos, resolvendo o problema de monitoramento remoto de downloads longos. Implementa arquitetura orientada a objetos com configuração flexível via variáveis de ambiente (.env), logging detalhado e robusto error handling. Utiliza UV como gerenciador de pacotes Python e integra-se diretamente com a API do qBittorrent para detecção de conclusão de downloads, enviando emails através de SMTP seguro do Gmail. Ideal para usuários que precisam acompanhar downloads à distância ou serem notificados sobre conclusão de arquivos grandes sem monitoramento manual constante.

Tecnologias: Python

Descrição: Projeto educacional focado em aprendizado de Continuous Integration e Continuous Deployment (CI/CD) usando Docker e GitHub Actions, contendo uma aplicação web Python simples completamente containerizada. Implementa Dockerfile otimizado com .dockerignore, compose.yaml para orquestração multi-container e workflows de GitHub Actions para automação de deploy. O projeto segue o tutorial oficial de containerização Python do Docker, fornecendo exemplo hands-on de práticas modernas de DevOps. Demonstra integração completa entre desenvolvimento de aplicação Python, containerização com Docker e automação de CI/CD, servindo como recurso prático para desenvolvedores aprenderem workflows de deployment modernos e infrastructure as code.

Tecnologias: Python, Docker, GitHub Actions

Descrição: Ferramenta CLI desenvolvida em Python com a biblioteca pytube para download de vídeos e playlists do YouTube, oferecendo comandos distintos 'vid' para vídeos individuais e 'vidp' para playlists completas. Suporta múltiplos downloads simultâneos através de três métodos: links individuais diretos, arquivo de texto contendo múltiplos links ou URLs de playlists inteiras. Utiliza Poetry para gerenciamento de dependências e oferece personalização de caminhos de download, salvando vídeos individuais na pasta 'Videos' e playlists em 'Videos/Playlists'. O roadmap inclui implementação de barra de progresso, download em melhor qualidade disponível e melhorias na interface CLI para experiência de usuário aprimorada.

Tecnologias: Python, Pytube

Descrição: Projeto completo de construção de Data Warehouse do zero para análise de dados de commodities utilizando DBT (Data Build Tool), implementando pipeline robusto de transformação de dados através de arquitetura em camadas. Extrai dados via API e processa através de três estágios: Seeds para carregamento de dados estáticos, Staging (stg__commodities.sql e stg__movimentacao.sql) para limpeza e preparação inicial, e Datamart (dm_commodities.sql) para integração e modelagem final otimizada para análise. Desenvolvido em Python 3.7+ com PostgreSQL, o projeto demonstra práticas modernas de analytics engineering, fornecendo pipeline estruturado e modular que facilita análises complexas de movimentações de commodities e transformações de dados orientadas por SQL.

Tecnologias: Python, DBT, SQL, PostgreSQL

Descrição: Projeto de análise de dados de anúncios do Airbnb no Rio de Janeiro desenvolvido no curso de Engenharia de Dados da Ada Tech, implementando metodologia Medallion com três camadas: Bronze (Staging) para ingestão e limpeza inicial, Prata (Intermediate) para refinamento e transformação, e Ouro (Mart) para modelagem otimizada. Utiliza DBT para transformações SQL e PostgreSQL como banco de dados, trabalhando com três tabelas principais: Listings (anúncios), Reviews (comentários) e Calendar (histórico de preços). O projeto foca em extrair insights valiosos para tomada de decisão, planejamento estratégico e análises de mercado imobiliário, sendo útil para investidores, gestores de negócios de hospedagem e analistas interessados no setor de turismo e acomodação temporária no Rio de Janeiro.

Tecnologias: Python, DBT, SQL, PostgreSQL

Descrição: Aplicação web containerizada desenvolvida com FastAPI projetada especificamente para deployment em clusters Kubernetes, demonstrando arquitetura cloud-native completa. Utiliza PDM (Python Dependency Manager) para gerenciamento de dependências e inclui manifests completos de Kubernetes na pasta /kubernetes/ para orquestração. O processo de deploy envolve build de imagem Docker (levyvix/k8s_fastapi), push para registry e aplicação via kubectl. Estruturado com diretórios separados para código fonte (/src/fast_app_k8/), testes (/tests/) e configurações Kubernetes, o projeto serve como template starter para construção de web services Python escaláveis e containerizados, exemplificando práticas modernas de deployment em infraestrutura de containers orquestrados.

Tecnologias: Python, FastAPI, Kubernetes

Descrição: Aplicação dual (CLI e REST API) desenvolvida em Python com FastAPI que realiza web scraping do site do CNA (Conselho Nacional de Advogados) para buscar e disponibilizar informações de advogados de forma programática. Oferece interface de linha de comando instalável via pip para consultas rápidas e API REST para integração com outros sistemas, ambos com modos de desenvolvimento e produção. Utiliza Poetry para gerenciamento de dependências, SQLAlchemy para persistência de dados e PostgreSQL como banco de dados. Simplifica o processo de recuperação de dados profissionais de advogados, automatizando extração de informações públicas e fornecendo múltiplas formas de acesso aos dados através de interface JSON estruturada.

Tecnologias: Python, FastAPI, SQLAlchemy, PostgreSQL

Descrição: Projeto de orquestração de pipelines de dados utilizando Apache Airflow configurado via plataforma Astronomer, oferecendo ambiente completo com quatro componentes essenciais: Postgres para metadados, Webserver para interface, Scheduler para execução de tarefas e Triggerer para eventos. Implementa estrutura padronizada com diretórios organizados para DAGs, plugins e configurações customizadas, incluindo DAGs de exemplo demonstrando funcionalidades avançadas como branching, templates Jinja, grupos de tarefas e múltiplos operadores. Utiliza Astronomer CLI para deployment local via Docker e em nuvem, além de integração com DBT e AstroSDK. O projeto serve como template production-ready para desenvolvimento de workflows de dados complexos com infraestrutura gerenciada e best practices de orquestração.

Tecnologias: Python, Airflow, AstroSDK, DBT

Descrição: Pipeline completo de dados para coleta, processamento e disponibilização de notícias tecnológicas com foco especial em Apple, desenvolvido para auxiliar empresas a se manterem atualizadas sobre avanços tecnológicos e identificar oportunidades de P&D. Utiliza News API para ingestão de dados, implementa filtragem por palavras-chave relevantes e processamento batch com transformações incluindo contagem temporal de notícias, análise por fonte/autor e rastreamento de keywords. Desenvolvido com Python, Airflow para orquestração, PostgreSQL para armazenamento e SQL para transformações, oferece API própria via FastAPI para consulta dos dados processados. O projeto realiza cargas horárias e diárias automatizadas com deploy planejado no Render, transformando dados brutos de notícias em insights estratégicos acionáveis.

Tecnologias: Python, FastAPI, SQLAlchemy, PostgreSQL

Descrição: Projeto de modelagem de dados desenvolvido para uma empresa fictícia de energia utilizando DBT (Data Build Tool) para transformação e análise de dados energéticos. Implementa estrutura padrão de projeto DBT com diretórios para analyses, macros, models, seeds, snapshots e tests, permitindo workflows completos de transformação de dados via comandos 'dbt run' e 'dbt test'. Configurado com Poetry para gerenciamento de dependências e arquivos dbt_project.yml para configuração do projeto, serve como template para desenvolvimento de pipelines analíticos no setor energético. Embora seja um projeto em estágio inicial, demonstra práticas de analytics engineering e modelagem dimensional aplicadas ao contexto de utilities.

Tecnologias: Python, SQL, DBT, PostgreSQL

Descrição: Projeto de transformação de dados utilizando DBT focado em rastreamento e análise de portfolio de investimentos, implementando modelagem dimensional com MySQL como banco de dados (evidenciado pelo mysqlsampledatabase.sql). Estruturado com diretórios padrão DBT para analyses, macros, models, seeds, snapshots e tests, permite processamento de dados financeiros através de transformações SQL organizadas. Configurado via dbt_project.yml com potencial para análise de métricas de investimento, performance de ativos e relatórios de portfolio. Embora com documentação limitada e histórico inicial de commits, o projeto demonstra aplicação de práticas modernas de analytics engineering no domínio financeiro, especificamente para gestão e tracking de portfolios de investimento.

Tecnologias: Python, SQL, DBT, PostgreSQL

Descrição: Sistema de gestão financeira individual desenvolvido em Python como projeto de grupo acadêmico (bootcamp ADA) com 5 desenvolvedores, permitindo aos usuários cadastrar receitas, despesas e investimentos pessoais. Oferece funcionalidades de geração de relatórios financeiros e cálculo de juros através de interface de linha de comando. Utiliza gerenciamento de dependências via pip com requirements.txt e possui documentação clara para instalação e uso. O projeto resolve o problema de controle e acompanhamento de finanças pessoais, oferecendo ferramenta acessível para registro, categorização e análise de movimentações financeiras individuais, demonstrando conceitos de programação orientada a objetos e desenvolvimento colaborativo em contexto educacional.

Tecnologias: Python

Descrição: Script Python de automação para o jogo Genshin Impact que pula diálogos automaticamente selecionando sempre a opção inferior de diálogo, suportando entrada via teclado e mouse com ativação através da tecla F8. Requer execução com privilégios de administrador, detecta e salva configurações de resolução de tela em arquivo .env e funciona no display principal. Inclui arquivo batch (run.bat) para execução facilitada com direitos administrativos e possui branch experimental para gameplay apenas com gamepad. Desenvolvido explicitamente 'para fins educacionais', o autor adverte que uso regular 'arruinará sua experiência com a história', demonstrando técnicas de automação de input e detecção de tela mas desencorajando uso que prejudique a experiência narrativa do jogo.

Tecnologias: Python

Descrição: Projeto de Machine Learning para classificação automática de tipos de flores utilizando transfer learning com modelo ResNet pré-treinado através da API fast.ai. Implementa pipeline completo de visão computacional incluindo técnicas avançadas de data augmentation (rotação, cropping, ajuste de brightness/contrast e image cutting) e mini-batch gradient descent training. Estruturado com diretórios para dados (data/flowers), modelos treinados e notebooks Jupyter, o projeto demonstra workflow moderno de deep learning: transformação de dados, configuração de data loaders, treinamento com modelo pré-treinado, visualização de predições e análise de performance via top losses. A abordagem de transfer learning permite atingir alta acurácia de classificação aproveitando conhecimento de modelos treinados em grandes datasets, otimizando tempo de treinamento e recursos computacionais.

Tecnologias: Python, PyTorch

Descrição: Projeto de análise exploratória de dados governamentais focado na comparação de gastos com cartão corporativo entre diferentes presidentes do Brasil, desenvolvido completamente em Jupyter Notebook. Implementa processamento, análise e visualização de dados de despesas presidenciais, gerando gráficos comparativos (gastos.png) para facilitar compreensão de padrões de gastos públicos. O projeto visa transparência na apresentação de dados governamentais utilizando ferramentas open source, com roadmap incluindo ajuste de inflação para análises mais precisas e comparações intertemporais justas. Demonstra aplicação de ciência de dados em contexto de análise de transparência governamental e fiscalização de gastos públicos.

Tecnologias: Python, FastAPI, SQLAlchemy, PostgreSQL

Descrição: Ferramenta CLI desenvolvida em Python para auxiliar jogadores do jogo 'Word of Wonders' a gerar possíveis palavras com base em letras disponíveis, número de palavras desejado e máscaras de posicionamento. Oferece dois modos distintos de operação: permutações (-p) que reordena todas as letras possíveis e combinações (-c) que mantém a ordem original das letras. A interface de linha de comando aceita parâmetros flexíveis como palavra base (-w), número de palavras (-n) e máscara de posição (-m), com opção de ajuda integrada (--help). O projeto fornece solução programática e customizável para resolver desafios lexicais e puzzles de palavras, exemplificando aplicação de algoritmos combinatórios para otimização de gameplay.

Tecnologias: Python

Descrição: Aplicação web full-stack completa para jogadores de Clash Royale construírem, gerenciarem e otimizarem decks estrategicamente, com frontend React TypeScript e backend Python FastAPI. Oferece visualização de todas as cartas do jogo com detalhes de raridade, filtragem multi-atributo (elixir, nome, raridade, arena, tipo), slots para até 2 cartas de evolução e cálculo automático de custo médio de elixir. Suporta persistência de até 20 decks em banco MySQL com funcionalidades de salvar, renomear e gerenciar, tudo em ambiente Docker containerizado. Implementa estratégia abrangente de testes (unit, integration, E2E), documentação via MkDocs, scripts automatizados de desenvolvimento/deploy e workflows flexíveis (containerizado, local, híbrido), fornecendo insights data-driven para otimização de decks competitivos.

Tecnologias: Python, FastAPI, MySQL

Descrição: Projeto de benchmark comparativo entre DuckDB e Polars focado em performance de processamento e análise de dados, implementando CLI unificado com Typer e Rich para operações de ETL. Oferece funcionalidades completas incluindo geração de dados falsos configurável (CSV/JSON), conversão incremental CSV-to-Parquet, ingestão para SQLite e múltiplos modos de processamento: Polars (básico, streaming, GPU) e DuckDB. Desenvolvido em Python 3.11+ com SQLAlchemy para abstrações de banco de dados, permite medição sistemática de tempos de execução em diferentes cenários e configurações. O projeto visa fornecer insights práticos e quantitativos sobre performance dessas duas populares bibliotecas de processamento de dados, auxiliando engenheiros de dados a escolher a ferramenta mais adequada para casos de uso específicos.

Tecnologias: Python

Descrição: Scanner de portas de rede de alta performance desenvolvido em Python que varre múltiplos endereços IP e intervalos de portas concorrentemente utilizando multiprocessing. Suporta IPs individuais e notações CIDR, permite varredura de portas únicas ou intervalos, e agrupa resultados automaticamente por redes /24 para melhor organização. Implementa configurações flexíveis de timeout e número de workers, type hints para type safety, e gera relatórios detalhados e resumidos estruturados. Desenvolvido em Python 3.10+ com logging via loguru e gerenciamento de dependências através de uv/pip, o projeto oferece ferramenta de diagnóstico de rede robusta focada em performance através de paralelização, ideal para auditorias de segurança, mapeamento de rede e identificação de serviços ativos em infraestruturas complexas.

Tecnologias: Python

About

Projetos

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published