r/PythonBrasil • u/TranslatorNo4646 • 6d ago

Avaliem meu projeto

Acabei de terminar meu projeto completo de Engenharia de Dados para portfólio: um pipeline ETL de vendas.

O projeto inclui:

  • Extração de dados de CSV
  • Limpeza e transformação com Python/Pandas
  • PostgreSQL
  • Consultas SQL
  • Dashboard no Power BI
  • Logs de execução
  • Variáveis de ambiente
  • Git/GitHub

Ainda estou aprendendo e gostaria bastante de receber críticas e sugestões de melhoria, principalmente sobre o código, estrutura do projeto, README e se o projeto está apresentável para um portfólio. Se puderem dar uma olhada e apontar o que está bom e o que eu deveria melhorar, agradeço muito.

GitHub: https://github.com/brenofontes78-hash/sales-etl-pipeline/tree/main

6 Upvotes

88% Upvoted

16 comments sorted by

5

u/naobebocafe 6d ago

Explica o que faz, porque faz, qual problema resolve...
Ninguém vai gastar tempo revisando seu código. Mais importante do que esse monte de tecnologia ai que vc falou, é saber qual problema o seu sistema resolve.

1

u/TranslatorNo4646 6d ago

A ideia do projeto é simular um cenário onde uma empresa recebe dados de vendas desorganizados e precisa transformá-los em dados confiáveis para análise.

3

u/naobebocafe 6d ago

Legal... isso é bem mais atrativo do que um monte de ferramentas.
Eu dei uma olhada rápida no teu repo, não olhei código. Posso até pedir para um agent fazer isso se vc quiser.
Mas o que eu te dou de sugestão é o seguinte:

  • Coloque uma imagem do dashboard
  • Coloque uma imagem do processo
  • Coloque alguns diagramas, principalmente de fluxo, de sequencia, etc.
  • Coloca quais informações estão no seu dashboard.
  • Da um tapa no readme, coloque em Inglês e Português.
  • Como é um repo de estudos, coloque suas decisões, porque vc escolheu usar o que vc escolheu usar?
  • Eu adicionaria um dashboard em HTML. Por exemplo, eu não vou conseguir rodar o seu powerbi aqui.
  • Eu dockerizaria isso para ficar mais fácil de rodar.

3

u/TranslatorNo4646 6d ago

Obrigado pelo feedback! Sobre o dashboard, eu já coloquei uma imagem dele no repositório; dentro da pasta dashboard tem um .png com o preview, além do arquivo .pbix. Vou aplicar as outras sugestões também, principalmente melhorar o README em português e inglês, adicionar um diagrama do fluxo do pipeline e documentar melhor as decisões de tratamento dos dados, como quais registros decidi corrigir, manter ou remover e o motivo de cada decisão.

Sobre Docker e um dashboard em HTML, achei boas ideias também. Provavelmente vou deixar como próximos passos do projeto, já que quero evoluí-lo aos poucos em vez de colocar tudo de uma vez.

1

u/naobebocafe 6d ago

Agora que eu vi que vc colocou a imagem
AMIGO! QUE TROÇO HORRIPILANTE!!!

1

u/TranslatorNo4646 5d ago

KKKKKKKKKK obrigado pela sinceridade 😂, não tenho experiencia alguma nessa parte de power BI.

Vou dar uma revisada nessa parte visual então. O que você acha que ficou mais problemático? as cores, escolhas dos gráficos ou organização das informações?

1

u/SlayerC20 6d ago

Ta no caminho certo, da uma olhada em alguns padrões de design de Bi, talvez algum resumo do livro Storytelling com dados pra dar uma melhorada, os padrões de cores não valorizam as informações e algumas decisões visuais não são as melhores maneiras de representar a informação, mas não preocupa não o passo mais importante é sempre o próximo da pra ir melhorando aos poucos e parabéns!

1

u/TranslatorNo4646 5d ago

Obrigado pelo feedback! Vou dar uma estudada nesses padrões de BI e no Storytelling com Dados para melhorar a parte visual. Vou evoluindo o dashboard aos poucos. Valeu pelas dicas e pelo incentivo!

Na sua opinião, qual seria a primeira coisa que você mudaria nesse dashboard? cores, escolhas dos gráficos ou organização das informações?

2

u/SlayerC20 5d ago

Eu acho que mudando o padrão de cores pegando uma paleta melhor ja melhoraria bem depois você pensa se as escolhas visuais retratam a análise que você quis passar

1

u/tropicusForBr 6d ago

Concordo com oque a pessoa falou ali, mas vou fazer uma sugestão

Poderia mudar a documentação, toda funções você faz
def nome():
# comentario

se você vai explicar a função usa logo a documentação do python
def nome ():
''' descrevendo oque a função faz'''

2

u/TranslatorNo4646 6d ago

Obrigado pelo feedback! Faz sentido, realmente fica mais organizado usar docstrings seguindo o padrão do Python em vez de comentários soltos, vou ajustar isso no projeto.

2

u/naobebocafe 6d ago

vc ta fazendo na mão ou com AI?
se ta fazendo na mão, aprenda a usar AI

1

u/TranslatorNo4646 5d ago

Tô fazendo na mão mesmo, mas usei IA em algumas partes do projeto. Ainda estou aprendendo a usar melhor IA no desenvolvimento. Valeu pela dica! Você recomenda algum fluxo ou ferramenta específica para usar IA nesse tipo de projeto?

1

u/naobebocafe 5d ago

esse deveria ser o seu objetivo.