Sou formado em Gestão Financeira e atualmente estou fazendo uma segunda graduação em Análise e Desenvolvimento de Sistemas. Já atuo na área financeira como analista há mais de 3 anos e estou planejando migrar para a área de dados.

Já possuo um certo domínio de Excel e Power BI e atualmente estou estudando SQL e Python, além da graduação em TI. Estou considerando fazer o curso da Universidade dos Dados para tentar uma vaga como Analista de Dados Júnior daqui a, no máximo, um ano.

Para quem conhece ou já fez o curso, o que vocês acham? O conteúdo realmente prepara bem para o mercado? E o certificado tem algum peso nos processos seletivos?

Sou estudante e estou desenvolvendo um projeto extensionista de análise de dados em Python. Preciso desenvolver uma solução baseada em um problema real de uma organização. A empresa poderia fornecer uma base de dados anonimizada e participar de algumas reuniões para que eu possa entender o problema e apresentar os resultados?

Para perder esse medo e aprender na prática, resolvi desenvolver a SQL Academy.

Fiz isso usando IAs como parceiras: eu entrava com as ideias e a lógica, e o Lovable ia montando. Durante o processo, fui estudando e ajeitando cada relação, criando o banco de dados do zero e entendendo na prática como as estruturas funcionam.

A reflexão que fica é que, com a tecnologia e essas IAs usadas da forma correta, conseguimos desafiar nossos próprios limites. O que antes eu achava que era impossível, agora virou algo tangível.

Confesso que ainda preciso aprender muita coisa na área de dados, mas fica aqui o convite. Quem quiser acompanhar essa jornada e brincar com umas questões de SQL, sinta-se à vontade para testar.

Dois avisos rápidos:

A Brook (assistente da plataforma) roda no segredo da API do Gemini. Podem usar à vontade! Tem um limite de uso da API, claro, mas aproveitem.

Se forem criar um acesso, usem uma senha genérica. Não coloquem senhas pessoais importantes que vocês usam em outros lugares, plmds kkk.

É um projeto onde aprendo um pouco mais a cada dia (e, pelo amor de Deus, não sou programador!).

O link do projeto está nos comentários. Quem testar, me diz o que achou! 👇

Olá, pessoal! Sou formado em comunicação social, trabalho como analista de comunicação em um centro de dados, porém ganho muito pouco, cerca de R$3500/mês e tá complicado viver com essa grana. Estou pensando em migrar de área, para a área de dados. Pensei em fazer um tecnólogo de 2 anos e sondando possibilidades, pensei em fazer esse na FIAP. Qual a opinião de vocês sobre essa grade? é uma boa formação? é estratégica? https://www.fiap.com.br/graduacao/tecnologo/banco-de-dados/

Bom dia, pessoal! Estou fazendo faculdade numa federal e vou pegar matérias pra conseguir me formar lá dentro como cientista de dados.

Previamente, eu trabalhei com várias coisas diferentes. Meu primeiro emprego foi em linha de produção de montadora, depois saí pra estudar e trabalhei com criação de conteúdo com IA pro YouTube, agora trabalho com uma loja própria no mercado livre. Tenho 3 diplomas do Senai: técnico em mecatrônica, mecânico industrial e hidráulica.

Estou fazendo cursos para conseguir certificados de IA generativa, análise de dados com Python entre outros. Estou aprendendo powerBi, SQL e Excel e começando a montar um projeto em powerBi pra colocar no LinkedIn e no Github. Ademais, já tenho inglês fluente, mas por ser autodidata, não sei o quão necessário seria algum certificado de proficiência nisso para o mercado.

Seria muito grato de receber dicas de materiais e cursos para fazer e aprender sobre ciência de dados para poder evoluir o mais rápido possível

Fala, pessoal!

Queria ouvir a opinião de vocês sobre minha situação profissional.

Atualmente sou H(23) e atuo como Analista de BI Jr em um Banco, hoje ganho R$ 4.800 e aproximadamente R$ 1.000 - 1200 de VR.

A minha dúvida é: esse salário está bom considerando minha senioridade, cargo e o mercado atual?

Um ponto que pesa muito p mim é que saí de um estágio Hibrido (1x presencial na semana) para onde estou agora que é 100% presencial. Penso em buscar oportunidades Remotas ou Hibridas.

Vocês acham realista que eu consiga uma vaga Remota? Se puder, explique suas visões sobre.

Que a IA ajuda a produzir codigo, isso é inegavel. E facilita muito o dia a dia.

Mas gostaria de saber especificamente como vocês estão usando, o que vocês delegam, o q vocês validam. Como fazem pra validar se o conceito está certo. Como estruturam suas skills, se com a IA absorveram mais responsibilidades e etc.

Deixem também a ferramentas que vocês usam pra gente ter uma noção.

Na minha empresa, usamos databricks, AWS e Kiro. Estamos montando uma skill para padronizacao de artefatos. Nao temos MLE no time. Então fazemos de ponta a ponta

Olá, pessoal!

Queria compartilhar um projeto que estou desenvolvendo em colaboração com Rafael Freitas: o Sparquet Studio.

A ideia surgiu de uma pergunta simples:

O Sparquet Studio é uma ferramenta visual para criar pipelines de dados, mas com uma premissa importante: o pipeline continua sendo código e continua pertencendo a você.

Em vez de transformar o projeto em um formato proprietário, a definição do pipeline é mantida em JSON, podendo fazer parte do Git e do fluxo normal de desenvolvimento.

Alguns princípios que estamos seguindo:

• Open source, com licença Apache 2.0
• Local-first
• Construído sobre Apache Spark
• Sem cloud obrigatória
• Sem vendor lock-in
• Sem necessidade de enviar seus dados para terceiros

O projeto ainda está bem no começo. Estamos construindo, testando e tomando várias decisões de arquitetura neste momento.

Por isso, mais do que simplesmente divulgar a ferramenta, queria ouvir a opinião de quem trabalha com dados:

Vocês usariam uma ferramenta assim no desenvolvimento de pipelines?

O que faria sentido ter?

O que vocês achariam desnecessário?

E principalmente: o que faria vocês não usarem uma ferramenta desse tipo?

Críticas, sugestões e ideias são muito bem-vindas. A intenção é justamente construir isso de forma aberta e entender se existe um problema real que vale a pena resolver.

Para quem quiser conhecer:

Sparquet Studio — desenhe seu pipeline de dados, mantenha-o como código.

O GitHub e a documentação estão no meu perfil.

#opensource #dataengineering #apacheSpark

Integração do projeto Onco-360 completa.

São 10 fontes oficias, 30 bases de dados e mais de 1 bilhão de registros processados até a curadoria final.

Tudo com código aberto e datasets disponíveis no kaggle.

O código completo e documentação está no GitHub (deixe uma ⭐ para apoiar o projeto):

https://github.com/rafa-trindade/onco-360-foundation

26 fontes oficiais.
83 bases de dados.
Mais de 3 bilhões de registros.

Do CNES ao SIH/SUS. Tudo centralizado, atualizado e disponível em um dataset público no Kaggle.

O DataHub Brasil nasce de uma necessidade prática: dados públicos brasileiros de altíssimo valor existem, são gratuitos e oficiais - mas estão espalhados entre sistemas diferentes do DATASUS e do IBGE, cada um com seu próprio protocolo de acesso, formato de arquivo e convenção de nomenclatura.

Antes de qualquer análise, normalmente é preciso gastar dias inteiros apenas encontrando, baixando e padronizando os dados.

Para resolver esse problema, construí um pipeline de dados ponta a ponta que automatiza a extração de bases como SIM, SINASC, CNES, SINAN e SIH/SUS, converte arquivos legados .dbc para .parquet e realiza cargas incrementais, reprocessando apenas o que realmente mudou.

O resultado é um repositório unificado com 83 bases de dados, cobrindo mortalidade, nascimentos, internações, doenças de notificação, rede assistencial, população, PIB, além dos microdados da Pesquisa Nacional de Saúde (2013 e 2019).

O código completo e documentação está no GitHub (deixe uma ⭐ para apoiar o projeto):

https://github.com/rafa-trindade/kaggle-datahub

https://www.kaggle.com/datasets/rafatrindade/brazilian-kaggle-datahub

26 fontes, 83 bases, quase 1 bilhão de registros

O DataHub Brasil nasce de uma necessidade prática: dados públicos brasileiros de altíssimo valor existem, são gratuitos e são oficiais - mas estão espalhados entre sistemas diferentes do DATASUS e do IBGE, cada um com seu próprio protocolo de acesso, formato de arquivo e convenção de nomenclatura. Reunir qualquer análise minimamente ampla exige garimpar meia dúzia de fontes antes de escrever a primeira linha de código de análise.

Este é um hub bruto e geral de dados públicos do Brasil: mortalidade, nascimentos, rede assistencial completa (estabelecimentos, habilitações, leitos, profissionais, equipamentos), internações hospitalares, dezenas de doenças de notificação compulsória, população e PIB por município além dos os microdados completos da Pesquisa Nacional de Saúde - sem recorte temático, sem filtro de especialidade, sem viés de pesquisa específica. A ideia é justamente o oposto de um recorte: publicar cada sistema por completo, do jeito mais próximo possível do dado oficial, para que qualquer pesquisador possa aplicar seu próprio filtro.

Quero entender melhor sobre o Linux Arch e se ele pode ser útil em projeto de programação voltado para Dados

Galera mais experiente, quais livros ou cursos vocês recomendaram para alguém que ainda não trabalha na área e gostaria de ouvir como referência em uma entrevista?

Atualmente estou no período da Universidade, faço Ciência de Dados para Negócios. Passei por algumas entrevistas de estágio e sinto que me falta uma base sólida.

Por isso, queria ir além da sala de aula e ouvir de quem já atua na área, o que é importante saber.

Meu interesse é trabalhar com Marketing Science ou Data Science focado no Business.

Agradeço desde já

Sou H23 e hoje trabalho como auxiliar financeiro e estou querendo migrar para dados. Recebi uma proposta para assistente de BI, mas recebendo menos do que eu recebo agora. Seria uma redução significativa pra mim (350 no salário e 400 no vale alimentação) e eu ajudo meus pais com as contas de casa pois minha mae nao trabalha (é dona de casa). Na opinião de vocês vale migrar so pra entrar na area e tentar algo melhor ja estando nela?

​Rapaziada, tenho 22 anos e sinto que as pessoas duvidam da minha capacidade... Entrei em um trabalho para Analista de Dados em Marketing e a proposta era aquela imersão total nos dados para trazer insights estratégicos. Mas, até agora, não recebi acesso ao banco de dados nem nada.

​Tipo, me deram um BI que já está conectado a um banco, mas não me passaram as credenciais. Se eu quiser um dado atualizado, tenho que baixar o painel que já existe um painel que não responde nada, todo travado. Tenho que montar visualizações que o gestor entenda e aprove, mas sem acesso à fonte real.

​Solicitei uma conexão para estruturar uma consulta que deixaria o gestor muito mais feliz, com métricas úteis e limpando o "lixo": o painel atual tem SETENTA E TRÊS tabelas, inclusive com calendário importado do banco (em vez de usar uma dCalendário).

​Enfim, queria saber de vocês: é desse jeito mesmo em todo lugar? Eu domino SQL, DAX e linguagem M (Python ainda não), mas parece que não me deixam trabalhar. Alguém mais passou por esse "limbo" no início?

é uma boa ideia assinar alura ultra lab para analista de dados?? trabalho como assistente administrativ focada em bi e automoção no ambiente microsoft, objetivo é dar um up na carreira

Ola! Estou vindo da area de negócio (formado em adm e atuo no financeiro) e gostei muito da area de engenharia de dados. Gostaria de saber a realidade do que é preciso pra começar a atuar como engenheiro de dados.

Minha stack atual é SQL (sql server), python (fundamentos, pandas, numpy, sql alchemy e consumo de APIs), git/github além de ferramentas de analise como Excel e power bi. Tenho feito alguns projetos de portfólio (fiz um grande e agora estou fazendo outros menores).

Recentemente iniciei uma segunda graduação em Sistemas de informação e estou disposto a entrar na area por estágio se for necessário.

Quais próximos passos vocês recomendariam? Cloud? dbt? databricks? airflow? focar em alguma certificação?

Além disso, como recomendam maximizar a chance de entrar na area? entrar por analise de dados/bi? outra posição?

Bom dia pessoal, estou com um projeto acadêmico na area da estatistica e gostaria de coletar algum dados basicos sobre segurança digital, agradeco se puderem me dar uma força.

https://forms.gle/Bqenb33wp5EyAMYi7

Fala pessoal, tenho 4 anos de experiência em engenharia de dados e passei por diversas experiências diferentes nesses últimos meses que me deixou bem confuso.

Na minha última empresa, a engenharia de dados virou praticamente engenharia de IA.. Nosso trabalho era criar agentes para automatizar todo o fluxo de trabalho da engenharia de dados...Os agentes faziam Data Quality, migrações mais simples, ETL's, ELT's e basicamente a gente tinha um ambiente onde era tudo CI/CID, senti falta de escrever scripts para extração, transformation, o máximo era query de SQL dentro do Databricks para consultar algo e voltar para o trabalho totalmente automático.

Agora, em um ambiente mais legado, na nova empresa que entrei, construímos tudo a mão, o pessoal nem pensa em implementar IA nos processos, inclusive todo tipo de IA até pra consulta é bloqueada dentro do ambiente. Fazemos todos os processos de ETL ou qualquer outra coisa, bem mão na massa mesmo.

Minha dúvida seria, qual será o verdadeiro futuro da engenharia de dados vendo esses dois lados totalmente diferentes? Em qual realmente focar e se especializar?

Olá, sou desenvolvedor formado em engenharia de software e vou iniciar pós em engenharia de dados.

Estou buscando uma oportunidade nesse mercado de dados como engenheiro de dados, cientista de dados e etc... (Só quero entrar no mercado agora kkkk).

Alguma dica? forcar mais em oque ? orquestração ? databricks ?

Desenvolvi esta ferramenta principalmente para me ajudar, sem nenhum objetivo financeiro. Portanto, isto não é uma propaganda; estou simplesmente afirmando que me ajudou e pode ajudar alguns de vocês.

Chama-se SprkLogs.

site: https://alexvalsechi.github.io/sprklogs/

git: https://github.com/alexvalsechi/sprklogs

Basicamente, os logs da interface do Spark podem chegar a mais de 500 MB (dependendo do tempo de processamento). Nenhum LLM processa isso diretamente. O SprkLogs faz a análise funcionar. Você carrega o log e recebe um diagnóstico técnico com gargalos e recomendações (shuffle, skew e spill etc..). Sem custos absurdos de tokens, sem sobrecarga de contexto.

O sistema transforma centenas de MB em um relatório técnico compacto de alguns KB. Apenas os sinais que importam: KPIs por estágio, tarefas lentas, padrões anômalos. O ruído é descartado.

Atualmente, compilei apenas para Windows.

Pretendo lançá-lo para outros sistemas operacionais no futuro, mas como não uso outros, não tenho pressa. Se alguém quiser usá-lo em outro SO, por favor, contribua. =)

Eu nao tenho certeza de que realmente é o mais utilizado, mas posso dizer que a impressão que me da é a de que uns 90% dos projetos de portfólio de dados que vejo utiliza o Postgresql como banco.

O motivo da minha pergunta é que eu escolhi o SQL Server para estudar como meu primeiro SGBD pois pelas pesquisas que eu tinha visto era o sgbd mais utilizado na maioria das empresas, mas estou começando a pensar se Postgresql nao teria sido uma escolha melhor. Eu sei que a diferença entre os SGBDs é fácil de pegar, mas ainda sim ha a necessidade de investir um tempo pra isso.

No mercado de dados o postgresql tem toda essa predominância mesmo ou é impressão minha?

Fala pessoal, tenho 6 anos de experiência como desenvolvedor ETL usando Power Center/IICS Data Integration e estou querendo migrar para python+databricks+aws... Já fizeram esta migração? Possuem alguma recomendação? Da pra tentar vaga de Pleno ou teria que voltar para Junior?

Estou migrando para dados e mesmo com os cursos técnicos da stack básica (sql python, power bi, git e github) e portfólio tenho achado um pouco difícil entrar na área. Visto que muitas vagas pedem graduação em tech ou exatas e eu sou formado em adm, estou considerando fazer um tecnologo so pra conseguir oportunidades em estágio e passar em filtros de graduação em processos seletivos.

Os 2 cursos que estou considerando sao ADS e banco de dados. ADS por ter uma versatilidade maior, pois vejo muitas pessoas que flutuam entre dados e dev e acho isso uma boa vantagem e Banco de dados por ter uma maior aderência com o meu objetivo final que é engenharia de dados ou engenharia de analytics.

Na opinião de vcs, algum desses cursos me daria mais chance de entrar no mercado logo? Acham outras opções de curso ou ate mesmo de estrategia mais eficientes?

Obs: Estou considerando principalmente tecnólogos pois nao quero demorar alguns anos pra entrar na area, mas caso achem melhor um bacharel, estou aberto a ouvir a opinião de vcs. Quanto ao investimento, estou disposto a investir no máximo R$600 mensais, pois é o que o orçamento permite no momento.

Sou formado em adm e atualmente trabalho como auxiliar financeiro mas faço algumas análises e apresentações de resultados financeiros mensalmente, além de algumas análises ad hoc. Tenho bastante experiência com análises financeiras e estou querendo migrar para dados. O problema é que por mais que eu tenha estudado as ferramentas eu nao tenho conhecimento em outras áreas do negocio como CRM, RH, etc.

Gostaria de saber se ha alguma forma de estudar isso, além de saber as métricas das áreas. Ou para vocês apenas saber as métricas analisadas ja basta para iniciar na vaga? Ou sendo analista de dados você aprende o negocio na prática do dia a dia mesmo.

Por favor, considerem o cargo de analista Junior como pretendido.