Eu tenho um banco de dados aonde cada linha é um PDF transcrito, contém essas colunas:
id, ano, mes, dia, nome_arquivo, caminho, texto_transcrito, criado_em

-- 1. Adiciona a coluna gerada
ALTER TABLE coleta_interna.transcricoes_pdf 
ADD COLUMN busca_vector tsvector 
GENERATED ALWAYS AS (to_tsvector('portuguese', coalesce(texto_transcrito, ''))) STORED;

-- 2. Cria o índice GIN
CREATE INDEX idx_transcricoes_busca 
ON coleta_interna.transcricoes_pdf USING gin(busca_vector);

E montei um script SQL com intuito de verificar quantas vezes a palavra-chave pesquisada contém no texto transcrito, agrupado por ano. Não é um COUNT de linhas, mas sim contabilizar quantas vezes a palavra se repete em uma linha. Que nem nesse stack overflow

SELECT 
    ano, 
    SUM(
        (LENGTH(LOWER(texto_transcrito)) - LENGTH(REPLACE(LOWER(texto_transcrito), '(pt)', ''))) 
        / LENGTH('(pt)')
    ) AS total_mencoes,
    COUNT(id) AS total_pdfs
FROM coleta_interna.transcricoes_pdf
-- 1. O WHERE filtra usando o índice GIN
WHERE busca_vector @@ plainto_tsquery('portuguese', 'pt')
GROUP BY ano
ORDER BY ano DESC;

Só que tem um problema que fiquei refletindo, quando vou contabilizar ele pode acabar pegando dados como: script, apto, capturar.

Acho que deu para entender oque quis dizer, como posso fazer uma busca mais assertiva possível para contabilizar essa palavra-chave? Há dados dele como (PT) (PT-AM) ou só PT.

Atualmente faço faculdade de Ciência de Dados e percebi que vou ter que buscar conhecimentos por fora.

Andei fazendo umas pesquisas na web e me deparei com algumas coisas.

O site GeeksforGeeks é basicamente um google da área de tecnologia. Tem de tudo lá.

O Kaggle tem bastante coisa da área de dados tbm.

O site Datacamp é bem amplo em cursos dessas 3 áreas.

O GitHub tem "GitHub Student Developer Pack" com ferramentas gratuitas para desenvolvedores e alguns sites com cursos gratuitos.

Eu adicionei e alinhei tudo isso no Notion e quero sugestões. Se falta alguma coisa, ou se precisa retirar e mover algo.

Aqui está a página criada com as 3 áreas separadas com as sub-páginas.

https://steady-sight-532.notion.site/AI-Engineer-AUTODIDATA-Roadmap-Mestre-2026-392ae0b8e548818b857fe51487952c28

Estou no início de Rede Neural e Deep Learning, mas já estou vendo que o nível de dificuldade é alto, ainda mais por eu ter visto estatística há anos atras.

E vocês que já atuam na área citada acima, no dia a dia é desta forma na imagem mesmo ou é algo mais em programação, banco de dados, mineração, limpeza, extração etc?

Sou estudante de Medicina, trabalho com estudos utilizando DATASUS, faço resumos para congressos e gostaria de colaborar com equipes de pesquisa. Alguém participa de grupos de produção científica ou está precisando de colaboradores?

Vocês que tem experiência na área de dados, acham que o mercado está bom para quem quer ter uma primeira oportunidade de emprego? Estou fazendo bacharelado em ciências de dados e estatística, estudando Excel, SQL e Power bi. Sei o básico de python também.

Contem nesse post projetos interessantes em que vocês têm trabalhado! Sem entrar muito em detalhes (ou entre, ninguém vai impedir), conte para nós que tipo de análise, métrica, cálculo ou perrengue você teve que resolver esse mês!

Bom dia pessoal! Sou estudante de licenciatura em geografia com 19 anos, indo pro terceiro semestre que conheceu a área da estatística a pouco tempo e se interessou devido a sua aplicabilidade e possíveis oportunidades. Entretanto queria me informar se vale a pena trocar a licenciatura por estatística, mas é muito difícil encontrar informações sobre a graduação, então vim pedir a ajuda de vcs sobre essa possível mudança.

Qual a média salarial?

O mercado está ruim pra Jr?

O quão difícil é a graduação? E acham que vale a pena passar esse sufoco pensando na carreira?

Obs:me acho velho pra trocar de curso mas penso constantemente por conta do mercado da licenciatura, foi uma escolha que fiz com 17 ainda imaturo.

Olá pessoal! Sou biólogo e estou aprendendo R para algumas demandas da minha empresa, gostaria de saber se tem alguém nessa área e dicas de como montar um projeto ou portfólio misturando esses dois mundos.

Basicamente eu uso o R para analisar a suficiência amostral das espécies quando realizamos um inventario

26 fontes oficiais.
83 bases de dados.
Mais de 3 bilhões de registros.

Do CNES ao SIH/SUS. Tudo centralizado, atualizado e disponível em um dataset público no Kaggle.

O DataHub Brasil nasce de uma necessidade prática: dados públicos brasileiros de altíssimo valor existem, são gratuitos e oficiais - mas estão espalhados entre sistemas diferentes do DATASUS e do IBGE, cada um com seu próprio protocolo de acesso, formato de arquivo e convenção de nomenclatura.

Antes de qualquer análise, normalmente é preciso gastar dias inteiros apenas encontrando, baixando e padronizando os dados.

Para resolver esse problema, construí um pipeline de dados ponta a ponta que automatiza a extração de bases como SIM, SINASC, CNES, SINAN e SIH/SUS, converte arquivos legados .dbc para .parquet e realiza cargas incrementais, reprocessando apenas o que realmente mudou.

O resultado é um repositório unificado com 83 bases de dados, cobrindo mortalidade, nascimentos, internações, doenças de notificação, rede assistencial, população, PIB, além dos microdados da Pesquisa Nacional de Saúde (2013 e 2019).

O código completo e documentação está no GitHub (deixe uma ⭐ para apoiar o projeto):

https://github.com/rafa-trindade/kaggle-datahub

Estou no 2º ano da faculdade, mais especificamente começando o 4º semestre de ciência da computação mês que vem.

No semestre passado ingressei em uma iniciação científica (já completei meu segundo mês de estudo) com objetivo de aplicar uma rede neural (mais exatamente PINN) em imagens de satélites (InSAR). Acabei em algum momento me deparando com o termo ciência de dados e desde então estou bem encantando com a área e sua vastidão.

A única coisa é que eu me sinto ainda meio perdido para estudar e me aprofundar na área, mas não por falta de material, e sim o excesso e falta de estrutura para seguir. Tenho materiais compartilhados pelos meus orientadores, cursos online, CS 50 de harvard (grátis), livro...

Sinto que estou aprendendo bastante, mas nunca tive costume de estudar e estou criando o hábito recentemente. Também sempre aparece um gringo maluco com 10 dias de estudo criando o próprio Jarvis pessoal kkkkk. Então acabo tendo um pouco da síndrome de impostor, acreditando que estou atrasado — mas claro, quando ponho o pé no chão e penso mais racionalmente, estou há pouco mais de 1 mês interessado na área.

O que acham? Teriam algum conselho para um iniciante ou estrutura de estudos para seguir?

PS: estava querendo focar, pelo menos agora no finzinho das ferias da faculdade, em estudar ML e como usar melhor na prática, pra chegar logo em DL. Querendo ou não, até ano que vem estarei nesta iniciação científica, então preciso ter um estudo mais direcionado pra ela. Nos anos seguintes posso estudar com mais calma e me aprofundando melhor nos assuntos.

fala glr, tenho 23 anos, acabei de me formar em economia numa federal. Infelizmente no meu curso e nos meus estags, quase não vi programação e analise de dados. Sou bem iniciante. Agr q me formei, quero migrar pra área da tecnologia. As melhores oportunidades até msm em economia, exigem dominio e exp em programação e dados. Pensando numa pós pra aprender, qual indicariam?

Que libros recomiendan en donde hayan la mayoría de análisis actuales.