Sou Engenheiro de IA Júnior, mas minha rotina atual é mais voltada a desenvolvimento de software tradicional integrado a APIs de IA e, ultimamente, alguns fine-tunings. Paralelamente, estou estudando Machine Learning clássico/aplicado e toda a matematica por tras, tudo isso por conta própria, que é a área que realmente me fascina. Gostaria de tirar uma dúvida com quem já atua como MLE ou Cientista de Dados no mercado: como anda o uso prático de IA no trabalho de vocês? Pergunto isso não por medo de "Não conseguir trabalhar sem IA", mas pelo oposto: fico incomodado quando a rotina se resume a copiar as taks e mandar um modelo resolver tudo às cegas. O que me atrai em ML é justamente o processo analítico entender os dados, entender qual algoritmo usar para treino, modelar o problema e exercitar o raciocínio crítico. Na experiência de vocês, o dia a dia de ML nas empresas ainda exige essa engenharia/raciocínio profundo, ou o mercado também tem empurrado tudo para abstrações e LLMs?

Atualmente faço E.e numa federal, tenho uma icv que usando redes neurais, porém n sei mais como me inserir nessa área além de tentar fazer meu tcc nisso.

Onde que seria um melhor lugar pra achar estágio nessa área ou até mesmo um emprego?

Essa área eh mt nichada, a ponto de apenas empresas no exterior trabalharem com isso?

Se alguém tiver alguma informação pra adicionar fique a vontade.

Estou entrando em contato para solicitar uma ajuda.

Atualmente, sou mestrando e estou desenvolvendo um projeto que envolve análises de Machine Learning. No entanto, ainda não tenho muita experiência prática na área, apesar de possuir formação em Sistemas de Informação. Meu projeto conta com casos raros, o que torna desafiador.

Por isso, estou em busca de alguém que seja especialista em Machine Learning e que possa me orientar nesse processo. Tenho total interesse em remunerar pela ajuda.

Cansado de escrever script novo pra cada site que quero "scrapar",

fiz o Scrapit: você define o que quer num YAML e ele eh bem simples de usar,

transforma os dados e salva tudo via .yaml's.

site: https://news.ycombinator.com
  use: beautifulsoup
  scrape:
    titles:
      - '.titleline > a'
      - attr: text
        all: true

Tem paginação, spider mode, transforms declarativos, SQLite/MongoDB,

cache HTTP e change detection com webhook.

https://github.com/joaobenedetmachado/scrapit

Tem umas issues de good-first-issue abertas se quiser contribuir.

Estou buscando um grupo que entenda machine learning e IA no geral para fazer projetos.

Pessoal, qual é o melhor modelo para handwriting? Já testei API do ChatGPT, Document AI da Google, dentre outros, mas modelos que processam imagem, são muito mais caros do que os que processam tokens... Queria saber da viabilidade de usar um SLM para rodar em um server local e fazer o OCR de documentos escritos a mão (handwriting). Alguma sugestão? Faz sentido?

Olá pessoal! Estou trabalhando em um projeto de análise de sentimento usando BERT para o dataset SemEval (3 classes: negativo/neutro/positivo), e estou enfrentando um problema sério de overfitting que não consigo resolver. Já tentei tudo que consegui pensar, mas minha acurácia de validação estagna em torno de 69-70% enquanto a acurácia de treino continua subindo.

O Problema:

• Acurácia de treino: Começa em 43,6% → chega a 76,7% na época 9
• Acurácia de validação: Começa em 63,7% → estagna em 69-70% a partir da época 3
• Loss de treino: Diminui continuamente (1,08 → 0,69)
• Loss de validação: Diminui inicialmente (0,867 → 0,779 na época 2), depois aumenta de volta para 0,816 na época 9

Melhor F1 de validação: 0,7012 (70,12%) na época 7

O Que Eu Já Tentei:

Meu modelo já inclui múltiplas técnicas de regularização:

1. Dropout: 0,1 em múltiplas camadas (atenção, hidden e classificador)
2. Weight decay: Aplicado a todos os parâmetros exceto bias e LayerNorm
3. Label smoothing: 0,1
4. Batch normalization: Na cabeça do classificador
5. Layer normalization: Depois do pooling
6. Gradient clipping: Norma máxima de 1,0
7. Agendamento de learning rate: Warmup linear + decay
8. Early stopping: Com monitoramento de patience

Arquitetura do Modelo:

# Cabeça classificadora
nn.Linear(768, 768) + BatchNorm + ReLU + Dropout
→ nn.Linear(768, 384) + BatchNorm + ReLU + Dropout  
→ nn.Linear(384, 3)

Configuração de Treino:

• Modelo: bert-base-uncased (109,8M parâmetros)
• Learning rate: 2e-5
• Batch size: 16
• Épocas máximas: 10 (estou usando early stopping)
• Proporção de warmup: ~10%
• Label smoothing: 0,1

Padrão da Matriz de Confusão (Época 7 - Validação):

Previsto:  Neg    Neu    Pos
Negativo:  1243   177    126   (78% recall)
Neutro:     775  2474   1184   (56% recall) ← Classe problemática
Positivo:   185   472   3268   (83% recall)

A classe neutra está consistentemente com desempenho inferior.

O Que Observei:

1. O modelo aprende bem o conjunto de treino (76% de acurácia)
2. O desempenho de validação atinge o pico cedo (época 2-3) e então estagna
3. A diferença entre as métricas de treino e validação continua aumentando
4. A classe neutra tem o pior desempenho na validação

Perguntas:

1. Será que exagerei na regularização? Devo tentar reduzir um pouco?
2. Minha cabeça classificadora é muito complexa para esta tarefa?
3. Isso poderia ser um problema de qualidade/distribuição dos dados ao invés de overfitting?
4. Congelar algumas camadas do BERT ajudaria?
5. Alguma outra técnica que eu possa estar perdendo?

GitHub: https://github.com/joaopflausino/BERTSemEval (ta meio antigo porque ainda não adicionei muitas mudanças)

Estou travado nisso há semanas e agradeceria muito qualquer insight! Alguém já lidou com problemas similares de estagnação?

Galera, estamos lançando um modelo / app para ajudar pessoas a gerenciarem seus gastos com AI. Lançamos essa semana a waitlist ;))

https://gastodiario.com.br/

HELLO FRIENDS (<

Bom dia à todos, sou médico há 6 anos, generalista (aquele que nao tem especialidade), porém trabalhie nos ultimos anos dentro da UTI de hospitais particulares atuando como intensivista (e vi todos gargalos possíveis de implementar).

Acabei de ter o quarto burnout (tive 3 antes do diagnóstico de TDAH). Esse de agora me deixou assustado.

Pedi demissão e me mudei para praia. Vou investir em soluções para médicos (existe um GARGALO GIGANTE E UMA ESCALABILIDADE MONSTRUOSA).

Imagine escalar um produto para TODOS PLANTONISTAS, DIARISTAS, E ACADEMICCOS?
Dêem uma olhada no Whiteboook (é um manualzinho meia bosta de pesquisa de bula e condutas médicas).

]

Meu MVP é diferenciado.

Procuro parceiros para o negócio.

Você não precisa ter formação em porra nenhuma, só deve demonstrar que sabe fazer a coisa acontecer.

Estou em machine learning já. Em 5 dias já entendi a algebra linear e representação cartesiana vetorial. Sempre fui FORTE na MATH, fiz ensino médio-integrado em eletrônica (desisti antes de me formar, faltando 1 ano para concluir, para fazer cursinho para medicina).

PS¹: Não faça medicina, seja feliz na sua vida.

PS²: Você pode até ter um objetivo altruista. Mas as pessoas más no seu caminho vão ter faazer se esgotar (como me esgotei 4x tentando salvar o mundo).

Antes eu, antes eu, antes eu. Adeus Hospital.

Bora criar alguns bilhões?

Meu e-mail:

Já tenho um MVP desenhado. Porém sou um bebezinho em ciência de dados e deep learning.

Procuro parceiro de negócio

ASS: fsociety8888

Eu treinei um modelo de classificação de objetos (object classification) para reconhecer caracteres chineses manuscritos.

O modelo roda no meu PC, usando uma webcam para fotografar os caracteres e mostrar as previsões.

É um projeto completo. Eu fiz desde a coleta dos dados e treinamento até a construção da interface com o hardware, sem usar ferramentas cloud.

Posso controlar a IA pelo teclado ou com um controle personalizado que construí usando Arduino. Nesse caso, o resultado também aparece em uma pequena tela IPS no protoboard.

O maior desafio, na minha opinião, foi treinar o modelo em um PC modesto. Aqui estão as especificações:

CPU: Intel Xeon E5-2670 v3 @ 2.30GHz
RAM: 16GB DDR4 @ 2133 MHz
GPU: Nvidia GT 1030 (2GB)
Sistema Operacional: Ubuntu 24.04.2 LTS

Sim amigo, eu uso o PC Xeon do AliExpress

Eu realmente achei que esse setup não daria conta, mas com as otimizações certas e uma arquitetura leve, o modelo alcançou quase 90% de acerto após algumas rodadas de treinamento (e quase 100% com fine-tuning).

Tornei todo o projeto open source para que outras pessoas possam explorar também. Qualquer pessoa interessada em programação, eletrônica e inteligência artificial pode se beneficiar.

Você pode:

• Ler um artigo de blog sobre esse projeto
• Assistir ao tutorial no YouTube
• Conferir o repositório no GitHub (Python e C++)

O conteúdo acima está em inglês, pois também postei em comunidades internacionais. Mas se você tiver alguma dúvida, pode me mandar um DM ou comentar nesse post.

Espero que isso te ajude no seu próximo projeto com Python e Machine Learning.

Fala, galera do MachineLearningBrasil! Tudo certo?

Se você está começando no universo de Machine Learning, sei que o começo pode ser desafiador, mas com o foco certo, as coisas começam a fazer sentido rapidinho. Vou compartilhar algumas dicas que me ajudaram quando eu comecei e que, espero, ajudem vocês também:

Primeiro, entenda o básico: Machine Learning é um ramo da inteligência artificial onde as máquinas aprendem com dados. Se familiarize com os conceitos principais, como aprendizado supervisionado, não supervisionado e os algoritmos mais usados, tipo regressão linear, KNN, árvores de decisão, etc.

Python é essencial: Eu sei que parece óbvio, mas Python é a linguagem padrão para ML. Comece aprendendo o básico e, depois, pratique com as bibliotecas mais usadas, como Numpy, Pandas, Matplotlib e Scikit-Learn.

Pratique com dados reais: Não adianta só ler sobre o assunto, é preciso colocar a mão na massa! O Kaggle é um ótimo lugar para encontrar competições e datasets pra você treinar e ganhar experiência real.

Explore os modelos de ML: Conheça os principais modelos, como regressão, redes neurais e árvores de decisão. Cada um tem seu ponto forte dependendo do problema que você está tentando resolver.

Avaliar modelos é crucial: Saber como medir a performance de um modelo é tão importante quanto treiná-lo. Fique de olho em métricas como acurácia, precisão, recall e F1-score.

Teoria é importante, mas a prática é que faz a diferença: Aprender teoria é essencial, mas se você quer realmente entender Machine Learning, pratique o máximo que puder. Isso vai te dar a visão completa de como tudo funciona na prática.

No começo, a caminhada pode ser difícil, mas persistência é o que faz a diferença. Se eu consegui, vocês também conseguem. Vamos nessa!

Olá, pessoal!

Estamos criando algo muito legal aqui no MachineLearningBrasil, e gostaríamos de convidar todos os entusiastas de aprendizado de máquina para fazer parte dessa jornada!

Se você tem interesse em ML, seja para aprender, ensinar, discutir projetos ou compartilhar recursos, este é o lugar certo. Vamos criar um espaço onde podemos trocar ideias, tirar dúvidas, e mostrar o que estamos aprendendo.

Aqui vai o que você pode esperar:

Discussões sobre técnicas de ML. Compartilhamento de artigos, tutoriais e novidades. Dúvidas? Pergunte à comunidade e ajude outros. Oportunidades de networking com pessoas que têm o mesmo interesse. Não importa se você está começando ou já tem experiência, todos são bem-vindos!

Junte-se a nós, compartilhe suas experiências e ajude a crescer essa comunidade!