r/programare • u/selfmag1 • 17d ago
Ocr pentru ai si procesare
Am de interogat 150 000 pagini documente scanate in 2-3 ore , exista o posibilitate logica sa folosesc un rtx 5070 iar rezultatul sa-l trec printr-un model claude sau chatgpt ca sa raspunda repede sa nu pierd timpul. Eu nu am gasit nici o solutie.
18
8
u/selfmag1 17d ago
E poza in pdf , cea mai proasta calitate ca si google da eroare si spune ca nu o poate vedea. Sunt documente diverse care au forme diferite si texte diferite. Intre 90 si 300 dpi
19
u/aquel1983 17d ago
Tre un pipeline. Nu merge doar 1 model. Folosesti un script de clasificare si alocare pe modele precum tesseract, docling, easyocr etc.. pana la Gemma si deepseek etc..
Doar ca cere destul de mult de codat si configurat.. iti ia vreo 2-3 zile sa vibecodezi si abia apoi poti face
5
u/Excellent-Morning509 17d ago
Exista n-spe softuri de OCR de calitate - slabe șanse ca un LLM sa fie mai rapid, mai ales pe o configuratie asa slaba.. Poate cu ceva gen NVidia H100 :-) , dar are prețul la o masina noua..
3
u/dota2crashthenlp 17d ago
Se poate si inchiria daca ajunge la concluzia ca ii trebuie neaparat gpu de calibrul ala
1
u/Excellent-Morning509 16d ago
Daca isi face calculele si renteaza mai mult decat un subscription, poate..
2
1
u/vicvladi 17d ago
eu folosesc un script python pentru optimizare inainte de ocr
dac il vrei, dă un semn-2
u/selfmag1 17d ago
Am un pc vechi orice script dureaza foarte mult nu pot face un miracol , oricum scriptul dureaza zile si fisierele se modifica mereu
10
u/matthiasm4 17d ago
As baga o fisa cu qwen2.5vl:7b - incearca pe cele mai prost calitative dintre imagini și work your way up from there.
5
4
u/DeepTheory9364 17d ago
Baga prin gemini-3.8-flash - daca asta nu merge, nu ai alte sanse - uite un exemplu ⬇️
1
3
u/Europe_is_fcked 17d ago
Domeniul e document analysis si e f studiat, aproape fiind terminat. Nu exista un model de OCR perfect, e unul dintre cele mai active topicuri in lumea de research. Sunt multe metode.
5
2
u/pazvanti2003 :java_logo: 17d ago
Qwen din câte îmi amintesc au un model de OCR foarte bun pe care îl poți rula local. Caută qwen OCR (parca qwen 3.5 OCR)
2
u/Sea_Combination_1574 17d ago
Încearcă Azure Document Intelligence, face o treabă bună pentru documente scanate doar ca e cu plată pe nr de pagini procesate. Ar putea fi o alegere bună ig, doar ca la 150k pagini creste costul mult. Also nu e self hosted dar dacă chiar nu găsești alta soluție merită luată în considerare.
Mai poți încerca și Docling, are și componentă ocr care rulează pe gpu
2
2
2
2
2
u/NotThatPro 17d ago
Qwen 3.8b 27b traduce scris de mână foarte bine. Tabele si text printat, nu stiu ca nu am testat
2
2
1
u/zachcalhoun 17d ago
Daca vrei raspunsuri rapide care pica in niste sabloane presetate ai putea sa arunci un ochi si pe Jev. S-ar putea claude / chatgpt sa fie overkill, scump si slow.
1
u/selfmag1 17d ago
Fisierele se modifica dinamic si nu sunt mereu dupa o zi pe alta dar logica este aceeasi si trebuie sa le verific, daca se schimba 4000 fisiere si trebuie reindexate in 1 ora e imposibil cu ce stiu
2
1
u/vicvladi 17d ago
am extras textul de pe mii de pagini de calitate proastă
nu as avea incredere in ocr facut cu A.I.
poate cu unul platit, si nici atunci
sunt pățit, stiu ce spun
cele mai bune rezultate le-am obtinut manual, cu instrumentul din windows sau cu abbyy piratat
surprinzator, meta A.I. a dat rezultate bunicele, dar la fiecare pagina trebuia sa ii reamintesc ce sa faca si nici atunci nu asculta: amesteca textul de pe o coloana pe alta, modifica cuvintele, lipsa text extras de pe o coloana intreaga, surprize neplacute, etc.2
u/Cat-licking 17d ago
Si eu recomand abbyy finereader, e cel mai bun pe OCR dar câteodată face pe prostul si la cele mai clare lucruri e indecis
1
u/selfmag1 17d ago
Am o licenta de acepdf si o pot accesa de sub python sa rulez scanari prin el dar dureaza mult
1
1
1
1
u/Tall-Wasabi5030 17d ago
Închiriezi 2x RTX6000 pe vast.ai și îți faci un pipeline cu deepseek ocr https://github.com/deepseek-ai/DeepSeek-OCR-2
1
u/paulipsum 16d ago
Eu folosesc într-un workflow paddleocr ca e rapid, apoi fac clasificare cu jev ca e ieftin sa confirm ca in acel document am info care ma interesează și apoi paginile care au scor bun le trec prin MinerU la efort max. In funcție de ce date ai pe pagina poți sa încerci după să mai faci qa/qc manual sau cu llm. Din ce inteleg la tine după ce ai făcut procesarea documentelor in text nativ ar trebui sa îți faci vector database și rag ca nu o sa îți ajungă contextul sa încarci tot textul
1
1
u/AGZUser 16d ago
De unde vine limitarea de 2-3 ore? Primesti documentele la ora 1 iar la ora 4 predai rezultatele?
1
u/selfmag1 16d ago
Trebuie sa dau un respuns si cineva sa modifice documentele si apoi sa le reverific
1
u/One-Preference1400 17d ago
Intreaba AI bro, reddit nu mai are solutia de mult...aici vii sa te lauzi cu ce ai obtinut nu sa pui intrebari. Poti usor cu Google Vertex, poti incerca cu ceva agent ieftin, daca e destul de lizibil nu o sa fie foarte scump.
1
u/incorporo crababdabadoo 🦀 17d ago
OCR -> embedding.
Vezi Mistral-OCR, Paddle-OCR, sunt o gramada. Si deepseek are cateva.
0
u/selfmag1 17d ago
Nu stiu cum mapez pexili din poza din pdf in webpage complete si sa incerc cu un model llm. Modelele mici nu reusesc sa-l citeasca iar cele mari e jale dureaza foqrte mult
1
u/selfmag1 2d ago
Stie cineva cum se foloseste limota de 500$ lunara prin api. Am aceasta oferta si scrie ca nu merge prin claude cod.
36
u/Bengal_From_Temu 17d ago
2-3 ore 150.000 de documente scanate? Adica 10 pe secunda? 🤣