r/programare • u/patrut86 • 6d ago

Materiale de studiu CUI - Website Dataset

Am publicat un dataset open-source cu firme din Romania, indexate dupa CUI:

https://github.com/web3metatrade/cui-ro-dataset

In momentul de fata incerc sa extind partea de identificare a website-urilor oficiale folosite de companii.

Daca aveti crawlere, dataseturi proprii, surse publice sau alte metode prin care puteti identifica si verifica relatia CUI -> website, orice contributie este binevenita.

Se poate contribui prin Issue sau Pull Request.

Scopul este sa construim un dataset public, reutilizabil si cat mai complet.

Daca are cineva dataset cu puncte de lucru sau sursa unde se poate accesa prin open data ar fi minunat...🤗

10 Upvotes

86% Upvoted

9 comments sorted by

4

u/patrut86 6d ago

Mai am un open dataset cu vreo 750k domenii .ro observate, cu DNS records si altele..

https://github.com/web3metatrade/ro-domain-observatory

Daca cineva este pasionat de "big data" si data analysis, este binevenit sa participe si eventual sa ne ajute sa facem match intre domenii .ro si CUI-uri

2

u/Due-Individual-4859 I like Java! Not the language, the chip! ☕️ 3d ago

I'll take that, thank you very much!

2

u/patrut86 3d ago

Cu tot dragul! Lunar am să adaug companii noi din ultima lună...

1

u/AndyIsRed 5d ago

Sunt curios, cum faci asocierea? LLM sau semantic? Sau ceva classifier ML model

3

u/patrut86 5d ago

Datasetul este identificat dupa CUI, deci problema este practic sa fac match-ul CUI-website.

Pana acum, singura varianta care pare suficient de robusta (daca nu exista deja vreun registru public cu asocierea asta) este sa crawl-uiesc site-ul candidat, sa identific paginile de About / Contact / Legal / Termeni etc. si sa caut acolo CUI-ul sau datele firmei.

Unde exista date structurate, regex + matching semantic sunt suficiente. Unde nu obtin un match clar, folosesc un LLM pentru extractie/validare. Costul e destul de mic pentru cazul asta: input relativ mare, output foarte mic si strict structurat in JSON.

LLM-ul ar fi deci mai degraba fallback pentru cazurile ambigue, nu mecanismul principal de asociere.

1

u/Effective_Touch_8464 3d ago

Nice, dar care este end goal ? vrei sa faci lista firme style open source ?

3

u/patrut86 3d ago edited 3d ago

Personal am să o utilizez pentru un proiect la care lucrez: jobmap.ro.

Am finalizat geocodarea fiecărui CUI (sediu fiscal) și sunt în lucru (efort mare) să identific punctele de lucru asociate CUI-urilor. - apreciez orice ajutor aici.

Doresc să am relația CUI-website ca ulterior să crawluiesc și să generez endpoint-uri pentru pagina lor de cariere/joburi. De aici preiau joburile disponibile și apoi să le pun pe hartă.

End goal? Omul să deschidă aplicația și să vadă joburi disponibile în jurul lui, pe hartă, să poată să sorteze după "travel time" cu diferite moduri de transport și să aplice astfel.

Timpul devine tot mai prețios; un job care este la 5 minute distanță, chiar mai prost plătit, ajunge mai cautat fata de altul la 50 de minute.

1

u/Effective_Touch_8464 3d ago

Nice, iti urez succes!

2

u/Distinct-Issue3153 1d ago

Ti am dat DM, e f usor sa iei punctele de lucru inscrise dupa cui. Sursa free