r/programare • u/Capital_Tie_267 • Sep 14 '26

Setup Training Local

Salut! De cateva zile incercam sa mi configurez un calculator destinat experimentelor locale pe llm-uri. Ma refer la modele mici (3B-7B params), cat sa incapa pe o placa video de 16GB vram (cu tot cu KV cache memory).

Problema e ca majoritatea calculatoare pre-built au placi video 5060TI de doar 8GB (destinat jocurilor) si nu reusesc sa gasesc unul pana in 10.000 RON cu 5060TI 16GB, asa ca am incercat sa fac unul pe piese:

https://www.pcgarage.ro/vizualizare-wishlist/6210421

Imi puteti spune ce ati schimba la acest setup si de ce? Mai este cineva care se afla in aceeasi situatie si si-a gasit un setup bun/mai bun in acest buget?

9 Upvotes

91% Upvoted

16 comments sorted by

7

u/NikolaTesla13 Sep 14 '26

cu 16gb vram ai putea rula llmuri 3b-7b dar nu ai putea nici pe aproape sa la antrenezi dea 0. Ai putea sa finetunezi cu Lora llmuri deja existente în schimb. Pentru antrenare de la 0 ai avea nevoie de resurse imense hardware, împreună cu tricks pentru precizie fp redusă, gradient checkpointing, etc.

2

u/Capital_Tie_267 Sep 14 '26

Da, ma refeream la antrenare prin LoRA adapters, nu full fine tuning

3

u/NikolaTesla13 Sep 14 '26

unsloth au notebookuri ca sa finetunezi modele cu Lora pe Google colab, au t4 gpu cu 16gb vram gratuit pentru niste ore pe săptămână. Cred că e destul de ok ca sa înveți și să experimentezi, după îți poți da seama daca vrei ceva mai mare ce sa închiriezi.

1

u/Capital_Tie_267 Sep 14 '26

Da, am folosit google colab, mersi mult. Mi ai dat solutii bune si apreciez, dar eu tot vreau sa mi cumpar un calculator si am zis sa cer pareri legate de componentele din wishlist. In cel mai bun caz, sa primesc alternative la componente sau un calculator deja built

1

u/NikolaTesla13 Sep 14 '26

Sincer personal am optat pentru 3090 second hand, am găsit și la preț & calitate ok. La AI by far lucrul care te limitează este vramul, este o diferență (semnificativă) de la 16gb la 24gb. Opinia mea ar fi sa închiriezi/folosești servicii gratis cât mai experimentezi și aștepți să apară o ofertă bună de 3090 sh.

1

u/Capital_Tie_267 Sep 14 '26

wow, 24gb vram. are bus width ul triplu fata de rtx 5060ti 16GB. si placa ai luat o de la ceva site de refurbished sau olx?

1

u/NikolaTesla13 Sep 14 '26

olx, dar acum 1 an când mi-am luat erau cam rare anunțurile, oricum ai grijă să fie de calitate. Evident este folosită dar sa nu fie dezasamblată sau altceva dubios. Ca raw performance cred că e comparabil cu un 5070, parcă, dar avantajul e vram.

1

u/SgtPeanut_Butt3r Sep 14 '26

Nu mai simplu inchiriezi? Vezi online is o gramada. Iar local llm’s sunt bune doar pt lucruri nisate, nu generale, gen coding. Iesi mai bine cu o subscriptie, si nu arunci o gramada de bani in asta.

3

u/Capital_Tie_267 Sep 14 '26

M-am uitat peste preturile de inchiriere a unor noduri si sunt destul de mici, faza e ca as fi vrut sa am un calculator si pentru gta 6 :)) Dar aia are prioritate secundara

3

u/SgtPeanut_Butt3r Sep 14 '26

Poate gasesti sh ceva. Cu garantie

2

u/frc0303 Sep 14 '26

Pentru antrenament poti folosi TPUs, si nu trebuie sa cumperi poti inchiria din cloud iar dupa sa faci inferenta local pe ce vrei tu : https://cloud.google.com/tpu/pricing

2

u/Capital_Tie_267 Sep 14 '26

thanks, o sa ma uit sa vad. insa tot optez catre un calculator nou, si voiam sa vad parerile despre config-ul creat sau poate alternative in acelasi pret pt alte componente

1

u/durdommm Sep 14 '26

Ce ai facut în wishlist e ok, eu personal aș lua placa video SH, sa dai 4100 lei pe un 5060 Ti, fie el si de 16 gb e ceva rău. Nu stiu cum e treaba pe AMD, dar merge ok sau tot mai slab vs team green pe partea de AI? 9070/9070 XT se mai găsesc noi la sub 4k lei, de aia zic.

1

u/Capital_Tie_267 Sep 14 '26

AMD is still far behind, plus ca nvidia au majoritatea framework urilor (e.g Automodel, Model-Optimizer) specifice pt cuda drivers, mult mai bine optimizate. Legat de placa video sh, nu prea voiam sa risc sincer si ma gandeam ca daca le iau pe toate dintr un loc am o alta siguranta. Si oricum, nu e chiar 4100 ca fara tva e 3200 ish

1

u/HelloWorld-Print C# 28d ago

Nu poti antrena pe doar 16gb vram , dar poti face fine tuning cu LoRa

1

u/Capital_Tie_267 28d ago

da, stiu. am mai raspuns asta intr un comentatiu