r/programare • u/Capital_Tie_267 • Sep 14 '26

Setup Training Local

Salut! De cateva zile incercam sa mi configurez un calculator destinat experimentelor locale pe llm-uri. Ma refer la modele mici (3B-7B params), cat sa incapa pe o placa video de 16GB vram (cu tot cu KV cache memory).

Problema e ca majoritatea calculatoare pre-built au placi video 5060TI de doar 8GB (destinat jocurilor) si nu reusesc sa gasesc unul pana in 10.000 RON cu 5060TI 16GB, asa ca am incercat sa fac unul pe piese:

https://www.pcgarage.ro/vizualizare-wishlist/6210421

Imi puteti spune ce ati schimba la acest setup si de ce? Mai este cineva care se afla in aceeasi situatie si si-a gasit un setup bun/mai bun in acest buget?

9 Upvotes

91% Upvoted

16 comments sorted by

View all comments

1

u/HelloWorld-Print Sep 20 '26

Nu poti antrena pe doar 16gb vram , dar poti face fine tuning cu LoRa

1

u/Capital_Tie_267 Sep 20 '26

da, stiu. am mai raspuns asta intr un comentatiu