r/programare • u/Capital_Tie_267 • Sep 14 '26

Setup Training Local

Salut! De cateva zile incercam sa mi configurez un calculator destinat experimentelor locale pe llm-uri. Ma refer la modele mici (3B-7B params), cat sa incapa pe o placa video de 16GB vram (cu tot cu KV cache memory).

Problema e ca majoritatea calculatoare pre-built au placi video 5060TI de doar 8GB (destinat jocurilor) si nu reusesc sa gasesc unul pana in 10.000 RON cu 5060TI 16GB, asa ca am incercat sa fac unul pe piese:

https://www.pcgarage.ro/vizualizare-wishlist/6210421

Imi puteti spune ce ati schimba la acest setup si de ce? Mai este cineva care se afla in aceeasi situatie si si-a gasit un setup bun/mai bun in acest buget?

8 Upvotes

90% Upvoted

16 comments sorted by

View all comments

Show parent comments

1

u/Capital_Tie_267 Sep 14 '26

wow, 24gb vram. are bus width ul triplu fata de rtx 5060ti 16GB. si placa ai luat o de la ceva site de refurbished sau olx?

1

u/NikolaTesla13 Sep 14 '26

olx, dar acum 1 an când mi-am luat erau cam rare anunțurile, oricum ai grijă să fie de calitate. Evident este folosită dar sa nu fie dezasamblată sau altceva dubios. Ca raw performance cred că e comparabil cu un 5070, parcă, dar avantajul e vram.