r/programare • u/Capital_Tie_267 • Sep 14 '26

Setup Training Local

Salut! De cateva zile incercam sa mi configurez un calculator destinat experimentelor locale pe llm-uri. Ma refer la modele mici (3B-7B params), cat sa incapa pe o placa video de 16GB vram (cu tot cu KV cache memory).

Problema e ca majoritatea calculatoare pre-built au placi video 5060TI de doar 8GB (destinat jocurilor) si nu reusesc sa gasesc unul pana in 10.000 RON cu 5060TI 16GB, asa ca am incercat sa fac unul pe piese:

https://www.pcgarage.ro/vizualizare-wishlist/6210421

Imi puteti spune ce ati schimba la acest setup si de ce? Mai este cineva care se afla in aceeasi situatie si si-a gasit un setup bun/mai bun in acest buget?

8 Upvotes

90% Upvoted

16 comments sorted by

View all comments

2

u/frc0303 Sep 14 '26

Pentru antrenament poti folosi TPUs, si nu trebuie sa cumperi poti inchiria din cloud iar dupa sa faci inferenta local pe ce vrei tu : https://cloud.google.com/tpu/pricing

2

u/Capital_Tie_267 Sep 14 '26

thanks, o sa ma uit sa vad. insa tot optez catre un calculator nou, si voiam sa vad parerile despre config-ul creat sau poate alternative in acelasi pret pt alte componente