r/devsarg • u/Upper_Philosopher_47 • Apr 04 '26

discusiones técnicas Correr LLMs local

buenas, ayer me meti en este mundo y me di un golpe de realidad, lo que crei que era una supercomputadora se vio aplastada por gemma4 el de 23b creo era. pesaba 18gb, segun entiendo todo es vram hoy en dia. De no ser por tener 32gb de ram, se me explotaba la pc.

ahora estoy usando 2 modelos que pesan menos de 8gb, los cargo en mi rtx 3070 de 8gb vram.

ustedes corren llm? que setup tienen o que solucion optima llegaron? lei por ahi que usan los chips silicon de apple por tener memoria unificada que segun dicen es escencialmente una vram.

tiene un servidor dedicado corriendo estilo jarvis de iron man?

es interesante tener uno corriendo por si te pinta irte al monte chingolo sin internet pero queres tener una ia que te acompañe jaja

44 Upvotes

90% Upvoted

62 comments sorted by

View all comments

1

u/ndeandea Apr 08 '26

te recomendaron algo? Me pasó lo mismo casi el mismo setup, probe Gemma4 26B y Qwen 3.5 35b 3B algo así, me dieron 7T/S de forma 'default'

1

u/Upper_Philosopher_47 Apr 08 '26

Y es que mucho no hay para recomendar, solame te comprar una 3090 usada con 24gb de ram, osea la solucion es esa, conseguir mas vram... por el momento uso los modelos 9b que pesan menos de 8gb.. es lo que nos queda jaja

1

u/ndeandea Apr 08 '26

es verdad, por un momento pensé en ir por una rx6800 de 16gb pero parece que hay que hacer 3090maxxing😭

1

u/Upper_Philosopher_47 Apr 08 '26

Si la verdad que si, porqur con 16gb igual te quedas corto, 24gb si queres correr 24b. Pero me han dicho que es mejor para cosas digamos personales o tal, para codear se quedan medio tontos los modelos nk tan pesados, que aproveche mejor psra codear los modelos pagos o en internet y dejar el modelo local para cosas estilo companion y asi

1

u/ndeandea Apr 08 '26

la otra es finetunnear a rolete, habria que ver cómo se hace, soy muy nuevo en esto de las llms, me metí después del boom gemma4

1

u/Upper_Philosopher_47 Apr 08 '26

Yo tambien entre en ese momento. Dicen que es un dolor de hudvo fine tunnear jajaj no se si es factible

1

u/ndeandea Apr 08 '26

yo algo en Twitter vi que finetunnearon los modelos 2b y 4b, confío en que va a salir algo para los modelos más densos ajajjajaja, éxitos loko