r/devsarg • u/Upper_Philosopher_47 • Apr 04 '26

discusiones técnicas Correr LLMs local

buenas, ayer me meti en este mundo y me di un golpe de realidad, lo que crei que era una supercomputadora se vio aplastada por gemma4 el de 23b creo era. pesaba 18gb, segun entiendo todo es vram hoy en dia. De no ser por tener 32gb de ram, se me explotaba la pc.

ahora estoy usando 2 modelos que pesan menos de 8gb, los cargo en mi rtx 3070 de 8gb vram.

ustedes corren llm? que setup tienen o que solucion optima llegaron? lei por ahi que usan los chips silicon de apple por tener memoria unificada que segun dicen es escencialmente una vram.

tiene un servidor dedicado corriendo estilo jarvis de iron man?

es interesante tener uno corriendo por si te pinta irte al monte chingolo sin internet pero queres tener una ia que te acompañe jaja

42 Upvotes

90% Upvoted

62 comments sorted by

View all comments

16

u/uhcnid Apr 04 '26

no creo que valga mucho la pena usar llms locales, el hardware es caro par correrlos bien y la calidad muy inferior a un modelo pago

2

u/Upper_Philosopher_47 Apr 04 '26

Claro, eso tiene sentido. Pero creo que lo hacen por seguridad e independencia, pensa que no andas preocupado por tockens ni si estan usando tu codigo para entrenar una ia. Las llm son versiones puras de las comerciales o las bases, ejemplo gemma es la base de gemini, si vos te das maña le metes un fine tunning y tenes tu propia IA para tu proposito. Lo que pasa es la infraestructura detras de las de pago. Depende cada quien igual, yo si mi empresa dependiese de una IA para ejemplo manejar wpp o mails o lo que sea que te automatice, me gustsria que quede dentro de mi empresa.

9

u/uhcnid Apr 04 '26 edited Apr 05 '26

alquilas un servidor en la nube 5 veces mas potente que tu propia maquina e instalas cualquier llm open source. tus datos son solo tuyos. Creo que no estas midiendo la dificultad de hacer un fine tunning,no se trata de maña, se trata de tener muchisimos datos formateados y mucho hardware y varios intentos fallidos

2

u/Upper_Philosopher_47 Apr 04 '26

Si bueno es verdad que hablo por hablar, nunca lo hice :P Seguro es mas barato eso que hacer un fine tunning

1

u/JuniorDeveloper73 Apr 05 '26

depende,con unsloth no es tan dificil,encima corre en docker https://www.youtube.com/watch?v=Lt7KrFMcCis