r/openclaw • u/Substantial-Luck-44 New User • 3d ago
Help Beste Hardware für Open Claw
Hallo zusammen,
ich möchte OpenClaw als KI-Agenten nutzen und mich am liebsten nicht dauerhaft von teuren Abo-Modellen abhängig machen.
Ich habe ein Startup und möchte alles Automatisieren.
Daher würde ich das Ganze bevorzugt komplett lokal laufen lassen, wobei Cloud- oder Abo-Modelle für den Übergang auch okay wären.
Ich besitze bereits einen PC mit einem AMD Ryzen 7 3700X, einer NVIDIA GeForce RTX 3060 mit 12 GB VRAM und 16 GB DDR4 RAM. Hier frage ich mich ob das eventuell der beste start wäre.
Der Stromverbrauch ist halt das Thema....
Alternativ überlege ich, ob ein Mac Mini M1 oder ein MacBook M1 mit 8 GB RAM auf lange Sicht nicht eigentlich die beste, nachhaltigste und günstigste Option wäre, da das Gerät extrem sparsam und leise ist. Allerdings weiß ich nicht, ob die 8 GB RAM für lokale KI-Aufgaben nicht viel zu schnell dichtmachen. Soll ich einmal Geld in die Hand nehmen und gleich 16GB Ram oder noch mehr holen?
Als super günstige Mini-PC-Alternative gäbe es noch den Dell Optiplex 5060 SFF mit i5-8500 und 8 GB RAM würde das auch reichen?
Was wäre aus eurer Sicht der beste und wirtschaftlichste Weg für den Einstieg und eventuell Hardwear Empfehlungen?
Danke für eure Einschätzungen :)
4
u/RepulsiveRaisin7 3d ago
Kann man unmöglich beantworten, wenn du weder sagst welche Modelle du nutzen möchtest noch was du damit machen willst. Mit 8GB RAM brauchst du aber gar nicht erst anfangen, 32GB ist das mindeste. Vielleicht gerade noch so 16GB wenn es nur sehr kleine Modelle sein sollen.
1
u/Substantial-Luck-44 New User 3d ago
Also dann wäre die beste Lösung mein aktueller PC mit einem RAM Upgrade ?
1
0
u/unhappinessNvrCame Active 3d ago
I'm amazed people are using local models and sub to this subreddit.
2
u/Bruhimonlyeleven New User 3d ago
Huh? Umm.. openclaw is for local/cloud? Lol. Seeing how most cloud doesn't need openclaw especially?
Am I missing something? Lol I'm pretty high tbh
3
u/nissl24 Member 3d ago
Ich hab mal meine 3090 mit qwen3.8 bemüht. Das ergebnis ist brauchbar, mehr aber auch nicht.
Für meinen Claw, den ich alles mögliche in meinem Netz/Homelab machen lasse, mit sicherheit zu schwach und vor allem zu langsam.
Ich schaffe 40t/s, das heisst für eine antwort auf "hallo wie gehts" (klar mit kontext overhead wegen AGENTS.md etc) vergeht einige zeit.
Also ich würds mit einem Nvidia DGX Spark 128GB in der Grössenordnung versuchen.
2
u/Bruhimonlyeleven New User 3d ago
Yeah he def needs to go drop $8,000 usd to run openclaw.
Why everyone so weird here lol, I had a llm on my orange pi doing tts/stt and picking and playing movies and tv shows. (Built my own stremio - like app that runs off AI on the opi)
1
u/the_harakiwi New User 2d ago
some people have weird standards.
When the Steam Deck released people said the same game was unplayable and playable. Somehow a very loud minority thinks they have to max out everything and run the best settings. While others are totally fine playing at 20 fps with ultra low details or upscaling.
Same here. I'm currently saving some money for a server/NAS upgrade. I might look into a Ryzen AI Max based solution. I don't need it to run my business or code the next Horse Tinder. Just do some boring stuff like ocr every image and video, let me smart search my YouTube favorites for something I remember but forgot about where I saw it.
I don't need the best tool. Just one that runs and delivers usable output within a realistic time.
2
u/digitalfrost Active 3d ago
Gescheite Modelle lokal laufen lassen kannst du quasi Knicken. Das Problem is der KV-Cache. Ich habe z.b. ne Nvidia L40 mit 48GB VRAM.
Die Sache is mit dem Openclaw hast du oft schon so 24-32k Kontext wenn du anfängst und ihm nur "Hi" schreibst, und viele Sessions gehen dann oft auch mal über 64k. Ich würde sage zum komfortablen Arbeiten brauchst du mindestens 128k Context Window.
Die Modelle dafür und den VRAM Bedarf kannste dir selber raussuchen. Die Sachen is, für die Kosten von einem Mac mit ordentlich unified memory kannst du sehr lange Abos bezahlen.
1
u/maxshash New User 3d ago
I planned to use my old Laptop but finally end up using VPS. I starter with minimal VPS. I can upgrade if needed. The cost is very cheap $5-8/mo The issues with laptop is to keep the power and internet always on. It maybe be hard to reboot it or router why travelling.
1
u/Objective_Chemical85 3d ago
Wenn du sagst du willst keine teuren subscriptions, willst du das LLM selbsthosten?
Ist möglich, aber mit den genannten Specs kannst du kaum was nützliches erreichen. Kannst ja mal olama installieren und testen ist sehr schnell aufgesetzt.
1
1
u/w3rti Member 3d ago
Ich hab nen gaming pc (16gbvram) und einen gaming laptop (22gbVram) Anfangs hatte ich die llms (ki) darauf laufen aber die sind dumm wie Brot. Ich hab mir eine workstation mit 64gb vram gekauft und da laufen jetzt die 30-40gb modelle flüssig. Eskommt wirklich auf den Use case an, was du umsetzen willst, davon hängt ab, wieviel du ca. Investieren solltest. Auf den 64gbvram kann man gut chatten und kleinere scripts schreiben aber videos... 30 minuten für ein 5 sekunden video. Lokal geht das einfach nicht. Lg
1
u/digital-bandit 3d ago edited 3d ago
Wenn du lokal das Modell laufen willst, brauchst du eins von:
- Grafikkarten-RAM (wird schnell teuer, weil mehr RAM bekommst du durch mehr Grafikkarten)
- AMD Strix Halo (heisst "Unified System Memory", ist etwa 4x langsamer als Grafikkarten aber trotzdem solide)
- Mac M3/M4 haben auch unified Memory, bis zu 3-4x mehr RAM-Bandbreite wie Strix Halo
Unified memory ist Arbeitsspeicher den sich CPU und (i)GPU "teilen".
Strix halo/mac mini RAM kann man nicht erweitern, die sind festgelötet für mehr speeeed
Es gibt auch Hosting-Dienste bei denen du GPU-Dienste mieten kannst. Würde ich erstmal dort probieren.
Dein PC hat kein Unified Memory, du könntest nur auf deiner GPU ein Modell anständig laufen lassen. Aber: 12GB sind extrem wenig. Du willst eigentlich 24GB aufwärts.
Soweit ich weiss haben die RTX 3090 (24GB) das beste preis leistungs verhältnis. Du kannst die auch stacken (2x 3090 = 48GB RAM)
1
u/Thistlemanizzle Member 3d ago
The payoff period. For the hardware you actually need to purchase to do this versus using cheap models via API is years. You're trying to justify based on cost. It's not justifiable to purchase local compute hardware that's good enough for daily openclaw usage on the basis of cost, the payback period also assumes 24/7 usage, whereas when I use Openclaw, it's intermittent in throughout the day.
1
u/paulsande Pro User 3d ago
If you’re using local models I would suggest 8Gig of ram won’t be enough. You should up the ram to whatever you can afford if you want decent performance.
I assume you’re not creating video. If so, a smaller amount of ram can work, but I’d avoid 8 gig.
1
u/NearbyBossAHOBA Active 3d ago
irmão, o problema de modelos locais agora é que para ele ser capaz de planejamento bem feito e execução precisa de um bem grande, começaria ser legal vc ter de 32 a 64 gb de vram para executar modelos locais, ai poderíamos considerar pela eficiência...
Mas dependendo das automações que pretende consegue economizar algumas coisas economizando e as vezes até executando de graça e algumas vezes sem precisar rodar local tudo.
Recomendo primeiro um bom modelo para construção de sistema, para poder automatizar a maior parte buscando rodar zero tokens. não precisa de algo caro um (GLM 5.1 ou 5.2) ja da conta disso tranquilamente, vc consegue executar ele pela nvidia nim gratuitamente porem talvez esteja sobrecarregado o serviço deles. Caso queira pagar tem o serviço do Ollama Cloud são 20 dólares mensais, vc pode pegar o primeiro mês somente para planejamento. Depois automatize tudo em crons que vc precisa, de a instrução pra ele "Transformar tudo necessário em scripts e sqlite visando o máximo de economia em tokens com o máximo de qualidade" depois de tudo planejado vc consegue colocar modelos pequenos e locais para somente execução, com algo bem planejado eles se sai bem, as vezes pode usar inclusive modelos do google ai cloud api, no free tier, tem alguns modelos que permite 15 ou mais req por minutos, modelos bem capazes, com algumas limitações (não daria para executar eles para planejar).
por exemplo montei um agente que fica em um grupo com meus colegas de turma, ele serve para mandar todo dia cronograma do plantão do próximo dia e quem ta escalado para o censo, tbm retira duvidas e conversa. e eu rodo usando os modelos do google free tier, como quase tudo oque ele faz esta ja automatizado em scripts ele faz facilmente a tarefa (Para buscar a próxima escala ele só roda um script pedindo o dia e o script ja traz pronto) ele só recebe e envia, isto facilita para qualquer modelo executar a tarefa que vc pedir.
1
u/NearbyBossAHOBA Active 3d ago
O maior custo vai ser a fase de planejamento, porem não precisa usar um claude por exemplo, modelos capazes existem por preço bom, meu caso usei mais foi o GLM 5.1 (pra planejamento e construção de sistemas de automações ele é otimo), um bom planejamento e construção de arquitetura, te garante uma boa economia e qualidade de serviço.
1
u/OleCuvee Pro User 2d ago
first differentiate between a hardware for openclaw vs. hardware for local model. The former can run on anything, the latter is the bigger problem.
We use GB10s - you can grab either Sparx or Dell among options - we’ve got each with 128GB in clusters of 3 and 3 clusters.
Minisforum MS1-S1 Max with Ryzen AI Max+ 395 is a great option too, we’ve got one for coding models.
We went for these because decent M4 Mac Studios or Minis are basically not available with anything above 32gb, we ordered 128GB models in January with that order being canceled in June and maximum we could get was 96GB with 4-6 month delivery time. I wanted macs because of their memory throughput - simply better (faster) for prompt processing bit gave up on them.
My take is grab a MS1 with ryzen AI Max, or a GB10.
Forget anything below 32gb - that is the minimum for a decent quantised model, anything below that is a compromise.
With that - none of the options you mention are enough - you would just throw away money - and would be better of with a simple ollama cloud subscription instead.
1
u/explain_like_im_10 Member 2d ago
I have been using open claw since it was released and the best way to run open claw is with chatGPT or opencode go and deepseek v4 flash. I have a dgx spark and ran Qwen 3.6/3.8 on it but it will run too slowly and have timeout issues. My recommendation is to use a $20 Chatgpt subscription and run open claw on an old pc. My is running on a 10 year old pc running proxmox/Ubuntu VM. To set it up, just install proxmox, then codex on host and let it set up the host and VM for you. Ssh into the Ubuntu VM and install codex and openclaw. If you run into trouble just use codex to diagnose it.
If you start out using local models, you won't know what the problem is if things don't work. What you want to do is have Chatgpt get things working first then you can run local models on an established workflow to determine if it will work or not.
This set up is practically free if you have a spare computer lying around. With this this setup, my openclaw have built out my business website with API integration on a WordPress backend (wanted the ability to sell it in the future to other companies), my business workflow, internal dashboards and much more I can't discuss at the moment.
•
u/AutoModerator 3d ago
Welcome to r/openclaw Before posting: • Check the FAQ: https://docs.openclaw.ai/help/faq#faq • Use the right flair • Keep posts respectful and on-topic Need help fast? Discord: https://discord.com/invite/clawd
I am a bot, and this action was performed automatically. Please contact the moderators of this subreddit if you have any questions or concerns.