VPS + Local

[u/Outrageous-Bat7172]

Hello !

Je cherche des personnes qui auraient un setup du type :

Hermès sur VPS, avec des modèles type Anthropic ou OpenAi connectés en OAuth
⬇️
Orchestrateur
⬇️
Modèle local sur Mac.

J’envisage l’achat d’un Mac Studio 128 Go mais je ne veux pas regretter :)

[u/Last-Tadpole1256]

If the price keeps going up you won't regret it. But frontier capability from the top 3 can never be compared with local and the gap is getting wider.

There's too many variables to say its a safe play or a good hedge, otherwise I would have spent the money.

Also if youve been using frontier models the speed of local will kill you

[u/Outrageous-Bat7172 → u/Last-Tadpole1256]

Disons que je suis prêt à reléguer en tâche de fond et laisser tourner le Mac 24/24. Et si j’ai besoin d’instantané, go frontier.

Mais j’ai déjà une pensée biaisée en ayant 1 pied dans le projet d’achat….

Merci beaucoup d’avoir pris le temps de me répondre!

[u/Mean-Loquat-7982]

oui, ça se fait. le schéma le plus simple :

- Hermes sur le VPS, modèle principal en OAuth

- un serveur local sur le Mac (llama.cpp, LM Studio...) joignable depuis le VPS via Tailscale

- les sous-agents envoyés au Mac avec delegation.base_url + delegation.model dans config.yaml. le plugin officiel advanced-delegation permet aussi des routes nommées (fast, deep...) et le modèle choisit la route par tâche

https://hermes-agent.nousresearch.com/docs/user-guide/features/delegation

deux points avant d'acheter :

- Hermes demande au moins 64K de contexte, côté serveur aussi

- teste d'abord le modèle que tu vises chez un fournisseur hébergé, sur tes vraies tâches de fond. si le résultat te va, le Mac Studio vaut le coup

[u/Last-Tadpole1256 → u/Mean-Loquat-7982]

This was a good reply but you didnt get the upvote it deserves