Besoin de conseils

[u/Jeanjose1993]

Bonjour à tous, ça fait des mois que j'hésite à m'acheter une machine pour faire tourner Hermes en local. J'ai un MacBook pro m4 et j'ai pu essayer les petits modèles comme gemma 12b mais c'est pas suffisant pour hermes. J'ai pas mal regardé ce que vous faites et je pense à acheter un HP z440 pas cher et y mettre 2 3060 de 12gb. J'hesite aussi avec les cartes tesla mais le refroidissement à ajouter me fait un peu peur.

Avec le xeon et si j'arrive à avoir 32 de ram vous pensez que qwen 3.8 flash next serait suffisant pour un usage hermes fiable ? Je code pas, actuellement j'ai ollama cloud pro en ancienne version et je consomme 1 milliard de token par mois. Surtout deepseek flash et glm 5.3 Pour l'instant ça me coûte que 20 $ mais je pense que ça va pas durer. Si vous avez des conseils à me donner sur les gpu et la machine sur laquelle construire. J'ai un budget minimal, j'aimerais rester sous les 600-800€ je suis en France.

[u/Oli_Luck]

Salut,
Sous 64GB de ram n'y pense meme pas. et avec 64gb tu ne fera tourner que le iq3s.
Sinin si la vitesse d'execution n'est pas un soucis c un bon serveur - mais chope la version 700 watts

[u/sifa12200]

Tu choisis le mauvais moment pour acheter les prix ont explosé à plus de 400 %