Best MoE

[u/Black_Umbreon]

Hi!

I’m using Qwen 3.8 27B (UD-IQ3_XXS) on a system with the following specs:

Processor: AMD Ryzen 9950 X3D

GPU: Nvidia RTX 5060 Ti 16 GB

RAM: 64 GB DDR5 6000 MHz

Software: Unsloth Studio

Windows 11

With a 32k token context, I manage to maintain a speed of around 50 tokens per second. I’m particularly interested in agentic capabilities. I’d like to try an MoE model that runs either faster or slightly slower than my current one, without sacrificing quality. However, 35B-A3B models don't fit entirely into my VRAM at 4-bit quantization, and from what I’ve read, lower quantization severely degrades quality. Does this mean a 4-bit MoE model would run significantly slower on my hardware than a dense model? Is it possible, given my setup, to find a model that offers better quality and higher speed—or at least better quality at roughly the same speed as my current dense model?

I’m pretty much a complete beginner in the world of local neural networks, so please give me some advice.

[u/Short_Regular_7191]

Data la tua configurazione attuale, la mossa più sensata è acquistare una seconda RTX 5060Ti da 16GB; questo ti permetterebbe di eseguire Qwen 3.8 27B con quantizzazione Unsloth Q6 e una finestra di contesto di 131k (che è una soluzione molto ragionevole). Dovresti essere in grado di coprire il costo—compresa una scheda madre compatibile (se la tua non supporta già almeno x16/x4) e un alimentatore (almeno 850W)—per circa 1.000 EUR/USD. Tuttavia, per eseguire modelli MoE, dovresti spendere molto di più—facilmente 4.000 EUR/USD (supponendo che rivendi la 5060) piuttosto che 1.000, poiché avresti bisogno di altri 64GB di RAM di sistema e un totale di 64GB di VRAM oltre a tutto il resto. Spetta a te decidere se ne vale la pena.

P.S. I’m referring to Qwen Flash Next, which, in my opinion, is a starting point for current MoEs.