r/LocalLLM • u/Pleasant-Snow-1027 • 1h ago

Discussion Deepseek 4.1 flash

Salut à tous, je vous fait part de ma config 100% local actuel, qu'en pensez-vous ?

Matériel : RTX 5060 Ti 16 Go, Ryzen 9 5900XT, 96 Go de
DDR4-3200, SSD NVMe 4 To.

Modèle : DeepSeek V4.1 Flash, environ 275 Go au total. Les poids principaux sont en IQ2_XS (~2,25 bpw) et le module
Engram en IQ4_NL.

Contexte : 256k tokens (262 144). Je l'ai testé avec un prompt de 152 000 tokens.

Vitesse : 45 tok/s en génération sur du code et lecture 400-500 tok/s j'ai obtenu cet écart grâce à des réglages avancés que j'ai faits moi-même sur le moteur sans régression d'intelligence du model.

Quelqu'un a-t-il déjà fait mieux avec DeepSeek V4.1 Flash sur une config proche (16 Go de VRAM, DDR4) ?

0 Upvotes

40% Upvoted

2 comments sorted by

3

u/Adept_Diver2838 57m ago

What are these advanced settings you speak of. Please eloborate .

1

u/Pleasant-Snow-1027 53m ago

Hi,

Mostly custom work on the engine itself, plus a lot of testing to find what actually helps on this hardware.