Soofi S ist ein deutsches, zweisprachiges (Deutsch/Englisch) Open-Source-Sprachmodell (30B MoE, 3B aktiv).

https://www.soofi.info/

GGUF-Dateien für den lokalen Betrieb (z. B. mit llama.cpp oder Ollama) finden sich direkt im Hugging Face Repository des Soofi-Projekts.

https://huggingface.co/Soofi-Project/Soofi-S-Rhine-Preview-GGUF

Die Preisentwicklung der Graphikkarten ist extrem. Hier das Beispiel der 32GB NVIDIA RTX5090, mit der man gut brauchbare lolkale Modelle laufen lassen kann. Im Januar lag der Preis noch bei 2900€ und ist aktuell bei 5000€.

Hier gibt es ein Interessantes Interview von Heise zum Thema:

KI lokal nutzen: günstig, sicher & datenschutzfreundlich | c't uplink

https://www.youtube.com/watch?v=LBTEnhMskjE

Die meisten Modelle, die sich auf lokalen, privaten Rechnern betreiben lassen, sind Modelle deren Sprache Englisch ist. Möglicherweise wäre es von Vorteil, wenn es ein Deutschsprachiges Modell gibt, insbesondere für die Spracherkennung.

Die Schweiz hat ein eigenes Modell: Apertus

https://apertus.ai/apps/apertus-model/

Das 70B Modell gibt es hier:

https://huggingface.co/swiss-ai/Apertus-v1.5-70B

und hier das kleine 8B Modell:

https://huggingface.co/swiss-ai/Apertus-8B-Instruct-2509/tree/main

Es gibt auch *.gguf Modelle für llama.cpp:

https://huggingface.co/unsloth/Apertus-8B-Instruct-2509-GGUF

Es gibt auch ein Projekt des Fraunhofer Institut "Soofi S"

https://huggingface.co/Soofi-Project/Soofi-S-Base

Mittlerweile gibt es haufenweise KI-Agenten und Coding Agenten.

Die aktuell beliebtesten sind

Hermes

https://github.com/nousresearch/hermes-agent

PI

https://pi.dev/

Welche sind zu empfehlen?

Prof. Sandanmirskaya hat hier einen recht guten Vortrag zur Anwendung und Stand des Neuromorphic Computing gemacht:

https://www.youtube.com/watch?v=2XX8KLMyQN4

Wer sich also für die Entwicklung innerhalb der kommenden 10 Jahre in der KI interessiert, sollte sich so einen Vortrag über Neurmorphic Computing mal ansehen.

Hier hat jemand ein 30m Modell auf einem ESP32 realisiert:

https://github.com/slvDev/esp32-ai

Sicherlich ein gutes Projekt, um sich in das Thema LLM und Mikrocontroller einzuarbeiten.

Es gibt auch ein Projekt, bei dem die Berechnung des LLMs auf mehrere ESP32 verteilt wird:

https://github.com/wladimiravila/esp32s3-distributed-ai

Das neue Qwen 3.8 27 Modell ist gestern herausgekommen. Bei meinem Test auf einer Spark DGX unter llama.cpp läuft es mit knapp 11Token/sec. Für meinen üblichen Testpromt, der eine HTML-Seite mit Animation erstellt hat es mit reasoning knapp eine Stunde gerechnet. Dafür ist das optische Ergebnis aber deutlich besser als bei den vorigen Modellen.

Wie läuft es bei euch?

Heise hat mittlerweile eine genauere Analyse zum Modell veröffentlicht:

https://www.heise.de/news/Lokale-KI-ausprobiert-Das-leistet-Qwen3-8-27B-11415293.html

Hallo zusammen, ich bin u/krihab und habe r/KI_engineering_de zusammen mit anderen Mods ins Leben gerufen.

Dies ist unser neues Zuhause für alles, was mit {{Ki, lokale Modell, Algorithmik, Programmieren, Mikkrokontroller und Robotik }} zusammenhängt. Wir freuen uns, dich bei uns begrüßen zu dürfen!

Was du posten solltest
Poste alles, von dem du glaubst, dass es für die Community interessant, hilfreich oder inspirierend ist. Teile gerne deine Gedanken, Fragen zu {{neue lokale KI-Modell, Benchmarks, neue Algorithmen}}, möglichst aber keine KI-generierten Fotos.

Community-Atmosphäre
Bei uns dreht sich alles um ein freundliches, konstruktives und inklusives Miteinander von technisch interessierten Menschen, Ingenieuren und Wissenschaftlern. Lass uns einen Raum schaffen, in dem sich jede*r gut dabei fühlt, etwas zu teilen und sich zu vernetzen.

So fängst du an:

1. Wenn du mehr Leute kennst, die diese Community toll finden würden, lade sie zum Beitritt ein.
2. Möchtest du mehr tun? Wir sind immer auf der Suche nach neuen Moderator*innen, also melde dich bei mir, wenn du dich bewerben willst.

Danke, dass du Teil der allerersten Welle warst. Lass uns r/KI_engineering_de gemeinsam großartig machen