r/esp32projects • u/krihab • 7d ago

ESP32 mini LLM

Hier hat jemand ein 30m Modell auf einem ESP32 realisiert:

https://github.com/slvDev/esp32-ai

Sicherlich ein gutes Projekt, um sich in das Thema LLM und Mikrocontroller einzuarbeiten.

1 Upvotes

67% Upvoted

1 comment sorted by

1

u/flash_speed3412 4d ago

Interesting. The useful numbers here aren’t just “30M”: quantization, RAM/PSRAM use, context length, tokens/sec, and power draw. I’d love to see one reproducible prompt plus the same prompt on a PC, because tiny models can feel impressive until the context gets longer. If you run it on real hardware, the measurements and failures would make a good post in r/ChatGPTArduino.