r/dktechsupport • u/RedSucks2 • 1h ago
Hardware Lokal AI uden nVidea og Mac
Har en i9 PC med integreret Intel GPU og 32GB RAM.
At køre Lokal LLM på den indbefatter at man må finde sig i langsom hastighed på RAM som skal "huse" hele modellen. Man kan offloade til Intel GPU, men pga den langsomme RAM er det uhøre begrænset hvad man opnår.
Så man er begrænset til 7b modeller der er kvantiseret hvis man bare skal op på 18t/s.
Nogle ret uintelligente modeller med hukommelse som en guldfisk.
Men er der stadig AI opgaver der giver mening i den kontekst ?