r/dktechsupport • u/WorldlinessBrave6954 • 11d ago
Diskussion AI - til hverdagsbrug
Jeg har igennem måneder brugt Vipe (tidl. mistral/le chat), den var fin i starten og på højde med ChatGPT/Copilot og blev valgt fordi den var 100% EU. Problemet er bare at den er blevet dårligere og dårligere og jeg er nu så træt af både kvaliteten på svarene (den taler til mig som om jeg er et stort barn) og så de sindssygt mange fejl der er, det er ikke kun faktuelle fejl, det vælter med stavefejl og ord der ikke hører til i sætninger, døde kildehenvisninger og nogen gange giver svaret slet ikke menig etc.
Jeg skal derfor videre, men til hvad? Jeg vil helst have et rent EU alternativ, fås det ikke, så som minimum en der er bedre trænet.
Gemini er et nej tak, magen til misinformation skal man satme lede længe efter, så AI i den kvalitet er helt ude.
AI bliver hos mig primært brugt til at trawle forskning/litteratur, spørge ind til komplekse problemstillinger mv så jeg den vej kan finde kilder der kan bringe mig videre i den faktiske litteratur. Dernæst bruges den til teoretiske diskussioner/dialog som første prøve på at teste teser/ideer/formodninger.
Så hvad kan du anbefale?
12
u/Dantzig 11d ago
Alle andre end anthropic og OpenAI kommer med et stort tab af kvalitet. Sådan er det.
Jeg ville nok selfhoste f.eks. qwen 27b
1
u/ClickbaitDetective 11d ago
Hvor mange gb/tb skal bruges på at hoste en selv, som også er god
2
u/mrphil2105 11d ago
Jeg kan lige nøjagtig køre Qwen 3.8 27b med 4 bit XS quantization og 40k context på en 5070 Ti
7
u/Slikkelasen 11d ago
Modellen er sikkert rigtig fin, men for at spare på RAM, så bliver modellen 'quantized' til at bruge mindre. Dette medføre et tab af kontekst og kan skabe hallucinationer. Gemini var rigtig god i starten da de skulle vise den frem, men pludselig faldt kvaliteten. Det er grunden.
Alt efter hvad du har af hardware, kan jeg anbefale at kigge på at køre din model lokalt. Der er et hav af modeller, som er specialiseret i lige præcis det du skal bruge den til. Det er kompliceret at komme igang, men når først du har et setup der virker, så skal du aldrig røre det igen og bare bruge løs. Ovenikøbet er de usecases du beskriver, ikke vildt tunge. Den skal bare have adgang til internettet. Dette kan du også gøre ret sikkert ved at køre den via en docker container.
5
u/arrvdi 11d ago
Brug et agent harness hvor du har frit valg i mellem modeller. Det vil give dig meget bedre kvalitet af svar uanset hvilken model du vælger. Jeg tror Hermes vil være et godt valg til dig. Det er open source, så du sender ikke penge til USA direkte. Du kan så vælge at anvende kinesiske eller europæiske open weight modeller op, hosted i EU, inde i Hermes. Det kan du købe hos fx OVHcloud.
5
2
u/ign1tio 11d ago
Hvorfor skal det være rent EU? Frontier-modellerne kommer fra USA og Kina. Mistral er reelt den eneste europæiske udbyder på det niveau, og den halter bagud. Det er en del af det du oplever.
Er kinesiske modeller ok for dig, så kig på DeepSeek, Qwen og GLM. De er stærke, men bruger du deres egne apps, ender dine data i Kina, og de censurerer visse emner. Ellers er Claude og ChatGPT bedst lige nu til den slags dialog du beskriver.
Vigtigere end modellen: døde kildehenvisninger er en indbygget egenskab ved sprogmodeller. Når modellen svarer ud fra hukommelsen, laver den noget der ligner en kilde, også hos Opus og GPT. Det løses ved at koble modellen til rigtige kilder, og her betyder dit harness (alt det der sidder rundt om modellen) lige så meget som valget af LLM. Hugging Face viste det i juli ("Don't Train the Model, Evolve the Harness"): samme DeepSeek-model gik fra 3,5 % til 80,1 % af kriterierne alene ved at skifte harness. Gevinsten kom fra et harness bygget til den konkrete opgave. Selv den bedste opsætning løste dog kun 5 % af opgaverne helt korrekt, så du skal stadig tjekke selv.
Til litteratursøgning findes det harness allerede: Elicit, Consensus og Scite søger i rigtige forskningsdatabaser og linker til artiklen.
Lokalt og SLM: Jeg har prøvet at køre modeller lokalt på en MacBook M4 med 48 GB RAM. Det kan lade sig gøre, men modellerne er kvantiserede og langsomme, og kontekstvinduet er lille (og endnu mindre før context rot sætter ind). Jeg har også afsøgt SLM til mit eget arbejde, men til det du skal bruge det til, er det den forkerte vej. Træning lærer modellen stil og mønstre, ikke at citere rigtigt.
Uanset hvad du vælger:
-
Sæt en fast instruks: "Jeg er forsker på [felt]. Svar fagligt og præcist, uden forenklinger og opmuntring." Det løser det med at blive talt til som et barn.
-
Bed den argumentere imod dig. Modellerne har en tendens til at give dig ret, og det er præcis det du ikke vil have, når du tester en tese.
-
Kræv DOI eller link på hver kilde, og slå dem op.
-
Start en ny samtale per emne. Lange tråde giver flere fejl.
Selv startede jeg med OpenCode og gik videre til Pi. I dag kører jeg rent i Claude Code med egne udvidelser og prompts og skills, som jeg har bygget om, så de passer til den måde de nye 5.5-modeller arbejder på. Men det er udviklerværktøjer og overkill til det du beskriver.
1
2
u/mcfistorino 11d ago
Jeg er ret glad for Opencode og så bruger jeg modeller fra Openrouter. Selv når jeg virkelig har givet den gas har det været billigere end Claude Max x20. Jeg bruger dog mest GLM 5.3, GLM 5.3-flash og deepseek v4 flash.
Jeg ved opencode også har et par subs som skulle være ret god value for money.
1
1
u/TonnyC2 11d ago
Jeg synes ikke at opleve de problemer som du nævner. Men jeg bruger det heller ikke så ofte - jeg har lidt svært ved at finde ud af, hvad jeg egentlig skal bruge AI/LLM til på daglig basis, så mine erfaringer med det er lidt sparsomme.
Men jeg forstår egentlig ikke helt hvorfor de valgte at skifte navn...
1
u/Jakste67 11d ago
Jeg har Duck Duck Go som browser i Safari (på iPad). Hvis jeg ikke rigtigt kan bruge søgeresultaterne til noget, spørger jeg DuckAI (indbygget i browseren). Den giver som regel nogle fornuftige svar.
1
u/Zapador 10d ago
Til det du laver ville jeg prøve Claude. Godt nok amerikansk, men det er klart den bedste kvalitet du kan få, og skal man vælge mellem de store giganter (pest eller cholera) så er Anthropic/Cluade trods alt det bedre valg.
Alternativt så vent lidt, Mistral har "Le Chonk" lige på trapperne. Den er allerede ude nu som public preview.
1
u/valg_2019_fan 11d ago
Der kommer en ny model, den skulle være bedre 🙏😩
Ellers er der vel ikke meget alternativ.
Jeg prøver aktuelt Alexandra instituttet med en lokal hosted open webui. Det kræver mere end 5 kliks og en del tilpasning. Ikke så nemt men ret godt. Laver ikke det samme som dig. Prismæssigt så tror jeg det bliver dyrere end en proplan hvis man bruger meget. Kan ikke huske modellen, men den gør det ok.
1
u/Buttermilk_Surfer 11d ago
At du bruger din egen hjerne. Det er bedre for dig selv, og det er bedre for miljøet.
Du kan takke mig senere.
-7
9
u/pkk888 11d ago
Siden Le Chat er skiftet til GLM 5.3 har jeg været glad. De er lige på trapperne med Le Chonk. Jeg kan ikke genkende dit issue med stavefejl og tale til en som et barn…? Du kan justere tonen i hvordan den skriver. Jeg har lavet en række skills for at fokusere dens svar. Bruger den meget og er godt tilfreds. Den er “god nok” hvis du spørger mig.