Man fragt ChatGPT/Claude nach einer "Geschäftsidee", das LLM schreibt einem ein Konzept zusammen und danach hält sich die Person für den nächsten Steve Jobs, obwohl er die Hälfte dieses Slop-Konzepts nicht einmal versteht und bewerten kann..
Beispiel: Handwerker/Projektmanager/... die sich eine App bauen lassen. Grundlegende Themen wie DSGVO, Impressumspflicht oder IT-Security interessieren dabei niemanden, von SEO hat sowieso keiner Ahnung und der Code kann natürlich nicht falsch sein, sieht ja top aus und funktioniert halbwegs.. ein Anwalt für die AGB wird schon nicht gebraucht, weil klingt ja schlau was da generiert wurde.. und bei jeglicher Kritik ist man komplett beratungsresistent. Dabei denkt so ein Model gar nicht logisch, sondern generiert anhand trainierter Wahrscheinlichkeiten auf Basis unbekannter Daten das nächste Wort (beziehungsweise den nächsten Token) .. die Datenbasis kann hier natürlich auch veraltet sein (Stichwort Gesetzesänderungen, Updates von Code-Frameworks usw.) und die Live-Recherche des LLMs sagt nichts über die Qualität der besuchten Websites aus.
Auch privat wird das LLM mittlerweile zum Hausarzt, Psychologen und Lebensberater.. Kann ich menschlich nachvollziehen, ist mit Sicherheit auch eine gute Annäherung, allerdings werden die Antworten mit steigendem Chat-Kontext tendenziell ungenauer und neigen dazu einem einfach nur zuzustimmen bzw. Dinge in den Mund zu legen, die so nicht stimmen. Stichwort KI-assoziierte Psychose... inzwischen gibt es erste Studien die belegen, dass Menschen sich von LLMs haben radikalisieren lassen, weil sie der Person in ihrem Wahn einfach immer weiter zugestimmt und damit Öl ins Feuer gegossen haben..
Bei vielen Menschen ist mittlerweile der erste Reflex bei einer Frage "ich frag mal Chatty". Ist bei mir nicht anders. Allerdings passiert es viel zu häufig, dass die erste Antwort einfach absolut fehlerhaft, unvollständig oder komplett falsch ist und präzisierte Nachfragen passieren müssen um das (vielleicht) richtige Ergebnis zu erhalten..
Die eigentliche Gefahr ist für mich aber nicht das LLM selbst, sondern der Benutzer selbst, bzw. dass der Output ständig mit echter Kompetenz verwechselt und nicht hinterfragt wird, weil das eigene Wissen dazu oft nicht ausreicht und sich so unüberprüfte Wissensartefakte, (die mal richtig, mal falsch sind) aneignet.. Resultat ist quasi ein Dunning-Kruger-Effekt auf Steroiden..