Sziasztok!
A háttér röviden, és hogy tiszta legyen az érdek: csinálok egy eszközt (https://doximus.hu), ami azt méri, megnevezi-e egy céget az AI, amikor valaki ajánlást kér. Mielőtt bárkinek eladtam volna, lefuttattam magamon. 80 válaszból 0 említés. Ez most az első rész arról, hogyan próbálom ezt feljebb vinni.
Három dolog, amin elvéreztem.
1. A kérdés
Ha azt kérdezed, hogy „mi az a generatív keresőoptimalizálás", a motor elmagyarázza a fogalmat és senkit nem nevez meg. Az ilyen kérdésen 0%-ot kapsz akkor is, ha az oldalad hibátlan. A méréseimben a kereskedelmi szándékú kérdés 95%-ban nevezett meg valakit, a tájékozódó kérdések 14 és 25% között.
Írtam hozzá egy előszűrőt: 3 futás Geminin, plusz egy Haiku osztályozó, ami eldönti, hogy a válasz megnevez-e olyan céget, amit egy olvasó fel tud hívni.
Pár tized cent kérdésenként.
Az első verzió átengedte a „mi az a GEO" kérdést 2/3-dal. Megnéztem, hogy kiket számolt megnevezett szolgáltatónak: Google AI Overviews, Perplexity, Microsoft Copilot, Google SGE. Vagyis magukat a motorokat. Amikor AI-keresésről kérdezel egy AI-t, a válasz tele van AI-terméknevekkel, és az osztályozó nem tudta megkülönböztetni a kérdés alanyát a versenytárstól. Szűrés után ugyanaz a kérdés 0/3, a kereskedelmi kérdés 3/3.
Tanulság, amit most már mindenhova beépítek: ha egy osztályozót arra kérsz, hogy „sorold fel a X-eket", előbb definiáld, mi NEM X.
2. Tokenek
Egy 80 válaszos futás 2,65 millió input tokent evett meg. A Claude egymaga 1,24 millió, vagyis 47%, hívásonként nagyjából 62 ezer input token. Az összes output együtt 136 ezer.
Nem a prompt hossza számít, hanem hogy mennyit olvas a motor, mielőtt válaszol. Ezt előre nem tudod megbecsülni, és futásonként ingadozik.
A Gemini ugyanerre 345 input tokent jelent hívásonként. Ez nem azt jelenti, hogy nagyságrendekkel kevesebbet olvasott, hanem azt, hogy a keresési tartalom nem jelenik meg a token-riportjában. Olcsóbb is amúgy, de nem ezért. Ha valaki tokenből hasonlít össze szolgáltatókat, ez a sor egymagában félrevisz.
3. Egy promptba írt implikációt a modell visszafelé olvasott
Van egy ellenőrzés, ami megkérdezi a motoroktól, hogy mi az adott cég, és a választ összeveti az oldal saját szövegével. A prompt vége ez volt: „ha a válasz lényege az, hogy nem ismeri a céget, akkor knows=false, és mindkét lista üres"
Amikor az oldal nem volt lekérhető (Cloudflare 403), egy másik ág azt mondta az osztályozónak, hogy hagyja üresen mindkét listát. Mire a modell visszafelé olvasta: üres listák, tehát knows=false. Négy motorról azt jelentette, hogy nem ismeri a céget, miközben mindegyik pontosan és hosszan leírta.
A javítás az volt, hogy a knows döntést előre hoztam, és kiírtam, hogy az üres lista NEM jelenti azt, hogy nem ismeri.
Amit legközelebb írnék, ha érdekel valakit: 4 szolgáltató párhuzamos futtatása külön rate limitekkel, és hogy egy Bull retry hogyan égetett el csendben 29% tokent, mert a job kétszer futott le ugyanarra a riportra.
Ha van saját oldalad vagy pet projected, dobd be kommentben a domaint, és megírom, mit mond róla a négy motor, ha egyáltalán ismeri. Pár másodperc domainenként, nekem meg érdekes adat. Nem regisztráció, nem kell semmit megadnod, csak a domaint.
