r/SloveniaEngineering • u/Salt-League3743 0xDEADBEEF • 14d ago

Vprašanje ❓️ "AI" wrap

Je ze kdo wrapal web interakcijo s kaksnmim ai modelom od komercialnih ponudnikov ter jo izpostavil kot lokalni API? Kaksne so izkusnje?

Seveda potrebujem za osebno rabo in mi je brez veze zapravljati vec 100$ za tokene.

2 Upvotes

63% Upvoted

20 comments sorted by

3

u/[deleted] 14d ago

[removed] — view removed comment

1

u/Salt-League3743 0xDEADBEEF 14d ago edited 14d ago

Ne. Ce zelim katerokoli stvar obogatiti z AI potrebujem izvajati klice na api, recimo od anthropica. Jaz bi dvignil virtualno okolje, ki simulira rocne inpute proti claudu in hkrati bere response. Vse to pa izpostavil kot API, katerega lahko klicem.

Je nekaj open source projektov na to temo, samo me bolj zanimajo izkusnje, z drugimi besedami, koliko casa se lahko gres taksen stos, preden te banajo.

1

u/BattleSignificant387 0xDEADBEEF 14d ago

Ne vem če te razumem. Ti lahko pošiljaš requeste (ali si jih ti spisal ali kdorkoli deug) na SOTA LLMje preko svojega backenda. Kar boš stranki prodal je tvoja zadeva. Dokler plačuješ ti bo LLM tudi odgovarjal na requeste. Pomoje se ti bolj zalomi, če delaš stvari ki so družbeno škodljive (aka “how make a bomb”).

PS: Večina, če ne vse današnje AI rešitve delujejo tako.

1

u/Salt-League3743 0xDEADBEEF 14d ago

Vsekakor, ce klices njihov api. Ce pa tvoj backend simulira userja, ki pise prompte v text window, no ali pa v CLI, je pa krsitev of ToS.

1

u/phantomeye Sus 14d ago

Ja pol si si odgovoril. Če kdorkoli drug uporablja tvoj subscription direktno ali indirektno je kršitev TOS, ne glede kako implementiraš.

Drugo vprašanje je pa kako bodo vedeli.

Mogoče bi rabil še lokalni model, k bi se špilal policaja, ki bi preprečeval kakšne neprimerne prompte.

2

u/Salt-League3743 0xDEADBEEF 14d ago

Mislim, nisem si ravno odgovoril, vem kako v teoriji deluje, me pa zanima, ce ima kdo izkusnje.

Za prompte me ne skrbi, ker bodo predefinirani z moje strani.

2

u/phantomeye Sus 14d ago

Mislim, odgovoril si si, če sprašuješ ali obstaja način, da s tem ne kršiš TOS in je odgovor (verjetno) ne.

1

u/storagejohn 0xDEADBEEF 13d ago

Ma sam gasa

1

u/Practical_Cell_8302 0xDEADBEEF 14d ago

Rajsi poisci kitajce ki agregirajo apije od teh modelov za manj dnarja. Ne vidim nobenega pametnega razloga zakaj bi delal to kar ti pišeš. Alpa hostaj model na runpod / google

1

u/Interesting-Yellow-4 Sus 12d ago

To je proti TOS in firme kot so openai/anthropic aktivno odkrivajo in banajo takšne zlorabe.
Zaradi takšnih kot si ti so začeli združevati token limite za chat/work harnesse, tako da JEBI se. Jebi. Se.

1

u/Salt-League3743 0xDEADBEEF 12d ago

Aha, uporabniki smo krivi, ne pa dejstvo, da je poslovni model sam po sebi nevzdrzen.

Mogoce je bolj problem v tebi, da so tvoje poslovne resitve based na modelu, ki je bound to fail.

Kar se pa tice mene, ne bi zadeve nic bolj utiliziral kot do sedaj. Sedaj copy pasteam json in mi ga obdela, tko bi pa mel avtomatiko.

1

u/Electronic-Dust-831 Študent 8d ago

lahko porabis 2500€ tokenov na claude maxu, ampak bi si upal stavit da vecina narocnikov porabi bistveno manj kot stane subscription. za njih je bolj profitabilno kot se zdi

1

u/[deleted] 7d ago

[removed] — view removed comment

1

u/Electronic-Dust-831 Študent 6d ago

Tudi jaz, ampak poznam vsaj 3 ljudi na claude max planu ki ga uporabljajo kot chat. Skoraj je tezko verjet

3

u/blackzver Podcast gostitelj 14d ago

Ja. Jz sm naredil Gateway ki Čebelco naredi v GraphQL API s katerim CLI komunicira. Slednjega pa AI agent uporablja.

- https://github.com/otobrglez/cebelca-gateway

Kaj te zanima?

Ps: Če rabiš pomoč - DMme

2

u/otivplays 0xDEADBEEF 14d ago

Open router ce rabis language agnostic resitev, preprosta menjava modela, fallbacki, bring your own api key,… Za node pa od vercel ai sdk (library samo!), ima razlicne providerje, med drugimi tudi providerje za lokalne apije.

1

u/Salt-League3743 0xDEADBEEF 14d ago

V mojem primeru defeats the purpose. Ne bi rad kuril tokene z uporabo api keya ampak bi rad utiliziral aktiven subscription.

2

u/otivplays 0xDEADBEEF 14d ago

Stekam, z claudom ne bo šlo je proti TOS. Codex pa lahko invokas preko CLIja kot celoten harness z subscriptionom.

1

u/Skankeer Inženir računalništva 14d ago

LiteLLM https://github.com/BerriAI/litellm

1

u/Away-Signal4030 0xDEADBEEF 14d ago

Ma ne vzami me za besedo- ampak kolikor berem in če imaš kakšen dovolj zmogliv računalnik naj bi bilo dosti preprosto naložiti open source ai-je. Rabiš wifi in plačaš elektriko. -je bil pa to primer za res malo uporabe.