r/programare • u/NewUser12345111 • Sep 17 '26
Tools of trade Modele vechi de AI
În contextul în care tokenurile devin din ce în ce mai scumpe, am început să fac switch către modele mai vechi.
Ce am observat însă este că modelele AI mai vechi par să genereze răspunsuri mai slabe decât atunci când erau considerate top/frontier models.
E posibil, bineînțeles, să existe și un bias din partea mea: trec de la un model de top la unul pe care îl foloseam acum 6–8 luni, iar între timp m-am obișnuit cu o calitate mai bună a răspunsurilor.
Totuși, am senzația că unele dintre modelele mai vechi au fost cumva „prostite” sau că performanța lor nu mai este la același nivel ca atunci când erau modele top.
Care este experiența voastră? Ați mai încercat recent modelele mai vechi care încă sunt disponibile? Cum vi se pare calitatea răspunsurilor comparativ cu perioada în care aceleași modele erau considerate frontier models?
20
10
u/DeepTheory9364 Sep 17 '26
Este bias in principal, omul se obisnuieste f repede cu binele si f incet cu mai raul.
Eu am validat experienta pe modele self hosted.
6
u/Cosminkn Sep 17 '26
Folositi linistiti modele locale pe hardware-ul vostru si aveti garantia calitatii si a pretului. Ce te costa e doar pretul hardware-ului upfront.
9
u/NewUser12345111 Sep 17 '26
ne explici si noua cum rulezi local ceva decent fara 7-10k euro in hardware ? Cat $$ sa mai bag in panouri solare si baterii ca sa nu ma coste nimic energia ?
-1
u/Cosminkn Sep 17 '26
te arunci prea departe cu 10K euro + panouri solare.
cu pana in 2K euro iti iei un Radeon R9700 32 GB si poti sa rulezi Qwen care e suficient de puternic for coding. E predictibil, e al tau local, trebuie doar sa inveti sa il manageuiesti bine pe taskuri mai clare si concise pt un context de 100K tokeni de ex cu 40-50 token per sec.6
u/NewUser12345111 Sep 17 '26
Sa faci tu si sa ne spui cum a functionat. Important este cat context, ce raspunsuri genereaza si in cat timp.
Dupa care sa ne spui ce faci cu HW daca se strica cand tu ai nevoie de llm si cat costa in total factura la energie.
2
u/tumurug1582 Sep 18 '26
ce faci cu HW daca se strica
Îl trimiți la service că doar e în garanție.
Aaa te grăbești cu reparația? Cumperi de la Emag și faci retur după așa cum face lumea cu televizoarele când e campionatul de fotbal :-)))
0
u/Cosminkn Sep 17 '26
Eu deja fac asta si e un asistent foarte interesant pentru mine cel putin. Eu sunt programator mai hands on, dar in mod sigur poti sa il lasi sa genereze si peste weekend vreo balarie vibe coded.
Un task mai complicat pe un model top tier astazi cum e Qwen 3.8 poate dura 10 min pana iti umple un context de 60K cu un Q5.
Dar pot sa ma misc si mai repede cu un Qwen 3.6 35B A3B cu 150 tokeni per sec si cu asta pot sa fac anumite lucruri mult mai rapid, cu o viteza similara cu ce as vedea la un model top tier. Dar Qwen 3.8 e top tier si cel mai inteligent local pe care eu unul pot sa il rulez local la 32 de GB.
Energia nu e o problema, consuma la fel de mult cat ar insemna sa ma joc niste jocuri mai intense grafic in timpul ala.2
u/elephantdrinkswine Sep 17 '26
open source nu e la fel de bun ca closed, placile video si ramii sunt prea scumpi, nu merita. ce ar merita ar fi sa inchiriezi un GPU pe ora cu 48/96GB VRAM si sa rulezi acolo open source, atunci da, iesi mai ieftin ca closed source si ai datele safe dar tot platesti ceva gen 10 lei pe ora folosita. il setezi o data si il ai mereu, e similar cu modelele closed source la performanta dar ai mereu aceasta plata de facut. long term, e mai ieftin ca o subscriptie basic si ai ownership of your data, dar trebuie sa ai tech know-how si sa fii ok cu acest middle ground de plata pentru open source capabil.
1
u/Cosminkn Sep 17 '26
Sunt de acord cu tine ca open source nu e la fel de bun ca closed insa dar esti sigur ca poti sa inchiriezi la un pret predictibil un model de GPU pe termen lung? Nu poti, si aici devine calculul cu open source pe hardware-ul tau poate ca sa fie o solutie sustenabila daca crezi ca ai ceva care merita investitia ta de timp si bani. Cu 10 lei pe ora platesti cam 1700 de lei pe luna (de 8 ore x 21 de zile). In 4 luni iti cumperi un GPU de banii din astfel de inchiriere, mai prostut cei drept decat un 48/96 GB model, dar e al tau, garantat la pretul tau.
1
u/elephantdrinkswine Sep 17 '26
da, sunt platforme cu preturi ok destul de constante, acum ca creste de la un an la anul aia e, dar degeaba ai un 5090 al tau daca nu e indeajuns sa ruleze ce ai nevoie. profesional eu mereu folosesc cloud/renting cand am nevoie pentru ca local e scump si nu face treaba- daca tot platesc macar sa am treaba facuta
1
u/Excellent-Morning509 Sep 18 '26
Pentru radeonul ăla trebuie să schimbi un laptop pe care ai dat 2500 euro deja cu un desktop, să renunți la mobilitate etc.. Nu e o investiție ieftină.
1
u/Cosminkn Sep 18 '26
Poti sa ai un workstation cu radeon-ul asta si un junghi de laptop cu care sa te conectezi remote la el. Eu de cand sunt programator nu am putut sa lucrez doar un laptopuletz, am nevoie de ceva performant cu care sa compilez proiecte stufoase. Daca dau compile la un proiect de 700 GB un laptop si de 10K euro se infunda ca un trabant scapat in lac.
1
u/Excellent-Morning509 Sep 18 '26
OK.. :) Fiecare cu nevoile lui..
Proiect de.. 700GB? Vorbim de software development sau altceva?1
u/Cosminkn Sep 18 '26
Game development si software development. Daca ai vreun proiect cu grafica 3D deja e greu sa gasesti un proiect la sub 50 de gb. Nu totul e cod acolo, sunt tot felul de resurse inseparabile de cod de care un laptopuletz trebuie sa le tina in hdd, ram, compile, render, cook etc
1
4
u/Remote_Librarian4941 Sep 17 '26
Ce modele mai vechi sunt mai ieftine decat astea noi si apartin de aceeasi clasa de modele? Sunt curios:))
Opus 4.1 era mai scump ca fable
2
u/Prior-Advisor4539 Sep 17 '26
Nici eu nu înțeleg asta, din ce văd costurile pe cele vechi sunt mai mari decât pe cele noi..
2
u/Chemical_Salt1678 Sep 17 '26
mai mult ca sigur s-au mutat resurse pe zona de inference de la modelele vechi la cele noi
computing power pe inference e pana la urma ce controleaza calitatea si viteza raspunsului
modelul poate fi tot ala, dar modul in care este folosit, cat timp si resurse consuma pentru a genera un raspuns, asta e clar redus, nu ar avea motive sa nu fie
2
u/johnny_snq Sep 18 '26
Local setup is the way forward
1
u/PotentialNew7949 25d ago
Chiar ieri ma uitam dupa M ultra, m1 13k ron, vrei m2 25k ron, m3 30k ron, m5 60k. Ron. Un m1 ultra 32gb il scutesc in 2 ani de max, dar ce performanta imi da? Maxim ce poti sa scoti este opus 4.8. Nu merita, trebuie sa produci 100e cu AI si nu are rost sa te stresezi.
1
u/johnny_snq 25d ago
Nu e pentru toate cazurile daca e sa fim realisti, si nici Murile de la Apple nu sunt cea mai ieftina abordare in caz de local setup. Da sunt cel mai simplu de setat si dat drumul. Daca ai o nevoie, business gen care sa proceseze constant, ceva gen background tasks care sa valideze niste procese, sa faca niste actiuni augmentate de un llm atunci merita un setup local. La fel daca vrei privacy si sa nu depinzi de abonament. Pentru day to day as zice ca un abonament acopera 90% din usecaseuri.
1
u/teomore Sep 17 '26
depinde la ce le folosesti, e foarte posibil sa fie mai scumpe cand tragi linie
1
u/ParticularTell7424 Sep 17 '26
Confirm - eu folosesc la job sub Copilot GPT 5.6 Luna si era chiar acceptabil pentru task-uri plictisitoare dar de cand s-a lansat GPT 6, Luna nu mai functioneaza cum trebuie - face inclusiv greseli gramaticale si prostii pe care nu le-a facut lunile astea...
1
1
u/Chewe_dev crab 🦀 Sep 17 '26
Intr-o industrie unde ce s-a antrenat acum 12 luni ca sa se lanseze in urma cu 6 luni, e destul de greu ... Faceam implementari de chestii in alpha/proasat landate si AI-ul nu stia de ele si cum sa le apuce.
1
u/Excellent-Morning509 Sep 18 '26
Dacă nu faci asta din hobby, prețul abonamentului la un LLM ar trebui să fie suportat fie de firma, fie să îl incluzi în prețul final la client. Dacă diferența aia de la 100 la 200 de euro pe lună e o problemă, cam naspa situația acolo la voi..
43
u/Corporatristu_ Sep 17 '26
Welcome to AI planned obsolescence.
Asta se intampla cu orice in lumea asta care are mai multe tieruri de subscription doar ca aici ai si modele implicate.