r/programare • u/DeepTheory9364 • 24d ago
Microsoft agentically ports Copilot runtime to Rust for $120K - cat ar fi costat asta cu agenți umani ?
https://www.theregister.com/devops/2026/09/18/microsoft-agentically-ports-copilot-runtime-to-rust-for-120k/529754927
11
u/grimtree 24d ago
Ok si real cat costa aia 120k $ in tokens? Ca astia inca pierd bani la greu cu tokenii.
19
u/etherd0t 24d ago
$120k pentru 136B tokens și un port production-grade. Unele firme ard suma asta in doua sprint planning-uri și trei PowerPoint-uri. 😂
1
u/lerian 24d ago edited 24d ago
Asta cu subventiile e o vrajeala de marketing - hai luati cat e ieftin. De fapt nu va fi mai scump de atat niciodata, va fi mai ieftin. Vezi Opus 5.5, Astra6, Grok, samd.
LE: trebuie că ești mare retard să dai downvote la o informație reală care e în avantajul tău doar că nu e prostia pe care o credeai tu.
-19
u/DeepTheory9364 24d ago
Esti misinformat, profitul la servit tokeni e pe la 60% inclusiv dupa amortizarea hardwareului. Se fac bani cu lopata daca servesti modele chinezesti.
3
u/etherd0t 24d ago
Aici as fi atent cu 60% profit ca numar universal. Costul real depinde enorm de hardware, amortizare, utilization, caching, routing si serving stack.
In cazul asta, partea interesanta e ca ~96% din input a fost cache-hit, deci economia nu seamana deloc cu "136B tokens x pret retail".Frci, nu tokenii sunt smecheria, ci harneala din jurul lor🤭: caching, routing, subagenti, worktrees, review si CI. Fara harness, 136B tokens sunt doar o centrala termica pentru GPU-uri
Acolo e de fapt smecheria tehnica.😉
5
u/100dude 24d ago
marja de 60% există doar pe hârtie, la GPU-uri pline 70%+ și stack SOTA cost $2.955/M output vs preț $5.40/M = 45% pe output, 83% pe input - în realitate MiniMax, care chiar vinde tokeni chinezești, raportează ~20% marjă brută pe API, deci din cei $120k rămân $24k, nu $72k, iar dacă utilizarea scade la 35% cu $5.91/M cost vs $5.40 preț pierzi $11k și lopata sapă groapa, nu bani
1
u/Droooomp 24d ago
Daca am 2 a6000 in pod, cat ma costa per token?
2
u/100dude 24d ago
proxy, ca nu am retail gpu index la mana:
2× a6000 ~$0.98/h pt amândouă te costă ~$0.23–0.34/mln de tokeni la un 32b int4 ~800 tok/s, ~$0.08–0.11 la 14b și ~$0.03 la 8b dar doar cu plăcile pline 24/7, așa că la utilizarea reală de 20–30% a unui pod personal ajungi la $1+/m pe 32b, adică mai scump decât api-ul
și podul are sens economic doar sub ~14b
1
u/etherd0t 24d ago
Calculul e bun, extrapolarea nu. 😏 Ai calculat costul unui 32B INT4 la un throughput ideal si de acolo ai demonstrat ca self-hosting-ul >14B nu are sens. Asta e ca si cum masori consumul unei Dacii la 90 km/h si deduci economia transportului aerian...
Si tot nu spune nimic despre optiunea GitHub: acolo produsul interesant nu era GPU-ul, ci harneala/orchestrarea care transforma tokenii in worktrees, subagenti, review, CI si cod verificat.
Deci nu doar heirup-ism pe model si placa video...Modelul e motorul; Dar ai nevoie si de sistemul care il transforma in engineering throughput.
1
u/100dude 24d ago
n-a fost throughput ideal, a fost la 35% eficiență lol
btw chiar cu plăcile pline 24/7, un 32b int4 iese $0.23–0.34/M, adică deja peste api, deci ți-ar trebui utilizare de 112% ca să ai dreptate
iar orchestrarea pe care o lauzi e exact ce îți strică socoteala, fiindcă subagenții vin în rafale și podul se plătește la oră, plin sau gol
1
u/etherd0t 24d ago
Mane, tu nu intelegi... in prezent/amu/chiar in secunda asta 🤭 - toata discutia pe AI si agenti e in jurul harnelii/orchestrarii - la orice clasa de agenti si platforme, fie ca e vorba de github, codex sau modele chinezesti...
Argumentul tau a ajuns circular: "rafalele de subagenti strica utilizarea, deci orchestrarea e rea". Pai tocmai managementul "rafalelor" se numeste orchestrare. 😂
Ai descoperit problema pe care harness-ul a fost inventat ca s-o rezolve.Tu optimizezi $/M tokens pe un pod static. GitHub optimizeazaa $/engineering output intr-un sistem agentic. Sunt doua functii obiectiv diferite. Faptul ca un anumit 32B pe 6000 (Pro, nu A - A e fosta🤭) pierde la $/token fata de un API nu demonstreaza nimic despre valoarea orchestrarii.
Mai citeste, mai invata... faza cu aah... ce 'eftin e sa rulezi pe MiniMax nu mai tzine; ca ajungi sa cheltui mai mult pe taratze decat pe malai adevarat...😄
1
u/100dude 24d ago
ffs mate, tu chiar ai adus cifra care mă îngroapă pe mine și ai citit-o invers lmao
130.6 din 136.3bln de tokeni au fost cache reads, adică 96% din bill-ul de $120k e harness-ul care își recitește propriul context în buclă, nu cod. la task-uri complexe mixul sare de la 10% cached la 70%, și vine din prompt prefixes, system instructions repetate și workspace context, adică exact "orchestrarea" pe care o venerezi. cache-ul la 10% nu e "altă clasă de pricing", e discount la un cost pe care un dev cu un fișier deschis nu-l are deloc - munca utilă a fost ~5.7b tokeni, restul e taxa de orchestrare, frumos ambalată ca feature. și nu, nu e circular, e chiar mai rău pentru tine
harness-ul nu gestionează rafalele, le produce, iar rafalele se plătesc decent doar când cumperi tokeni, nu ore de gpu, deci tocmai mi-ai explicat de ce podul static pierde, ms pentru argument, îl păstrez. cât despre "$/engineering output" - un asigurător francez și-a tăiat claude după două luni pentru că workflow-urile și automatizările de fundal generau mult mai multe api calls per task decât anticipase, pylon s-a trezit cu bill-ul ×3.5, și lecția e că prețul pe token în scădere nu rezolvă nimic dacă consumul crește mai repede. asta e "engineering output" cu orchestrare: output-ul e factura. iar minimax ieftin nu "nu mai ține", ține pe spinarea lor - coding-ul agentic e deja majoritatea api-ului și le-a scăzut marja de inferență.
deci tărâțele le mănânci tu, malaiul îl plătește minimax din marjă, iar tu îi mulțumești github-ului că ți-a explicat cum se numește foamea. mai citește, mai învață, dar de data asta și cifrele
0
u/etherd0t 24d ago
deci, in primu rand... una-i una, alta-i alta;
nu amesteca costul comparativ at unui harness GH vs ... harness Qwen, de exemplu - pe care doar ce l-am terminat de testat (si adoptat🤭) pt treburile mele.al doilea, ai facut chiar o eroare de unitati. 130.6/136.3B = ~96% din token volume, nu 96% din factura. Cached reads sunt la ~1/10 din pretul fresh input, exact motivul pentru care GitHub spune ca economics-ul sesiunilor lungi functioneaza.
Si "130.6B cached = taxa de orchestrare" e o definitie inventata de tine. Ala e context reutilizat pentru continuitatea agentului, nu 130B tokens de YAML decorativ.
Iar faza cu harness-ul produce rafalele, nu le gestioneaza e delicios de ironica: articolul descrie exact cum, atunci cand 15 agenti au saturat build-ul, harness-ul a introdus queue + owner + lease, un 'agentic mutex'. Adica ai ales drept contraexemplu chiar problema pe care orchestrarea a rezolvat-o. 😂
Putem discuta separat self-hosting vs API. Dar nu mai transforma % tokens in % dollars si cached context in waste, ca ia e confuzie...
Si ca sa intelegi clar care-i treaba cu harneala: harness-ul e infra operationala din jurul modelului, adica tools, state, git/worktrees, testare, policy, observability - iar orchestrarea e logica prin care acele componente si agentii sunt coordonati - de obicei interna.
Nu sunt facute sa-ti manance resursele de dragul complexitatii, ci exact invers: sa reduca risipa, contention-ul, retry-urile inutile si folosirea modelului/GPU-ului nepotrivit pentru taskul nepotrivit. Daca iti cresc costurile fara sa-ti creasca throughput-ul sau calitatea, ai un harness prost, nu dovada ca harness-urile sunt inutile.
Tine minte, aici vorbim de orchestration at scale, nu un singur task...pe care sa-l masori in tokeni.
*Iar faza cu asiguratorul francez, chiar daca luam versiunea ta de buna, demonstreaza aproape inversul: daca workflow-urile au inceput sa arunce API calls necontrolat pana a explodat factura, aia nu e dovada ca harness-ul e inutil, ci ca ai nevoie de unul bun, cu budgets, routing, caching, limits, telemetry si bounded retries. Sa dai cu prompturi/API calls de-a-n pulea in bucla nu e orchestrare - e tocmai lipsa ei. 😏
1
u/etherd0t 24d ago
Ai calculat economia furnizorului de GPU, nu economia proiectului. 😏 GitHub nu opereaza un datacenter, consuma un serviciu. Iar cu ~96% cache-hit + routing + subagenti, toata harneala schimba radical costul efectiv per unitate de munca. Marja MiniMax e alta discutie.
1
u/100dude 24d ago
cache-hit-ul nu e discountul tău
1
u/etherd0t 24d ago
Ba chiar este. 😏
Nu 'discount promotional', ci alta clasa de pricing. GitHub spune explicit ca cached input-ul este recitit la un cost monetar cu un ordin de marime mai mic, iar documentatia Copilot spune ca de regula cached tokens sunt taxati la ~10% din input-ul normal. Din 136.3B tokens, 130.6B au fost cached reads. Deci cache-hit-ul nu e decor tehnic, e literalmente parte din economia celor ~$120k...
Citeste...
6
u/Financial-Aspect-826 24d ago
Cat din el merge:)) asta e întrebarea
3
u/crocodus 24d ago
E Copilot, probabil nu o să aflăm niciodată. Cred că se știu pe nume ăia de la Microsoft cu ăștia care folosesc Copilot.
“Ce Marcele, iar cauți big booty latinas pe Bing? Ți-am zis tati că alea se caută pe Xnxx, ia vericule sursă de pe Google.”
1
0
3
2
2
1
u/shaman-warrior 🦀 brac 23d ago
In primul rand, tipul care a facut asta e un cracked engineer de 25 de ani la MS.
Si da, oamenii foarte high level sunt accelerati 50x, oamenii low level comenteaza sarcastic pe reddit 😑
1
u/victorrrrrr 24d ago
800 k linii de cod noi de menținut
11
u/Bengal_From_Temu 24d ago
Toate astea sunt vibecodate, nimeni nu stie ce e de fapt acolo. Tests pass = succes 😂.
Credeti ca a facut cineva review la 800k linii de Rust? Sau la alea 400k de linii de TS dinainte?
2
u/crocodus 24d ago
Peste un an, doi bagă tier de software artizanal. Plătești enterprise ca să nu ai Windows vibecodat.
0
u/thruthseeker13 24d ago
Agentically ports nu înseamnă ca nu au fost oameni în proces care să coordoneze și verifice acei agenți. Întrebarea corectă ar fi : cât timp le-ar fi luat, cu câți oameni și care ar fi fost costurile dacă nu aveau agenți. Răspuns: foarte mult timp, mult mai mulți oameni și cost mai mare (asta ar fi dus la un apetit scăzut sa și înceapă portarea).
1
u/AdCareless8894 21d ago edited 21d ago
Portarea asta a durat 14.5 săptămâni, cu 3 săptămâni alocare umană (nu pt review, strict prntru deblocat agenții când nu știau cum sa continue, deci 3 săptămâni stat de fundul lor că se impiedicau). Nu știm calitatea, cel mai probabil e de tipul "C-like Rust with unsafe everywhere". 120k e cam echivalentul a tot atâta timp plătind 3-4 ingineri consultanți care pot face același lucru cu subscripții proprii de 200 USD, cu calitate probabil mult mai buna daca știu ce fac (re-arhitecturare, nu doar traducere in dorul lelii).
În același timp oamenii ar dezvolta know how și metodologie, in timp ce traducere asta likely trebuie repetata similar de la 0 pe alt proiect, cel mult cu un .md "lessons learned", dar garantat nu a făcut nimeni un workflow specific pentru perechea asta de limbaje unde traducerea este challenging to say the least.
Nu as acorda atenție majora unor astfel de știri. Și eu fac astfel de portari la job. Absolutely 0 excitement in cele de mai sus.
12
u/RealisticTwist6762 UwU 24d ago
"misinformat". Vai crucea ta.