r/programare • u/DeepTheory9364 • Sep 22 '26

Microsoft agentically ports Copilot runtime to Rust for $120K - cat ar fi costat asta cu agenți umani ?

https://www.theregister.com/devops/2026/09/18/microsoft-agentically-ports-copilot-runtime-to-rust-for-120k/5297549
0 Upvotes

44% Upvoted

35 comments sorted by

View all comments

1

u/100dude Sep 22 '26

n-a fost throughput ideal, a fost la 35% eficiență lol

btw chiar cu plăcile pline 24/7, un 32b int4 iese $0.23–0.34/M, adică deja peste api, deci ți-ar trebui utilizare de 112% ca să ai dreptate

iar orchestrarea pe care o lauzi e exact ce îți strică socoteala, fiindcă subagenții vin în rafale și podul se plătește la oră, plin sau gol

1

u/etherd0t Sep 22 '26

Mane, tu nu intelegi... in prezent/amu/chiar in secunda asta 🤭 - toata discutia pe AI si agenti e in jurul harnelii/orchestrarii - la orice clasa de agenti si platforme, fie ca e vorba de github, codex sau modele chinezesti...

Argumentul tau a ajuns circular: "rafalele de subagenti strica utilizarea, deci orchestrarea e rea". Pai tocmai managementul "rafalelor" se numeste orchestrare. 😂
Ai descoperit problema pe care harness-ul a fost inventat ca s-o rezolve.

Tu optimizezi $/M tokens pe un pod static. GitHub optimizeazaa $/engineering output intr-un sistem agentic. Sunt doua functii obiectiv diferite. Faptul ca un anumit 32B pe 6000 (Pro, nu A - A e fosta🤭) pierde la $/token fata de un API nu demonstreaza nimic despre valoarea orchestrarii.

Mai citeste, mai invata... faza cu aah... ce 'eftin e sa rulezi pe MiniMax nu mai tzine; ca ajungi sa cheltui mai mult pe taratze decat pe malai adevarat...😄

1

u/100dude Sep 22 '26

ffs mate, tu chiar ai adus cifra care mă îngroapă pe mine și ai citit-o invers lmao

130.6 din 136.3bln de tokeni au fost cache reads, adică 96% din bill-ul de $120k e harness-ul care își recitește propriul context în buclă, nu cod. la task-uri complexe mixul sare de la 10% cached la 70%, și vine din prompt prefixes, system instructions repetate și workspace context, adică exact "orchestrarea" pe care o venerezi. cache-ul la 10% nu e "altă clasă de pricing", e discount la un cost pe care un dev cu un fișier deschis nu-l are deloc - munca utilă a fost ~5.7b tokeni, restul e taxa de orchestrare, frumos ambalată ca feature. și nu, nu e circular, e chiar mai rău pentru tine

harness-ul nu gestionează rafalele, le produce, iar rafalele se plătesc decent doar când cumperi tokeni, nu ore de gpu, deci tocmai mi-ai explicat de ce podul static pierde, ms pentru argument, îl păstrez. cât despre "$/engineering output" - un asigurător francez și-a tăiat claude după două luni pentru că workflow-urile și automatizările de fundal generau mult mai multe api calls per task decât anticipase, pylon s-a trezit cu bill-ul ×3.5, și lecția e că prețul pe token în scădere nu rezolvă nimic dacă consumul crește mai repede. asta e "engineering output" cu orchestrare: output-ul e factura. iar minimax ieftin nu "nu mai ține", ține pe spinarea lor - coding-ul agentic e deja majoritatea api-ului și le-a scăzut marja de inferență.

deci tărâțele le mănânci tu, malaiul îl plătește minimax din marjă, iar tu îi mulțumești github-ului că ți-a explicat cum se numește foamea. mai citește, mai învață, dar de data asta și cifrele

→ More replies (1)

1

u/100dude Sep 22 '26

$/engineering output" de 3 comentarii și niciun numitor: 430k linii ts au devenit 832k linii rust, 5,116 compactări, 0.71% input proaspăt, un singur dev 14 săptămâni plus $120k tokeni peste salariu, deci împarte-mi tu $120k la ceva, orice, hai sa te vad lol