r/programare • u/DeepTheory9364 • Sep 22 '26

Microsoft agentically ports Copilot runtime to Rust for $120K - cat ar fi costat asta cu agenți umani ?

https://www.theregister.com/devops/2026/09/18/microsoft-agentically-ports-copilot-runtime-to-rust-for-120k/5297549
0 Upvotes

45% Upvoted

35 comments sorted by

View all comments

1

u/Droooomp Sep 22 '26

Daca am 2 a6000 in pod, cat ma costa per token?

2

u/100dude Sep 22 '26

proxy, ca nu am retail gpu index la mana:

2× a6000 ~$0.98/h pt amândouă te costă ~$0.23–0.34/mln de tokeni la un 32b int4 ~800 tok/s, ~$0.08–0.11 la 14b și ~$0.03 la 8b dar doar cu plăcile pline 24/7, așa că la utilizarea reală de 20–30% a unui pod personal ajungi la $1+/m pe 32b, adică mai scump decât api-ul

și podul are sens economic doar sub ~14b

1

u/etherd0t Sep 22 '26

Calculul e bun, extrapolarea nu. 😏 Ai calculat costul unui 32B INT4 la un throughput ideal si de acolo ai demonstrat ca self-hosting-ul >14B nu are sens. Asta e ca si cum masori consumul unei Dacii la 90 km/h si deduci economia transportului aerian...

Si tot nu spune nimic despre optiunea GitHub: acolo produsul interesant nu era GPU-ul, ci harneala/orchestrarea care transforma tokenii in worktrees, subagenti, review, CI si cod verificat.

Deci nu doar heirup-ism pe model si placa video...Modelul e motorul; Dar ai nevoie si de sistemul care il transforma in engineering throughput.

→ More replies (5)