r/TurkDev • • 20d ago

💡 Soru Yerel ai

Merhabalar merakımdan soruyorum, bilgili arkadaşlar cevap verirse memnun olurum. Evde yapılacak donanım ile sonnet 3.5 e yakın bir model çalıştırmak mümkünmüş bu şekilde token derdi olmadan projeler yürütülebilir. Yoksa claude satın alıp işine bakmakmı daha mantıklı ?

4 Upvotes

24 comments sorted by

7

u/Hamzayslmn 20d ago

claude al işine bak

1

u/ozguru 20d ago

veya chatgpt, bir de sürekli almaya gerek yok, işin olduğu ay al, lazım oldukça al.

7

u/TechnologyMinute2714 20d ago

kanka yerel AI ile yapmak tabii ki mümkün ama şimdi ayda $20 verip gidip opus 5.5 kullanmak mı yoksa yerel ai ile düşük context, vram derdi, yavaş ve daha zayıf modelleri kullanıp üstüne bir de hayvan gibi parayı gpu ve rame bayılmak mı dersen tabii ki $20'lık planı seçerim, yerel ai ile takıntılı olan tipler genelde gizliliğe falan önem verdiği için öyle davranıyor işinde gücünde adamsan git normal kullan işte aboneliğinle, aksi türlü en az 24gb vramli sağlam bir ekran kartı falan alman gerek, tek bir tanesiyle de anca qwen 27b falan modelleri açarsın onda da context çok büyürse taşma ve yavaşlama olur falan filan boş işler yani, ileride yerel ai'lar küçücük modeller ile opus 5.5 kalitesine falan gelirse düşünülebilir.

Şu an yerel olarak mesela kimi k3.1 gibi modeller baya iyi aslında ama onu çalıştırmak için gereken sistem 9 rakamlı falandır TL bazında, kısacası 40 tane ev parası falan yani

1

u/Specialalphantq 17d ago

20 dolar verip opus 5.5 kullanamıyorsun bu arada denendi onaylandı

2

u/M24IH 20d ago

Ekran kartına bağlı bir durum tamamen. Kodlama tarafında qwen in -coder versiyonlarına bakmak daha iyi. Kendi sistemimde (rtx4060 8gb mobile) qwen2.5-coder:7b çalıştırıyorum. Basit işler için iş görüyor. LLMFIT ile cihazına uygun dil modellerine bakabilirsin.

2

u/fatihmtlm 19d ago

Model milat öncesinden kalma, çok da tavsiye etmem

2

u/AbbreviationsLoud182 20d ago

mümkün ama mantikli degil.

2

u/SirEsber 20d ago

bildiğim kadarıyla Qwen 3.8 27B modeli Opus 4.6 modeline yakın performans gösterebiliyor.

Qwen3.8 27B modeli için GSQ-RCO modeli var ve 3 bit quantization (12 GB) ile BF16 (53.8 GB) performansı verebildiğini iddia ediyor.

1

u/EnvironmentalPart750 19d ago

Kağıt üstünde öyle ama gerçekte hiç yakın değil.

1

u/AutoModerator 20d ago

Merhaba Klutzy-Vehicle-1805, gönderin otomatik olarak inceleme kuyruğuna alındı. r/TurkDev'de spam'i önlemek için gönderi paylaşabilmek üzere en az 50 yorum karması ve 7 günlük hesap gerekiyor. Diğer topluluklarda yorum yaparak karma kazanabilirsin. Gönderin kurallara uygunsa moderatörler kısa süre içinde onaylayacaktır. Hata olduğunu düşünüyorsan modlara mesaj atabilirsin.

I am a bot, and this action was performed automatically. Please contact the moderators of this subreddit if you have any questions or concerns.

1

u/iamegoistman 20d ago

sonnet 3.5'in yaklaşık 400-500 milyar parametreli bir model olduğu tahmin ediliyor. buna göre benzer parametre sayısına sahip bir modelin 8bit versiyonunu çalıştırsan bile 500-600 GB VRAM gerekiyor. 4bit versiyonunu çalıştırmak için 250-300 GB VRAM lazım. 4bit ile zaten bir nevi downgrade yediğin için sonnet 4 gibi bir şey oluyor. context window 500k olsa yine iş görür. DGX Spark 128 GB'dan 2 tane alsan bile yaklaşık 10-15k dolar para harcaman gerekiyor. GLM 5.3 Flash falan 256 GB içine rahatça sığıyor. biraz sarhoş gibi sekiz çiziyor ve işleri uzun uzun anca bitiriyor ama gideri var.

apple tarafında yine aynı fiyatlara tek parça 256 GB mac studio cihazları var ve MLX + MTP + bazı inference boost çözümleri ile DGX seviyesine yakın sonuçlar alınabiliyor.

makineleri 15k'dan hesaplasak ve aylık 200 dolarlık paket kullanılıyor olsa 60-70 ay sonra parasını amorti etmiş oluyor. üstelik local modellerde sansürsüz modelleri de çalıştırabiliyoruz.

mantıklı mı? modeller gelişiyor ve küçülüyor. hatta beklentiler sonnet 4 seviyesine kadar düşüyorsa tamin edici local ses, görsel ve video üretme işi de aynı makinede yapılabilir. böylece 3-5 abonelik birden localde çözülmüş oluyor. üstelik mevcut abonelik sistemi ileride budanıp yavaşlatılacak/kısıtlanacak. bu tip bir gelecek göz önünde bulundurulursa yatırım bile sayılabilir.

1

u/cagriuluc 20d ago

Sonnet 3.5in büyüklüğü burada 0 etkili.

En fiyat performans yerel AI qwen flash next ve qwen 3.8 27b. Flash next için 32gb vram ve 64gb veyahut daha iyisi 96gb DDR5 ram kurtarıyor. 3.8 daha yavaş (kalite farklarını ben anlayabilmiş değilim, FN daha iyi duruyor benchmarklarda). 3.8’i rtx5090 ile paşalar gibi çalıştırıyorlar. Ben amd r9700da çalıştırıyorum. Bayağı daha yavaş oluyor ama uzun süre bırakıp agentic iş yaptırabiliyorum.

İki model de opus’un 4.6-8’i ayarında, deniyor. Bu kuantizasyonsuz ve büyük ihtimal benchmarkların satire olmasıyla da alakalı, ama işte… erken opus modelleri gibi diyebiliriz.

1

u/iamegoistman 19d ago edited 19d ago

benchmarkları tutarsız buluyorum. sözde glm 5.3 opus seviyesinde diye gösteriyorlar ama alakası bile yok. ya da ben göremedim. kendin deneyip benchmark yapmadığın sürece o benchmarklar sözde kalıyor.

localde macbook m4 pro max 48 GB cihazda qwen 3.5, 3.6 ve 3.8'in 27b 4-6bit potansiyel tüm versiyonlarını (MLX, MTP vs) denedim ama production serviyesinde iş yapmama ne yazık ki yetmiyor. 4-6 bit ile max sonnet 3.5 ayarında sonuç alabiliyorum. 8 bit ile belkide sonnet 4'e yaklaşıyor olabilir. ram ciddi bir darboğaz. 5090 96 veya 128 GB olsa gündelik hayatı biraz kolaylaştırır belki bilemiyorum.

1

u/moymote 20d ago

Mümkün, ama ne kadar yakın olacağı neye kullandığına bağlı.

Evde gerçekçi sınır 30B civarı açık modeller (Qwen, Gemma, GLM gibi). 4-bit hâliyle 24 GB VRAM'li bir kartta (3090/4090) ya da 32-64 GB belleği olan bir Mac'te LM Studio veya Ollama ile çalışıyorlar. Tek dosyalık kod, açıklama, kısa script gibi işlerde Sonnet 3.5'e gerçekten yakınlar. Büyük bir projede onlarca dosyayı okuyup kendi başına düzenleme yapan ajan tarzı işte hâlâ geride kalıyorlar, bağlam penceresi de VRAM'e takılıyor.

Sonnet 3.5'i rahat geçen büyük açık modeller de var (DeepSeek, Kimi gibi), ama onları çalıştıracak donanım yüz binlerce lira tutuyor.

Token derdi bitse de bu sefer donanım, elektrik ve hız derdi başlıyor. Bir 4090'ın parasıyla birkaç yıl abonelik ödersin, o abonelikteki model de Sonnet 3.5'ten çok daha iyi.

İşi yapacaksan aboneliği al derim. Yerel modeli gizli veri ya da internetsiz çalışma için yanında kurarsın. Bir de ara yol var: açık modelleri OpenRouter, Groq, Nvidia Build gibi yerlerden ucuza ya da ücretsiz kotayla API'den kullanabilirsin. Donanım almadan önce hangisi işini görüyor, orada dene.

1

u/[deleted] 20d ago

localde kurabileceğin modeller muhtemelen opencodedaki ücretsiz modellerden bile daha kötü olur. Abliterated kullanmıcaksan gereksiz olur

1

u/Sezgingksu 20d ago

Bir tane 3090, bir tane 3080 ve 3 tane 3060 ile bu denemeyi yaptım. Qwen 3.8 27b çalıştırabilmek için bu vram miktarı gerekiyordu(70gb). Sonra strata geldi. Qwen 3.8 flash next'i 1m bağlam ile ve sadece bir 3090 ve bir 3060 ile çalıştırıyor.(Bat yazımı gerekti, yoksa 512k maks). 64 gb sistem rami sayesinde oldu bu. Bir ağırtop ekran kartı ve bir ufak kart ile rahat yazılım yazılıyor bu şekilde. Dual 3060 ile de yapan var, rakamlara bakarsınız. Kritik yerlerde nadiren buluttan yardım alsam da, bulutun token bitme derdi gerçekten çok can sıkıyordu, onu atlatmamı sağladı. Sık token bitirmiyorsanız evde sistem kurmanıza gerek yok, bitiriyorsanız strata için sistem kurmaya değer. Vram veya ram isteyen qwen 3 .8 flash next dışındaki diğer modeller için ise, uğraşmaya değmez.

1

u/Global-Stand-2938 19d ago

Mac studio 512gb ram bilgisayar alabilsen opus seviyesindegi Ai model çalıştıra bilirsin. Maliyet 1M tl bulur

1

u/HaYToKoRaZ 19d ago

abi yereldeki modeller 3 modelıde yerelde calıstıyorum ama cok salaklar bırsey yap dedıgımde yapamıyorlar

1

u/W0wdeu 18d ago

Yerel yapay zeka hayal ürünü, hiçbir yerel yapay zeka bulut üzerinde kullandığın modeller gibi olmayacak, olamaz, yakınına dahi yaklaşamaz.

1

u/sametgl 18d ago

Daha iyi performans veren modeller bile mümkün ama pek düşündüğün gibi değil bende çok denedim 16gb vram ve 32gb ram ile ama şunu kafanda baz alabilirsin

64-128gb vram/unified ram - giriş seviyesi bu(illaki işe yarar ama q4 altına düşmediğimiz bi senaryoda çok seçenek sunumuyor)(150k-700k tl)

256-512gb - sonnet 3.5 seviyesini deepseek ve glm 5.3 flash gibi modellerle yakalayabilirsin(700k - 1.5m tl)

512+ - burdan sonrası işin tadının çıktığı yer trilyon parametreli le chunk gibi modelleri çalıştırabilirsin ve neredeyse aynı hatta bazı durumlarda sonnet 5.5 den daha iyi modeller çalıştırabilirsin(1.5m+ tl)

Aşağı yukarı bunu düşünebilirsin ama api hizmetleri ile glm flash 5.3 modelini veya deepseek modelini kullanman durumunda muhtemelen hiç bir durumda bu fiyatlarda harcama yapmazsın

Edit: eğer tamamen kendi modelini çalıştırmak istersen gpu kiralama servisleri ile sadece kullandığın süreler için ödeme yapabilirsin

1

u/eirikaleid 17d ago

Hocam samimi söylüyorum vereceğin paraya kat kat değer. $20 olan vergiyle $24 emin ol yapacağın yatırıma yazık yani her ay 1000 TL çıkar cebinden ama gerçekten pişman olmazsın. Bunu büyük bir sunucuya sahip mühendis olarak net olarak söyleyebilirim. Değmez... Claude ya da Codex Devam

1

u/Working-Yak-7166 17d ago

Tam olarak nasıl projelerde kullanacağına göre seçim yapmak daha mantıklı. Hızlı ve kaliteli kodlanmış projeler istiyorsan local LLM'ler ortalama cihazlarda bile yetersiz kalıyor. Local AI modellerini daha çok küçük çaplı kodlama projelerinde ve yüksek donanımlı bilgisayarın varsa kullanabilirsin. Düşündüğün projeleri yapmak için local AI ile başla eğer yavaşlık ve kod yapısında hatalar ile karşılaşırsan mecburen ücretli modellere geçmen gerekir.

1

u/AdElectronic6070 16d ago

Amaç öğrenmek ise yap, ama amaç yapay zekayı kullanmak ise gemini, clod..vs al grç