Açık Ağırlıklı Bir LLM'yi Kendi Kendine Barındırmak vs. Bir API: Gerçek Maliyet Hesabı

Ürününüz piyasaya çıkar, bir LLM API'sini çağırır ve fatura her ay biraz daha yükselir. Böylece her yapımcının eninde sonunda yaptığı şeyi yaparsınız: yeni bir sekme açar ve bir GPU kiralayıp Llama'yı kendiniz çalıştırmanın daha ucuz olup olmayacağını merak edersiniz.

LLM'yi kendiniz barındırma maliyeti sorusunun bir cevabı var, ama bu, üst arama sonuçlarının ve AI Overview'ların tekrarlayıp durduğu tek bir sayı değil. Bu makalelerin düzleştirdiği üç şeye bağlıdır: hangi API'ye karşı karşılaştırma yaptığınız, GPU'nuzun ne kadar meşgul olduğu ve kimsenin tabloya koymadığı ops maliyeti.

Ayrıntılardan önce kısa versiyonu: çoğu yalnız yapımcı için, kendi kendine barındırma şu anda maliyette kazanmıyor. Ama bunun döndüğü belirli bir çizgi var ve bunu yaklaşık iki dakikada kendi faturanız üzerinde hesaplayabilirsiniz. Aşağıda 2026 hesabı var (güncel fiyatlar, modele göre VRAM sayıları ve çalıştırabileceğiniz bir formül).

Kısa Versiyon

• Başabaş noktası tek bir sayı değildir. Hangi API'ye karşı karşılaştırma yaptığınıza bağlı olarak üç tanedir. Bir öncü API'ye karşı (GPT-5.x, Claude Sonnet 5 / Opus 4.8, Gemini Pro), kendi kendine barındırma en erken başabaşa ulaşır. Bütçe dostu bir açık ağırlıklı API'ye karşı (DeepSeek, DeepInfra, Together kabaca milyon token başına $0.14–$0.50), maliyet açısından neredeyse hiç kazanmaz.
• Kullanım, yalnız durumu öldüren çarpandır. Kiralık bir GPU boştayken de tam yükte olduğu kadar maliyetlidir, dolayısıyla %10 kullanımda çalışan bir GPU, token başına tam yükte maliyetinin kabaca 10× kadarına mal olur. Ani yükselişli yalnız iş yükleri varsayılan olarak düşük kullanımda oturur.
• Başabaş noktasının altında, maliyet kazancı genellikle kendi kendine barındırma değil, bütçe dostu bir açık ağırlıklı API'ye geçmektir. Kendi kendine barındırma, öncü fiyatlandırmaya karşı sürekli hacim %60+ kullanımda çizgiyi aştığında ya da maliyet dışı bir gerekçeniz (gizlilik, gecikme, ince ayar kontrolü) olduğunda hakkını verir.
• Herhangi bir şey kiralamadan önce formülü kendi sayılarınız üzerinde çalıştırın. Başabaş token ≈ GPU VPS aylık maliyeti ÷ token başına harmanlanmış API fiyatınız.

Bunun Kapsamadığı Şeyler

• Çok düğümlü ya da veri merkezi ölçeğinde GPU kümeleri. Bu bir yalnız maliyet kararıdır, bir filo değil.
• İnce ayar ekonomisi herhangi bir derinlikte (kendi ödünleşimleri olan ayrı bir hesaplama).
• Adım adım bir Ollama-vs-vLLM kurulum eğitimi. Buradaki kapsam para sorusudur, kurulum değil.
• Birincil aracınız olarak sahip olunan donanım. Boyunca varsayım kiralık bir GPU'dur, çünkü bu, masasında zaten bir GPU olmayan bir yapımcı için gerçekçi yoldur.

Maliyeti Ne Belirler (ve Popüler Sayılar Nerede Yanılır)

"self host LLM vs API cost" aramasını yapın ve düzgün bir başabaş rakamına ulaşırsınız: ayda yaklaşık 11 milyar token ya da ayda yaklaşık $4,200 API harcaması gibi bir şey, şurada alıntılanan: braincuber'ın maliyet analizi ve sayfanın en üstündeki AI Overview'da neredeyse kelimesi kelimesine yankılanan. Temiz bir sayı. Aynı zamanda kendi başına neredeyse işe yaramaz, çünkü cevabınıza karar veren iki değişkeni gizliyor.

Bunun kaygan olmasının nedeni, karşılaştırmanın iki tarafının farklı maliyet şekillerine sahip olmasıdır. Bir API faturası değişken bir maliyettir: token başına ödersiniz, dolayısıyla fatura ne kadar kullandığınıza göre iniş çıkış yapar. Kiralık bir GPU sabit bir maliyettir: içinden bir milyar token geçirseniz de boş bıraksanız da aynı aylık ücreti ödersiniz. Değişken bir maliyeti sabit bir maliyetle tek bir sayıyla karşılaştırmak, tam olarak kaç token akacağını bildiğinizi varsaymanızı gerektirir ve yalnız ölçekte, genellikle bilmezsiniz.

Bu, başabaşı hareket ettiren üç kaldıraç bırakır:

• Hangi API'ye karşı karşılaştırma yaptığınız. Bir öncü API ile bütçe dostu bir açık ağırlıklı API arasında fiyat açısından kabaca iki büyüklük derecesi vardır. Her birine karşı başabaş çılgınca farklıdır.
• GPU kullanımınız. Sabit maliyet yalnızca GPU meşgulse karşılığını verir. Boş zaman, hiçbir şey için harcadığınız paradır.
• Gizli ops maliyeti. Saatleriniz, model güncelleme çalkantısı ve üretime geçene kadar ortaya çıkmayan VRAM sürprizleri.

Bunların her birini fiyatlandırın ve sis dağılır. Bu makalenin geri kalanı da budur.

Bölümün çıkarımı: başabaş tek bir sayı değildir. Üç sayıdır, API katmanı başına bir, ve karşılaştırılacak yanlış katmanı seçmek, çoğu maliyet tahmininin yanıldığı yerdir.

Üç Yönlü Başabaş: Öncü vs. Orta Katman vs. Bütçe API

Bir GPU VPS'te açık ağırlıklı bir LLM'yi kendiniz barındırmak, GPU'yu sağlıklı kullanımda tuttuğunuz sürece (diyelim %60 veya üzeri) günde kabaca birkaç milyon token civarında bir öncü API'yi (GPT-5-sınıfı, Claude Sonnet 5 / Opus 4.8, Gemini Pro) yener. Milyon token başına yaklaşık $0.14–$0.50 olan bütçe dostu bir açık ağırlıklı API'ye karşı, maliyet açısından nadiren hiç kazanır. Bu fark hikayenin tamamıdır ve tek bir başabaş sayısının neden doğru olamayacağının nedeni budur.

İşte üç katman boyunca şekli. Bu eşikleri kesin çizgiler değil, yönlü aralıklar olarak ele alın. Topluluk tahminlerinden ve her ikisi de hızlı hareket eden 2026 fiyatlandırmasından geliyorlar.

Fiyatlar şuradan: OpenAI, Anthropic, Google, DeepInfra, Together, ve DeepSeek July 2026 itibarıyla fiyatlandırma sayfaları. Bu sayıların her birinin raf ömrü aylarla ölçülür, o yüzden kararınızı vermeden önce güncel sayfaları kontrol edin.

Şimdi aykırı nokta, çünkü kararları değiştiren o. Bütçe API'lerinin kendi kendine barındırma başabaşını öldürdüğüne dair gürültülü ve doğru bir argüman dolaşıyor. Şunlar gibi açık ağırlıklı API'ler: DeepInfra ve Together artık Llama ve Qwen modellerini öncü fiyatların bir kesrine sunuyor ve öncü fiyatların kendisi de 2025'ten bu yana keskin bir şekilde düştü. O bütçe oranlarına karşı, token başına başabaş ayda milyarlarca token'a ulaşıyor. Bir yalnız girişimci ayda milyarlarca token itmiyor. Yani tek amacınız daha düşük bir faturaysa, ilk hamle genellikle "bir GPU kirala" değil, "bütçe dostu bir açık ağırlıklı API'ye geç ve sıfır ops tut" olur.

Kendi kendine barındırmanın maliyet gerekçesi iki yerde hayatta kalır: gerçekten yüksek, sürekli hacimde pahalı öncü fiyatlandırmaya karşı karşılaştırma yapmak ve aşağıda ele alınan maliyet dışı gerekçeler (gizlilik, gecikme, ince ayar kontrolü). Her yerde bütçe API'si para argümanını kazanır.

Başabaş Formülü

break-even tokens per month ≈ GPU VPS monthly cost ÷ your blended API price per token

İşlenmiş örnek, yalnız girişimci ölçeği: diyelim ki tek bir üst düzey GPU VPS ayda yaklaşık $1,000 tutuyor (üst tek GPU katmanı için 2026 katalog aralığı) ve milyon token başına yaklaşık $6 harmanlanmış oranlı bir öncü API'desiniz (kabaca token başına $0.000006). Bu, GPU'nun kağıt üzerinde kendini amorti etmesinden önce ~$1,000 ÷ $0.000006 ≈ 167 million token/ay demek. Şimdi bunu milyon başına $0.40 olan bütçe dostu bir açık ağırlıklı API'ye karşı yeniden yapın ($0.0000004/token): ~$1,000 ÷ $0.0000004 = 2.5 milyar token/ay. Aynı GPU, aynı sabit maliyet ve başabaş, tamamen paydaya hangi API'yi koyduğunuza bağlı olarak 10×'ten fazla hareket ediyor. Bu, kullanımdan önce, ki o da sayıyı daha kötü yapar.

Bölümün çıkarımı: Karşılaştırma yaptığınız API başabaşınızı 10× veya daha fazla hareket ettirebilir, dolayısıyla "sayıları çalıştırın" gerçekte değiştireceğiniz belirli API'ye karşı çalıştırmak anlamına gelir.

Kullanımın Token Başına Maliyete Ne Yaptığı

O ~167 milyon token'lık öncü başabaşı alın ve formülün sessizce varsaydığı değişkeni ekleyin: GPU'nuz tüm zaman boyunca meşgul. Değil. Kiralık bir GPU doymuş da olsa boşta da olsa aynı faturayı keser, dolayısıyla token başına efektif GPU VPS LLM maliyetiniz kullanımla ters orantılı olarak ölçeklenir. %10 yükte çalıştırın ve sunduğunuz her token, tam yükte olacağı maliyetin kabaca 10× katını taşır, çünkü kullanmadığınız kapasitenin %90'ı için ödeme yapıyorsunuz. Topluluk tahminleri ve uygulayıcı yazıları, sayılar sizi utandırmaktan vazgeçmeden önce pratik tabanı yaklaşık %50–60 sürekli kullanıma koyar (yönlü rakamlar, laboratuvar sabitleri değil).

Ani yükselişli bir yalnız iş yükü için (gün içinde sıçrayan ve gece boyunca düz seyreden trafik), sürekli %60 kullanımı yakalamak zordur. İşte tuzak bu. İşte 2026 katalog GPU fiyatlarını her kullanım seviyesindeki kabaca aylık verimliliğe bölerek birkaç somut nokta boyunca milyon token başına maliyete ne yaptığı:

Token başına mutlak sent, modelinize, nicemlemenize ve karta ne kadar eşzamanlı istek sığdırabileceğinize bağlıdır, o yüzden sütunları bir teklif olarak değil, cezanın şeklini gösteriyor olarak ele alın. Asıl nokta çarpandır: tam yükten çeyrek yüke düşün ve token başına maliyetiniz kabaca dörde katlanır. Genellikle yalnız kendi kendine barındırma durumunu öldüren şey budur, GPU etiket fiyatı değil.

Bir yapısal kaçış kapağı var ve ani talep için kiralamanın sahip olmayı yenmesinin nedeni bu: kiralık bir örneği boştayken durdurabilirsiniz. Donanıma sahip olun ve kullansanız da kullanmasanız da değer kaybeder ve güç çeker. Saatlik ya da talep üzerine kiralamalarda, iş bittiğinde örneği durdurabilir ya da yıkabilir ve boş saatler için ödeme yapmaktan kaçınabilirsiniz. Sabit aylık planlarda, fatura fatura dönemi için hala sabittir, dolayısıyla kullanım ana maliyet sorunu olarak kalır. Bu, tüm gün gerçekten düşük kullanımlı bir iş yükünü düzeltmez, ama ani yükselişlerde meşgul ve aralarda ölü olan talep için, sayacı kapatabilme yeteneği, kirala-veya-sahip-ol dengesini kiralama yönüne eğen tek kaldıraçtır.

Bölümün çıkarımı: kullanım, GPU'nun aylık fiyatı değil, genellikle kendi kendine barındırmanın hesabının tutup tutmadığına karar veren şeydir ve popüler başabaş sayılarının tamamen dışarıda bıraktığı değişkendir.

Hangi Model Hangi GPU'ya Uyar: VRAM Gerçeği

İlk kırılan plan "bir 4090'da bir 70B çalıştırırım işte" planıdır. Çalıştıramazsınız. Q4_K_M nicemlemesinde 70B'lik bir model kabaca 40–46 GB VRAM'e ihtiyaç duyar ve 24 GB'lik bir RTX 4090 ya da 32 GB'lik bir RTX 5090'ın buna yeri yoktur. Onu 24 GB'lik bir karta zorlayın ve görünür kalite kaybıyla Q2_K nicemlemesine (yaklaşık 21 GB) düşersiniz, ya da model sistem RAM'ine taşar ve üretim hızı çöker. VRAM, belirli bir GPU için hangi modellerin masada bile olduğuna karar veren sert duvardır.

İşte nereye ne uyuyor. VRAM rakamları yaklaşıktır: standart parametre başına bayt aritmetiğinden türetilmiştir (FP16 ≈ params × 2, ~%15 ek yük ile; Q4_K_M ≈ params × ~0.55, ek yük ile), o yüzden onları garanti değil, boyutlandırma rehberliği olarak ele alın.

VRAM rakamları her kart için NVIDIA'nın resmi GPU spesifikasyon sayfalarına karşı çapraz kontrol edilmiştir. A100, nicemlenmiş bir 70B'ye daha rahat bir pay verir; RTX 6000 Ada daha sıkı Q4 kurulumları için işe yarayabilirken, 24 GB ve 32 GB'lik tüketici kartlarının normal bir 70B Q4 dağıtımı için yeterli VRAM'i yoktur. GGUF, GPTQ, AWQ ve EXL2 formatlarının belleği nasıl tükettiğinin tam dökümünü istiyorsanız, bu kendi okumasına değer bir tavşan deliği: GGUF, GPTQ, AWQ, EXL2: LLM nicemleme formatları belleği gerçekte nasıl kullanır.

Tek bir 24 GB'lik kart için topluluğun tatlı noktası, 24B'den 32B'ye bir modeldir (Q4'te Mistral Small 3.1 ya da Qwen 3 32B). Bu, yalnız bir yapımcıya en ucuz GPU katmanında, tüm yol boyunca VRAM'le boğuşmadan kullanışlı bir model veren boyuttur. İlk etapta hangi kartı kiralayacağınızı tartıyorsanız, bizim AI iş yükleri için H100 vs RTX 4090 kıyaslaması katmanları verimlilik açısından karşılaştırır.

Pro İpucu: yalnızca ağırlıklar için değil, KV cache için bütçe ayırın. En yaygın ilk dağıtım sürprizi: GPU'yu model ağırlıkları için boyutlandırırsınız, yüklersiniz ve uyar. Sonra istekler gelir, KV cache bağlam uzunluğu ve eşzamanlılıkla büyür ve ilk birkaç kullanıcınıza hizmet verirken VRAM'iniz tükenir. VRAM taştığında ve model CPU'ya taştığında, üretim hızı 10–100× düşer. Tablodaki ağırlık rakamlarının üzerinde cache için pay bırakın, özellikle uzun bağlamlara ya da aynı anda birden fazla kullanıcıya hizmet veriyorsanız.

Naif Tasarrufları Silen Gizli Maliyetler

Kendi kendine barındırmanın daha ucuz olduğunu söyleyen tablo neredeyse her zaman tek bir satıra sahiptir: GPU'nun aylık fiyatı. Ödediğiniz faturada daha çok satır vardır. Zamanınız var (yamalamayla, takılmış bir çıkarım sunucusunu yeniden başlatmayla ya da bir bellek yetersizliği çökmesini kovalamayla geçirdiğiniz her saat, ürüne harcamadığınız bir saattir). Model güncelleme çalkantısı var: dağıttığınız açık ağırlıklı modelin yerine yenisi gelir ve yeniden kıyaslama ve yeniden dağıtım tek seferlik bir kurulum değil, tekrarlayan bir iştir. Bir önceki bölümden gelen VRAM ve KV-cache sürprizi var. Ve boşta israf var, GPU'nun hiçbir şey çalışmazken fatura keserek oturduğu saatler.

Bunları saymış olan uygulayıcılar, ops zamanı katıldığında gerçek maliyeti kabaca ham GPU fiyatının 1.3–2× katına koyar ve bazıları daha dağınık kurulumlarda 3–5×'e kadar daha yükseğe çıkar. Bunlar topluluk yazılarından gelen yönlü çarpanlardır, denetlenmiş rakamlar değil, ama yön asıl noktadır. Geniş çapta alıntılanan bir çerçevenin dediği gibi, boştaki bir GPU bir varlık değil, saatlik faturalanan bir yükümlülüktür. Bir yalnız yapımcı için bunu fiyatlandırmanın doğru yolu bir MLOps maaş kalemi değil, sahip olduğunuz en kıt şey olan kendi saatlerinizdir. Kendi kendine barındırma kağıt üzerinde size ayda $200 tasarruf ettiriyor ama aksi halde ürün göndermeye harcayacağınız altı saatlik ops'a mal oluyorsa, bu belirgin bir kazanç değildir.

Yine de Kendi Kendine Barındırmanın Kazandığı Yerler: Gizlilik, Gecikme ve İnce Ayar

Maliyet, kendi modelinizi çalıştırmanın tek nedeni değildir ve bazı yapımcılar için asıl neden bile değildir. Paranın "API'de kal" dediği maliyet başabaşının altında, yine de kendi kendine barındırmak için üç neden vardır. Veri egemenliği: kullanıcılarınızın istemlerini ve verilerini harici bir AI sağlayıcısının hattından uzak tutmak, ki bu sayılar ne derse desin bazı ürünler için önemlidir. Öngörülebilir gecikme: paylaşımlı kiracı kuyruğu yok, ayarlamadığınız hız sınırları yok, başka birinin trafik sıçraması sırasında sürpriz yavaşlamalar yok. Ve tam kontrol: bir satıcıyı beklemeden ince ayar yapma, nicemleme, modelleri değiştirme ve sürümleri sabitleme özgürlüğü.

Gizlilik noktasında bir uyarı var ve onu atlamak dürüstçe olmaz. Kiralık bir GPU VPS hala başka birinin veri merkezindeki başka birinin donanımı üzerinde çalışır. Bu anlamlı bir egemenliktir AI sağlayıcısının eğitim ve günlükleme hattından (istemleriniz bir model satıcısının sistemlerinden akmıyor), ama fiziksel olarak kontrol ettiğiniz yerinde ekipmanla aynı şey değildir. Gereksiniminiz gerçek yerinde izolasyonsa, kiralık bir VPS sizi oraya götürmez. Gereksiniminiz "verilerimizi üçüncü taraf bir model sağlayıcısının elinden uzak tut" ise, götürür. Hangisine ihtiyacınız olduğunu bilin.

Kısıtlayıcı ağ ortamlarında çalışan iş yükleri için, kontrol ettiğiniz altyapıda kendi kendine barındırılan bir model, ulaşılamaz olabilecek harici uç noktalara olan bağımlılıkları da atlayabilir, ki bu, onu nerede dağıttığınızdan bağımsız olarak önem taşıyan bir yetenektir.

Peki Kendi Kendinize Barındırmalı mısınız? Duruma Göre Düz Bir Cevap

Yukarıdaki her şey kısa bir karara ayrılır. Bir faturanız, aylık token hacminize dair kaba bir hissiniz ve şimdi üç başabaş katmanı, kullanım cezası ve gizli maliyet çarpanı var. Durumunuzu şunlardan birine eşleyin:

• Öncü başabaşın altındasınız ve maliyet tek endişeniz. Bir API'de kalın ve her şeyden önce bütçe dostu bir açık ağırlıklı API'yi (DeepSeek, DeepInfra, Together) ciddi şekilde fiyatlandırın. Kendi kendine barındırma değil, genellikle maliyet kazancı budur. API değiştirmek bir yapılandırma değişikliğidir; kendi kendine barındırma ikinci bir iştir.
• Öncü fiyatlandırmaya karşı sürekli, yüksek hacminiz var ve bir GPU'yu %60+ kullanımda tutabiliyorsunuz. Kendi kendine barındırmanın karşılığını verdiği yer burasıdır. Formülü öncü oranınıza karşı çalıştırın, eşiği sürekli kullanımla (zirveyle değil) aştığınızı doğrulayın ve kiralık bir GPU VPS kazanmaya başlar.
• Maliyet dışı bir sürücünüz var: gizlilik, gecikme ya da ince ayar kontrolü. Başabaşın altında bilinçli olarak kendi kendinize barındırın, kontrol için ödeme yaptığınızın farkında olarak. Sadece daha ucuz değilse kendinize daha ucuz olduğunu söylemeyin.
• Arada bir yerdesiniz. Çoğu uygulayıcının 2026'da ulaştığı hibrit modele bakın: yüksek hacimli, basit görevler için küçük bir kendi kendine barındırılan model, artı yerel modelinizin %85–90'ına ulaştığı zor akıl yürütme için bir öncü API (topluluk kıyaslamaları, laboratuvarda doğrulanmamış ve son kısım genellikle kaliteye en çok ihtiyaç duyduğunuz yerdir).

"GPU'yu nasıl edinirim" sorusunda, bir yalnız yapımcı için cevap neredeyse her zaman satın al değil, kirala'dır. Veri merkezi sınıfı donanıma sahip olmak, henüz sahip olmadığınız bir ölçekte mantıklı olan bir sermaye harcaması bahsidir. Sunucusuz çıkarım boş israfı azaltabilir sıfıra ölçeklenerek ve yalnızca etkin hesaplama için faturalayarak, ama bunu genellikle daha yüksek bir GPU-saati başına oranla ve soğuk başlatma gecikmesiyle takas eder. Kiralık bir GPU VPS ortada oturur: sermaye harcaması yok, öngörülebilir bir aylık fatura, kök erişimi ve örnek boştayken durdurma yeteneği.

Formülü çalıştırdıysanız, başabaşı aştıysanız ve bir kart satın almadan özel, gizli, kök erişimli bir çıkarım sunucusu istiyorsanız, kiralık bir GPU kutusunun tam olarak amacı budur. Cloudzy'nin GPU VPS planları tek bir karttaki bir 8B modelinden nicemlenmiş bir 70B'ye kadar olan aralığı kapsar ve pazar yerindeki tek tıkla Ollama uygulaması OpenAI istemcileriyle uyumlu bir REST API ile yaklaşık bir dakikada dağıtılır, dolayısıyla ücretli bir API'den kendi sunucunuza geçiş, kodunuzda neredeyse yerine takılabilir bir değişiklik olabilir, sabit aylık ücretten sonra token başına maliyet olmadan. Güncel fiyatlandırma için sayfayı kontrol edin; GPU oranları değişir.

Herhangi bir şey kiralamadan önce yapmaya değer tek eylem: başabaş formülünü kendi faturanız üzerinde çalıştırın. İki dakika sürer ve yukarıdaki dört durumdan hangisinde olduğunuzu size söyler.

Sıkça Sorulan Sorular

Bir LLM'yi Kendi Kendine Barındırmak mı Yoksa Bir API Kullanmak mı Daha Ucuz?

Hangi API'ye bağlı. Bir GPU VPS'te açık ağırlıklı bir modeli kendi kendine barındırmak, iyi GPU kullanımıyla yüksek, sürekli hacimde bir öncü API'yi (GPT-5-sınıfı, Claude Sonnet 5 / Opus 4.8) yenebilir. Bütçe dostu bir açık ağırlıklı API'yi (July 2026 itibarıyla milyon token başına kabaca $0.14–$0.50 olan DeepSeek, DeepInfra, Together) tek başına maliyet açısından nadiren yener: o başabaş, ayda milyarlarca token'a ulaşır, ki çoğu yalnız yapımcı buna asla ulaşmaz.

Bir 70B Model Çalıştırmak İçin Hangi GPU'ya İhtiyacım Var?

Q4_K_M nicemlemesinde 70B'lik bir model, yalnızca nicemlenmiş ağırlıklar için kabaca 40–46 GB VRAM'e ihtiyaç duyar. 80 GB'lik bir A100, KV cache, çalışma zamanı ek yükü ve daha uzun istemler için yer bıraktığı için daha güvenli tek GPU seçeneğidir. 48 GB'lik bir RTX 6000 Ada daha sıkı Q4 kurulumları için işe yarayabilir, ama bağlam uzunluğu ve eşzamanlılık dikkatle yönetilmelidir.

GPU Kullanımı Token Başına Maliyeti Nasıl Etkiler?

Kiralık bir GPU boşta da olsa tam yüklü de olsa aynı maliyeti taşır, dolayısıyla token başına efektif maliyetiniz kullanımla ters orantılı olarak ölçeklenir. %10 yükte, sunduğunuz her token, tam yükte olacağının kabaca 10× katına mal olur, çünkü kullanılmayan kapasite için ödeme yapıyorsunuz. Kendi kendine barındırmanın mantıklı olması için pratik taban yaklaşık %50–60 sürekli kullanımdır.

Kendi Kendine Barındırmanın Buna Değmesi İçin Ayda Kaç Token Gerekir?

Bir öncü API'ye karşı, sağlıklı kullanımda ayda kabaca 160–256 milyon token yönlü eşiktir (July 2026 itibarıyla). Bütçe dostu bir açık ağırlıklı API'ye karşı ayda milyarlarcadır, yalnız olarak fiilen ulaşılamaz. Kesin sayı GPU maliyetinize ve harmanlanmış API oranınıza bağlıdır, o yüzden formülü çalıştırın: başabaş token ≈ GPU VPS aylık maliyeti ÷ token başına API fiyatınız, sonra sürekli kullanım için onu indirin.

Bir VPS'te Açık Ağırlıklı Bir LLM Çalıştırabilir miyim?

Evet, modelin VRAM'ine göre boyutlandırılmış bir GPU VPS'te. Ollama gibi bir araç, açık ağırlıklı modelleri (Llama, Qwen, Mistral ve diğerleri) tek tıkla dağıtım ve OpenAI-compatible bir REST API ile çalıştırır, dolayısıyla mevcut API çağıran kodunuz minimum değişiklikle kendi sunucunuza yönlenebilir. GPU katmanını modelinize eşleyin: bir 8B, 24 GB'lik bir karta rahatça uyar, nicemlenmiş bir 70B 48–80 GB'ye ihtiyaç duyar.