4090 48GB’da Güç Sınırlaması: 250W’da Performans Yarısı, Gürültü Yarısı!

Güç Sınırlaması, Sadece Elektrik Faturası Değil, Yapay Zeka Performansının Kaderi

2024’ün en sert elektronik deneylerinden biri, Reddit’de bir kullanıcı tarafından paylaşıldı ve sadece teknik severleri değil, yapay zeka altyapılarını inşa eden tüm şirketleri sarsacak kadar derin bir etki bıraktı. 48GB’lık RTX 4090’ların, 450W’lık güç tüketiminden 250W’a kadar düşürüldüğünde ne olduğunu gözlemleyen bu test, sadece bir soğutma problemi değil — bir krişin öncüsü.

RTX 4090, teknik olarak 450W’lık bir güç tüketimiyle piyasaya sürüldü. Bu rakam, 2 slot boyutunda bir kart için neredeyse bir yasa dışı seviye. Karşılaştırıldığında, A100 veya Radeon Pro 6000 gibi profesyonel kartlar, aynı fiziksel formatta sadece 300W tüketiyor. Peki 4090 neden bu kadar fazla güç çekiyor? Çünkü 48GB HBM3 bellek ve 18.4 milyar transistör, sadece hız için değil, aynı zamanda bir enerji kıyameti için tasarlandı.

350W: Güç Sınırlamasının Altın Oranı

Deneyde, 450W’dan 350W’a düşürülmesi, prompt işleme hızında sadece %5-15 arası bir düşüşe neden oldu. Bu, neredeyse hissedilemez bir kayıp. Ama aynı zamanda, gürültü seviyesi 70 dB’den 59 dB’ye düştü — bir uçaktan gelen beyaz gürültüden, kafe arka plan sesine dönüş. Sıcaklık da 73°C’den 69°C’ye indi. Bu, 5°C’lik bir düşüş gibi görünse de, 24/7 çalışan bir veri merkezinde bu, donanım ömrünü yıllarca uzatabilir.

350W, burada bir “sweet spot” olarak ortaya çıktı. Performans kaybı neredeyse ihmal edilebilirken, gürültü ve sıcaklık, ciddi ölçüde iyileşti. Bu, özellikle küçük veri merkezleri, akademik laboratuvarlar ve hatta evde çalışan AI geliştiriciler için büyük bir keşif. Enerji maliyeti düşüyor, klima yükü azalıyor, çalışanlar daha az stresli oluyor — ve hala 72B parametreli Qwen 2.5 gibi dev modelleri çalıştırabiliyorsunuz.

250W’da Yapay Zeka Neredeyse Durdu

Ama 250W’a inildiğinde, her şey değişti. Prompt işleme hızı, 4096 token’lık bir metin için 1543 token/saniyeden 1254’e düştü — %19 düşüş. Ama en kritik nokta, 32.768 token’lık uzun bir bağlamda TTFT (first token time): 11.74 saniyeden 31.96 saniyeye çıkıyor. Yani, bir soru sorduğunuzda, cevap 32 saniye sonra geliyor. Bu, bir insanın bir şeyi sorduğu anda “bekle” demesiyle aynı. Kullanıcı deneyimi tamamen bozuluyor.

Metin üretimi (text generation) için ise şaşırtıcı bir durum var: 128 ve 512 token’lık çıktılar için, 250W’da bile hız neredeyse aynı kaldı (12.58 vs 19.72 token/s). Bu, üretimin “hızlı” olması için daha az bellek erişimi gerektirdiğini gösteriyor. Ama prompt işleme — yani modelin “anlamak” için kullandığı uzun bağlam — çok daha fazla bellek ve hesaplama gücü gerektiriyor. İşte bu yüzden, 250W’da prompt işleme hızı %73 düştü, ama üretim hızı sadece %36.

Yapay Zekanın Enerji Sırrı: Bellek, Hesaplama, Gürültü

Bu deneyin en derin dersi, yapay zekanın “gürültü”süne dair. 70 dB, bir 4090’ın sesi değil — bir jet motorunun yakınında durmak gibi. Bu ses, sadece fanın dönmek zorunda kalmasından değil, aynı zamanda işlemcinin 80°C’ye kadar ısınması ve “kayma” yapması sonucu oluşan “thermal throttling”ten kaynaklanıyor. Güçü düşürmek, sadece fanı yavaşlatmıyor — işlemcinin aşırı ısınma için çaba harcamasını da durduruyor. Sonuç: daha az enerji, daha az ısı, daha az gürültü — ve hala çok iyi performans.

Öte yandan, 150W’da bile bazı görevler hâlâ çalışıyor. 512 token’lık promptlar için 408 token/s hızı, bir laptop üzerindeki küçük bir LLM’den bile daha hızlı. Bu, düşük güçte bile “yeterli” performansın mümkün olduğunu gösteriyor. Özellikle eğitim değil, çıkarım (inference) için çalışan sistemler için bu, bir devrim olabilir.

Gelecek İçin Sinyal: Daha Az Güç, Daha Akıllı Tasarım

Bu deney, sadece bir GPU testi değil. Geleceğin AI altyapılarının nasıl tasarlanacağını öngörüyor. 450W’lık bir kartı, 350W’da çalıştırmak, sadece bir ayar değil — bir felsefe. NVIDIA’nın gelecek nesil kartlarında, bu tür güç sınırlama özelliklerini “önceden ayarlanmış profiller” olarak sunması, hem ticari hem çevresel açıdan akıllıca bir hamle olurdu.

Şirketler artık sadece “en yüksek performans”ı değil, “en verimli performans”ı arıyor. Bu test, 2025’te bir AI sunucusunun “ne kadar güçlü” olduğunu değil, “ne kadar sakin” olduğunu sormaya başladığını gösteriyor. Gürültü, artık bir teknik sorun değil — bir insan faktörü. Sıcaklık, bir donanım sınırı değil — bir maliyet faktörü.

Yapay zeka, artık sadece işlemci ve bellek meselesi değil. Ses, ısı, elektrik faturası ve çalışan mutluluğu da. Bu deney, bu üçlüyü bir araya getiren ilk gerçek dünya kanıtı. 350W, sadece bir watt değeri değil — bir dengenin adı.