64GB VRAM ile Yerel AI Devrimi: AMD MI50 ile inşa edilen, susturulmuş bir yapay zeka sunucusu

Neden MI50? Neden 2024’te AMD?

Bir insan, 1500 euro ile bir yapay zeka devi inşa etti. Bu değil bir Silicon Valley startup’ının sermaye toplama kampanyası, değil bir teknoloji devinin yeni ürün tanıtımı. Bu, bir Reddit kullanıcısının kendi garajında, 2 adet AMD Instinct MI50 GPU’yu, bir Threadripper 2990WX işlemciye ve 64GB RAM’e bağlayarak oluşturduğu, sessiz, güçlü ve tamamen yerel bir AI sunucusu. 64GB VRAM ile çalışabilen bu sistem, yalnızca bir hobby projesi değil; yapay zekanın merkezi bulutlardan evlere taşınma yolculuğunda bir dönüm noktası.

2024’te AI donanımı konuşulduğunda, neredeyse herkes NVIDIA H100 veya A100’leri düşünür. Peki bu kullanıcı neden AMD’nin 2018’de piyasaya sürülmüş, neredeyse unutulmuş MI50’leri seçti? Cevap basit: fiyat-performans dengesi. MI50’ler, 32GB HBM2 VRAM’e sahip olup, NVIDIA’nın o dönemdeki benzer kapasiteli kartlarının yarısı maliyetle satılıyordu. Reddit kullanıcısı, bu kartları ikinci el piyasadan 330 euroya alarak, toplam 64GB VRAM’lık bir altyapı kurdu — bu miktar, 7B ila 13B parametreli yerel LLM’leri (örneğin GLM-4) tamamen RAM’de tutmak için yeterli. NVIDIA’ya göre bu, bir H100’un 1/20’si maliyetle yapılabiliyor.

Yerel AI: Bulutun Sonu mu, Yoksa Başlangıcı mı?

Yerel AI, sadece veri gizliliği talebiyle değil, gerçek zamanlı performans ve bağımlılık azaltma ile de ilgili. Bulut tabanlı AI hizmetleri, gecikme, internet kesintisi ve ücretlendirme sorunlarıyla karşılaşıyor. Bu sistemdeki GLM-4 flash Q8_0 modeli, 50 token/saniye hızıyla çalışabiliyor — bu, bir iPhone 15 Pro’ya göre 10 kat daha hızlı. Hız düşüşü, hâlâ optimize edilmemiş ROCm sürücüleri ve RAM band genişliği sınırlamalarından kaynaklanıyor. Ancak bu, bir başlangıç. ROCm 6.3, AMD’nin Linux tabanlı AI ekosistemindeki en güçlü sürümü. Bu, NVIDIA’nın CUDA’ya bağımlılığını kırmak isteyen geliştiriciler için bir umut ışığı.

Şömine mi, Sunucu mu? Şöru’nun Sırrı

Projenin en dikkat çekici kısmı, custom shroud — yani GPU’lar için tasarlanmış özel soğutma kılıfı. Kullanıcı, gürültüyü azaltmak için klasik fanlı soğutma yerine, pasif soğutma ve akışkan soğutma kombinasyonu denedi. Bu, yalnızca bir estetik tercih değil; evdeki bir AI sunucusunun kabul edilebilir olması için kritik bir tasarım kararı. Bir AI sunucusu, 24/7 çalışan bir hava kompresörü gibi ses çıkarmazsa, evde, ofiste, hatta yatak odasında bile çalıştırılabilir. Bu, yapay zekanın sadece veri merkezlerinde değil, insan yaşam alanlarında yerleşmesi anlamına geliyor.

1500 Euro: Teknoloji Eşitsizliğinin Kırılması

Apple, Google ve Meta, AI modelleri geliştirmek için milyarlarca dolar harcıyor. Ama bu kullanıcı, 1500 euro ile aynı altyapıyı inşa etti. Bu, teknolojiye erişimdeki eşitsizliği sadece değil, inovasyonun kimde olduğunu sorguluyor. Büyük şirketlerin teknolojisi, artık sadece onların elinde değil. Açık kaynak yazılımlar (llama.cpp, ROCm) ve ikinci el donanım piyasaları, tek bir bireyin teknolojiyi yeniden tanımlamasını mümkün kılıyor. Bu, 2000’lerde açık kaynak Linux’un PC’leri devrimleştirdiği gibi, 2020’lerde AI için bir “Linux anı” olabilir.

Gelecek: Sessiz AI, Evde, Her Yerde

Gelecekte, AI sunucuları büyük veri merkezlerinde değil, evlerde, küçük ofislerde, hatta kafelerde olacak. Bu proje, bu geleceğin ilk sinyallerinden biri. MI50’lerin performansı, yeni nesil MI300X’lerle karşılaştırıldığında geride kalıyor. Ama bu, sadece bir geçiş. Bu kullanıcı, donanımın sınırlarını zorlamak yerine, onları akıllıca kullanmayı öğrendi. ROCm, llama.cpp ve Ubuntu 24.04, birlikte, NVIDIA’ya alternatif bir yol gösteriyor. Ve bu yol, yalnızca teknik değil, felsefi: Teknoloji, kime ait olmalı? Cevap artık, sadece şirketlerin elinde değil — biraz da senin elinde.

• Yerel AI, veri gizliliği ve gecikme sorunlarını çözüyor
• AMD MI50, NVIDIA’nın maliyetlerine karşı güçlü bir alternatif
• Custom shroud, evde AI kullanımını insanca hale getiriyor
• ROCm ve llama.cpp, açık kaynak AI ekosisteminin kalbi
• 1500 euro, bir devin teknolojisini evde kopyalama maliyeti