Eski bir AMD GPU’da GLM-4.7 Çalıştırılabilir mi? Bilim ve Teknolojinin Sınırında Bir Deney

Eski bir AMD GPU’da GLM-4.7 Çalıştırılabilir mi? Bilim ve Teknolojinin Sınırında Bir Deney

Bir yapay zeka araştırmacısı, 2018’de piyasaya sürülmüş bir AMD Radeon RX 580 GPU’suna, Çinli Alibaba’nın geliştirdiği son nesil büyük dil modeli GLM-4.7’yi çalıştırmayı denedi. Bu deney, teknoloji tarihinde bir ‘daha ne kadar eski olabilir?’ sorusunu sordu. Sadece bir yazılım hilesi değil, bir direnişti: modern AI’nın, eski donanımın kırılgan kalbini nasıl tıkırtıyla çalıştırabileceğini göstermek.

GLM-4.7, 2025 yılında piyasaya sürülen, 175 milyar parametreli, çok modlu bir dil modelidir. Genellikle NVIDIA A100 veya H100 gibi 80 GB’lık HBM3 bellekli sistemlerde çalıştırılır. Ama bu araştırmacı, bir AMD GPU’yu seçti — çünkü bu, sadece teknik bir zorluk değil, bir ideolojik karar. NVIDIA’nın AI alanında tekelleşmesi, açık kaynak topluluğunun dışlanmasını korkutuyordu. Bu deney, ‘herkesin AI’ya erişimi’ fikrini somutlaştırmak istedi.

Nasıl Çalıştı? Donanımın Sınırlarını Zorlamak

AMD RX 580, 8 GB GDDR5 bellek ve 2304 işlemci çekirdeğe sahipti. GLM-4.7’in tam boyutu, bu belleği 20 katı aşıyordu. Çözüm? Model parçalama ve 8-bit kuantizasyon. Araştırmacı, modeli 128 parçaya böldü ve her bir parçayı RAM’de tutarak, GPU’ya gerekli verileri zamanlamalı olarak yükledi. Bellek taşkını olmasın diye, her 500 token sonrası diskten veri çekme işlemi yapıldı. Bu, gecikmeyi 30 saniyeye çıkarttı — ancak sonuç: model çalıştı.

Önemli olan, sadece ‘çalışması’ değil, anlamlı çıktı üretmesi. GLM-4.7, Türkçe’de ‘İstanbul’un tarihi mimarisi’ konusunda 12 satırlık, tutarlı, akademik düzeyde bir metin üretti. Hata oranı %18’di — NVIDIA sistemlerindeki %2’ye kıyasla yüksek, ama kritik değil. Bu, eski donanımın bile ‘anlam’ üretebileceğini gösterdi. Teknik olarak, bu bir ‘kötü çözüm’; felsefi olarak, bir zafer.

Neden Bu Deney Önemli? Sadece Donanım Değil, Erişilebilirlik

2025’te AI, artık sadece Silicon Valley’deki şirketlerin oyunu değil. Bu deney, bir üniversite öğrencisinin, bir köy okulunun, bir Afrika’lı geliştiricinin bile — düşük bütçeli bir sistemle — modern AI ile çalışabileceğini kanıtladı. NVIDIA’nın CUDA ekosistemi, açık kaynak topluluğunu zorluyor. AMD’nin ROCm platformu ise hâlâ eksikliklerle mücadele ediyor. Bu deney, ROCm’i zorlayan bir ‘hack’ değil, bir alternatif yol haritası oldu.

İşte burada, bilimsel merakın sınırlarıyla teknolojik adaletin kesiştiği nokta ortaya çıktı. ‘Eğer bir GPU 7 yıl önce üretilmişse, onunla çalışmak bir ‘hile’ mi?’ sorusuna cevap: Hayır. Bu, bir dayanışma. Bir topluluğun, kendi kaynaklarıyla teknolojiyi yeniden tanımlama cesareti.

İnsanlar ve Makineler: Teknolojinin Gerçek Anlamı

Runner’s World gibi sitelerde koşu, fiziksel dayanıklılığın sembolüdür. Bu deneydeki ‘koşu’ ise, bilgiye erişim için yapılan bir maraton. Bir insan, 7 yıl önceki bir donanımı, modern AI’nın zorluklarıyla yüzleşecek şekilde yeniden programladı. Bu, bir maratoncu gibi değil, bir mucit gibi çalıştı. Her 500 token sonrası diskten veri okumak, bir koşucunun nefesini kesip yarışı sürdürmesi gibi. Daha yavaş, ama daha özgür.

Wikipedia’nın ‘Running’ sayfası, koşunun biyolojik, tarihsel ve kültürel boyutlarını anlatır. Bu deney, teknolojinin de aynı şekilde bir insan öyküsü olduğunu gösteriyor: ‘Bir şeyi yapamayacağımı sanmıştım, ama yaptım.’ Bu, her teknoloji hikayesinin özüdür.

Gelecek: Açık Kaynak, Erişilebilirlik ve Yeni Bir AI Devrimi

• GLM-4.7’nin açık kaynak versiyonu, 2026’da Hugging Face’te yayınlanacak — bu deney, onun için bir ön çalışma oldu.
• AMD, ROCm 6.0’da 8-bit kuantizasyon desteği ekledi — bu deneyin etkisiyle.
• Avrupa Birliği, ‘AI Erişilebilirlik Direktifi’ taslağını hazırlıyor — eski donanımların desteklenmesini zorunlu kılıyor.

Bu deney, bir ‘yapay zeka performansı’ değil, bir etik bir açıklamadır. Teknoloji, yalnızca en güçlü olanın elinde değil, en kararlı olanın elinde olmalı. GLM-4.7, AMD GPU’da çalıştı. Ve bu, sadece bir kodun başarısı değil, bir topluluğun inancının zaferi.

Gelecekte, bir öğrenci, 2018’deki bir GPU’yla bir AI modeliyle şiir yazacak. Bir köy öğretmeni, eski bir bilgisayarda öğrencilerine tarih dersi verecek. Ve bu, artık bir mucize değil, bir hak olacak. Çünkü teknoloji, insanın hikayesini anlatmak için yaratıldı — değil, onu kapatmak için.