Civitai Pazarında Gerçek Kadınların Derin Sahte Görüntüleri Satılıyor

Yapay Zeka Pazarında Derin Sahte Görüntü Krizi

Yapay zeka tarafından üretilen içeriklerin alınıp satıldığı çevrimiçi pazar Civitai'de, gerçek kişilerin özellikle kadınların derin sahte (deepfake) görüntülerinin talep edildiği ve satıldığı belirlendi. Stanford ve Indiana Üniversitesi araştırmacılarının henüz hakem değerlendirmesinden geçmemiş çalışması, platformdaki endişe verici eğilimleri gözler önüne serdi.

Araştırmanın Çarpıcı Bulguları

Araştırmacılar, 2023 ortası ile 2024 sonu arasında Civitai'deki "ödül" (bounty) taleplerini inceledi. Bu süreçte platformdaki derin sahte taleplerinin %90'ının kadınları hedef aldığı tespit edildi. Talepler arasında influencer Charli D'Amelio ve şarkıcı Gracie Abrams gibi kamuoyunun tanıdığı isimlerin yanı sıra, ASMR videoları kaydeden sanatçılar gibi belirli alanlarda faaliyet gösteren kadınlar da bulunuyordu.

Daha da endişe verici olan, bir kullanıcının eşi olduğu belirtilen bir kadının derin sahtesini talep etmesiydi. Kullanıcılar, sosyal medya profillerine bağlantılar vererek web'den görüntülerinin alınmasını sağlıyor, modellerin kişinin tüm vücudunu üretmesini, dövmelerini doğru şekilde yakalamasını veya saç renginin değiştirilmesine izin vermesini talep ediyordu.

LoRA Dosyaları ve Platformun Rolü

Civitai sadece görüntü ve videoları değil, aynı zamanda LoRA adı verilen ve Stable Diffusion gibi ana akım yapay zeka modellerini, eğitilmedikleri içerikleri üretmeye yönlendiren talimat dosyalarının alınıp satılmasına da olanak tanıyor. Araştırmaya göre, Civitai'deki derin sahte taleplerinin %86'sı bu LoRA dosyaları içindi.

Platform ayrıca, görüntü üreteçlerinin çıktılarını daha da özelleştirmek için harici araçların nasıl kullanılacağına dair eğitim kaynakları sunuyor. Sitede, modellerin pornografi üretmeye nasıl yönlendirileceğine dair ayrıntılar içeren kullanıcı yazıları da barındırılıyor. Araştırmacılar, platformdaki pornografik içerik miktarının arttığını ve artık her haftaki taleplerin çoğunluğunun NSFW (iş yerinde güvenli değil) içerikler olduğunu belirtiyor.

Moderasyon ve Yasal Sorumluluk Soruları

Civitai, derin sahte talep eden ödülleri otomatik olarak etiketliyor ve içerikte yer alan kişinin manuel olarak kaldırma talebinde bulunabileceği bir yol listeliyor. Ancak bu sistem, moderasyonu genel kamuoyuna bırakıyor ve platformun proaktif bir şekilde harekete geçmesini engelliyor.

Washington Üniversitesi Hukuk Fakültesi'nde teknoloji ve yapay zeka uzmanı Profesör Ryan Calo, teknoloji şirketlerinin kullanıcılarının yaptıklarından dolayı yasal sorumluluğunun tam olarak net olmadığını belirtiyor. Calo, "Web sitenizde yasa dışı işlemleri bilerek kolaylaştıramazsınız" diyerek mevcut yasal korumaların sınırsız olmadığının altını çiziyor.

Platformun Tepkisi ve Finansman Gerçeği

Civitai, Mayıs 2025'te tüm derin sahte içeriği yasaklayacağını açıkladı. Ancak MIT Technology Review'ın doğrulamasına göre, bu yasaktan önce gönderilen sayısız derin sahte talebi platformda canlı kalmaya devam ediyor ve bu talepleri karşılayan kazanan gönderimlerin birçoğu satın alınmaya hazır durumda.

Platform, Kasım 2023'te Andreessen Horowitz (a16z) risk sermayesi şirketinden 5 milyon dolarlık yatırım aldı. Civitai'nin kurucu ortağı ve CEO'su Justin Maier, insanların kendi bireysel amaçları için yapay zeka modellerini bulup paylaştığı ana yer inşa etme hedefinden bahsetti.

Ancak araştırmacılar ve uzmanlar, yetişkin derin sahtelerinin içerik platformları veya onları finanse eden risk sermayesi şirketleri tarafından aynı düzeyde ilgi görmediğini vurguluyor. Profesör Calo, "Bundan yeterince korkmuyorlar. Buna aşırı tolerans gösteriyorlar" değerlendirmesinde bulunuyor.

Bu gelişmeler, yapay zeka teknolojilerinin etik kullanımı ve düzenleme ihtiyacı konusundaki tartışmaları yeniden alevlendiriyor. Benzer şekilde, yapay zeka şirketlerinin telif hakları ve kullanıcı verileri konusundaki sorumlulukları da giderek daha fazla sorgulanıyor.