Analistler Veri Boru Hatları Kuruyor: PySpark Yerine 4 YAML Dosyası

2026’da veri dünyasında bir devrim yaşanıyor: Veri analistleri, mühendislerin arka planda kalmasını sağlayarak, kendi veri boru hatlarını 4 YAML dosyasıyla kuruyor. PySpark’in karmaşık kodlamalarına ve uzun geliştirme döngülerine son veren bu yeni model, teknik ekipman olmadan veri dönüşümünü mümkün kılıyor. Bu sadece bir araç değişimi değil — organizasyonel bir güç transferi. Artık veri ekipleri, ‘yapmamız gereken şey ne?’ yerine ‘kim yapacak?’ diye sormuyor. Analistler, kendi analizlerini doğrudan üretiyor.

PySpark’in Korkutucu Gerçekleri

PySpark, büyük veri dünyasında uzun yıllar kraldı. Ama bu kral, çok fazla hizmetçi gerektiriyordu. Dustin Smith’in pyspark-pipeline-framework projesinde açıkça belirttiği gibi, PySpark projeleri genellikle SparkSession başlatma, yapılandırma dosyalarının dağılımı, hata yönetimi ve izlenebilirlik gibi tekrarlayan boilerplate kodlarla doluydu. Bu süreçler, veri analistlerini mühendislerin kod yazmasını beklemeye zorluyordu. Bir analist, bir sütun eklemek için bir mühendise başvuruyor, 3 gün sonra cevap alıyor ve o sırada veri zaten eskiyordu.

Medium’daki Kamil Gün’ün AWS Glue ve PySpark ile oluşturduğu veri boru hattı, bu sorunu örnekliyor: CSV’den Parquet’e dönüşüm, mühendislik ekibinin elinden çıkamadan yapılabiliyordu. Ancak bu da sadece bir teknik çözüm. Gerçek sorun, yetki dağılımıydı. Analistler, veriyi anlamıştı ama veriyi şekillendirmek için başka bir ekibe bağımlıydı.

YAML Dosyaları: Veri Ekipmanının Dili

Yeni modelde, PySpark’in yerini almak için hiçbir yeni dil veya framework gerekmiyor. Sadece 4 adet YAML dosyası yeterli: biri veri kaynaklarını tanımlıyor, ikincisi dönüşüm adımlarını, üçüncüsü hata işleme kurallarını, dördüncüsü ise izleme ve uyarı parametrelerini. Bu yapı, Dustin Smith’in HOCON tabanlı framework’üne benzer şekilde çalışır ama tamamen Python tabanlı değil — tamamen yapılandırma tabanlı. Analistler, Python kodu yazmadan, sadece yapılandırma dosyalarını düzenleyerek, veri akışını değiştirebiliyor.

7Tech’in 2026 raporuna göre, bu yaklaşım özellikle küçük ve orta ölçekli veri ekiplerinde patlamış durumda. Polars ve DuckDB gibi hafif araçlarla birleştirildiğinde, bir analist, bir laptop üzerinde bile günlük 10 GB veriyi işleyebiliyor. YAML dosyaları, bu araçların nasıl çalışacağını söylüyor: src/transform.yaml dosyasında "sütunları temizle, null değerleri 0 yap, müşteri ID’yi UUID’ye dönüştür" gibi talimatlar yer alıyor. Bu talimatlar, Python scriptlerinin yerini alıyor — çünkü artık kod değil, niyet yazılıyor.

Chidinma Okeh’in Snowflake ve dbt ile kurduğu ELT boru hattı da bu trendi destekliyor. dbt, SQL tabanlı dönüşümler için yapılandırma dosyalarını kullanıyor. Şimdi bu model, PySpark’in yerine geçmek için sadece YAML dosyalarını ekliyor. Artık "transform" klasöründe .sql yerine .yaml dosyaları var. Ve bu dosyalar, hem analistler hem de mühendisler tarafından okunabilir, test edilebilir ve sürüm kontrolüne alınabilir.

Ajay Gautam’ın Medium makalesinde anlattığı korkunç olay — bir veri sağlayıcının geçmiş verileri düzeltmesi ve bu da milyonlarca satırın kopyalanmasına neden olması — artık daha az olası. Çünkü YAML yapılandırmaları, idempotent (tekrarlanabilir) dönüşümleri zorunlu kılıyor. "MERGE" yerine "UPDATE IF EXISTS" gibi kurallar, yapılandırma dosyalarında açıkça tanımlanıyor. Bu, hataların kodda değil, yapılandırmada düzeltildiği bir dünya.

PySpark Pipeline Framework’un resmi belgeleri, bu yapıya "lifecycle hooks" ve "checkpoint & resume" gibi özelliklerin nasıl entegre edileceğini gösteriyor. Bir veri işlemi başarısız olursa, sistem, YAML dosyasında tanımlanan kurala göre otomatik olarak tekrar deniyor. Bu, mühendislerin gece yarısı alarm almasını engelliyor. Analistler, kendi yapılandırmalarını düzeltiyor ve işlem devam ediyor.

Bu modelin en güçlü yanı, ölçeklenebilirliği değil — erişilebilirliği. Bir banka analisti, bir kredi riski modeli oluşturmak için artık bir Python scripti yazmak yerine, bir YAML dosyasına "kayıtları 36 ay geriye al, ortalama ödeme süresini hesapla, %95 güven aralığını çıkar" yazıyor. Mühendisler, bu YAML dosyalarının çalıştırılabilir hale gelmesini sağlayan alt yapıyı sağlıyor. Ama kimin ne yaptığını bilmek artık önemli değil. Çünkü veri akışı, artık niyetle tanımlanıyor.

2026’da veri ekipleri, "mühendisler veri boru hattı kurar, analistler veri analiz eder" diyemiyor. Çünkü artık analistler, veri boru hatlarını kuruyor. Mühendisler ise, bu boru hatlarının güvenli, hızlı ve ölçeklenebilir çalışmasını sağlayan temel altyapıyı sağlıyor. Bu, teknoloji değil — kültür değişimi. PySpark’in yerini alan 4 YAML dosyası, sadece bir araç değil — veri ekiplerindeki güç dengesini yeniden tanımlayan bir semboldür.

Analistler artık veri boru hatları kuruyor — ve bu, veri dünyasında en büyük değişimden sadece bir başlangıç.