DQN ile CartPole’i 2026'da Öğrenin: Reinforcement Learning ve Operant Koşullanma

Deep Q-Network (DQN), CartPole ortamında insan beyninin karar alma süreçlerini taklit eden bir reinforcement learning modelidir. 2026'da JAX, Haiku ve Optax gibi modern araçlarla sıfırdan geliştirilen bu algoritma, yalnızca teknik bir başarı değil, psikolojik öğrenmenin dijital bir yansımasıdır.

DQN Algoritmasının Teknik Yapısı

DQN, Q-learning’in derin sinir ağlarıyla entegrasyonudur. Ajan, CartPole ortamındaki durumu (çubuk açısı, araba konumu) gözlemleyerek en iyi eylemi tahmin eder. Bu tahmin, bir sinir ağı tarafından yapılır ve her adımda ödül fonksiyonu ile güncellenir.

Q-Değerleri ve Deneyim Yineleme

DQN’nin iki temel bileşeni vardır:

• Q-Değerleri: Her durum-eylem çifti için beklenen toplam ödülü tahmin eder.
• Experience Replay: Geçmiş deneyimler rastgele tekrarlanarak öğrenme stabilitesi artırılır. Bu, insan beynindeki hafıza konsolidasyonuna benzer.

Operant Koşullanma ve Ödül Mekanizmaları

Psikolojide operant koşullanma, davranışların sonuçlarına göre şekillendiği bir öğrenme şeklidir. B.F. Skinner’ın fare deneyleri, ödülün davranışları güçlendirdiğini göstermiştir.

Pozitif Güçlendirme: DQN’deki +1 Ödül

DQN’de her başarılı adım (+1 ödül), fareye yem verilmesi gibi bir pozitif güçlendirme mekanizmasıdır. Bu, davranışın tekrarlanma olasılığını artırır.

Hata: Öğrenmenin Motoru

Her başarısız eylem (çubuğun düşmesi), bir ceza değil, bir öğrenme sinyalidir. Bu, modern eğitim psikolojisindeki "hata kabulü" felsefesinin doğrudan bir yansımasıdır.

JAX ve Haiku ile DQN Kodlaması

JAX, paralel hesaplama ile yüksek performans sağlar. Haiku, fonksiyonel programlama ile sinir ağı mimarisini temiz ve anlaşılır hale getirir.

Kod Örneği: Basit DQN Ağ Yapısı

import haiku as hk
import jax.numpy as jnp

def dqn_network(obs):
 net = hk.Sequential([
 hk.Linear(64),
 jax.nn.relu,
 hk.Linear(64),
 jax.nn.relu,
 hk.Linear(2)  # iki eylem: sola/sağa
 ])
 return net(obs)

Optax ile Öğrenme Hızını Ayarlama

Optax, öğrenme oranını dinamik olarak optimize eder. Bu, bir öğrencinin başarısızlık sonrası daha dikkatli davranmasına benzer:

• Hızlı öğrenme: Geçici ödüllere takılıp kalma riski.
• Derin öğrenme: Kalıcı davranış kalıplarının oluşumu.

DQN, bu iki dengenin en optimal noktasını bulur — tamamen insan öğrenme davranışını taklit ederek.

Psikolojik Benzerlikler: Beynin Uyku ve Hafıza Mekanizmaları

Nörobilim araştırmaları, uyku sırasında beynin gündelik deneyimleri yeniden düzenlediğini gösterir. DQN’deki experience replay, bu mekanizmanın tam bir yapay kopyasıdır.

DQN, yalnızca bir algoritma değil — bir öğrenme felsefesidir. CartPole’i öğrenen bir ajan, bir çocuğun dengeyi öğrenmesini adım adım taklit eder. Her ödül bir güçlendirme, her hata bir öğrenme fırsatıdır.

Daha fazla oku: JAX ile Derin Öğrenme Rehberi | Operant Koşullanma: APA Psikolojiye Giriş