PEKİŞTİRMELİ ÖĞRENME

AMAÇ

Dersin amacı, öğrencilere pekiştirmeli öğrenme (Reinforcement Learning - RL) alanında, kuramsal temellerden başlayarak modern algoritmik yaklaşımlara uzanan kapsamlı bir bilgi birikimi kazandırmaktır. Ders, öğrencilerin dinamik ortamlarla etkileşime girerek optimal davranışlar öğrenebilen RL ajanları tasarlama, uygulama ve analiz etme yetkinliklerini geliştirmeyi hedeflemektedir. İşlenecek başlıca konular arasında Markov Karar Süreçleri (MDP), dinamik programlama, Monte Carlo yöntemleri, zamansal fark (temporal-difference) öğrenme ve politika gradyanı temelli teknikler yer almaktadır. Ayrıca, öğrenciler Derin Pekiştirmeli Öğrenme algoritmaları ve yapıları (örneğin Deep Q-Networks - DQN ve Actor-Critic yöntemleri) ile uygulamalı deneyim edineceklerdir. Dersin sonunda öğrencilerin, RL tekniklerini pratik problemlere uygulayabilecek, algoritmaların performansını eleştirel bir bakış açısıyla değerlendirebilecek ve otonom sistemler ile akıllı karar verme süreçlerine yönelik ileri düzey çalışmalara temel oluşturabilecek düzeye ulaşmaları beklenmektedir.

İÇERİK

Bu ders; Pekiştirmeli Öğrenmeye Giriş,Çok Kollu Bandit Problemleri, Keşif Stratejileri,Markov Karar Süreçleri,Dinamik Programlama,Monte Carlo Yöntemleri,Zamansal Fark (TD) Öğrenme,Uygunluk İzleri ve TD(λ),Planlama ve Öğrenme,Fonksiyon Yaklaştırımı,Derin Q-Öğrenme (DQN),Politika Gradyan Yöntemleri,Aktör-Kritik Yöntemleri,Gelişmiş Politika Optimizasyonu (PPO, TRPO),Keşif Stratejileri,Pekiştirmeli Öğrenme Uygulamaları; konularını içermektedir.

1. 1

   Understand key reinforcement learning concepts, including agents, environments, rewards, and value functions

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

2. 2

   Formulate decision-making problems as Markov Decision Processes

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

3. 3

   Apply dynamic programming, Monte Carlo, and temporal-difference learning techniques

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

4. 4

   Implement tabular and approximate reinforcement learning algorithms

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Proje Görevi

5. 5

   Design and evaluate policy-based and value-based learning agents

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

6. 6

   Utilize deep reinforcement learning architectures such as DQN and Actor-Critic

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

7. 7

   Analyze the impact of exploration strategies and function approximation

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

8. 8

   Develop and test reinforcement learning solutions in simulated environments

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

9. 9

   Critically assess the strengths and limitations of various RL algorithms

   Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

10. 10

    Apply reinforcement learning to real-world problems and research scenarios

    Öğretim yöntemi: Tartışma Yöntemi, Beyin Fırtınası Tekniği, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

HAFTALIK PLAN

1. HAFTA 1

   Pekiştirmeli Öğrenmeye Giriş

2. HAFTA 2

   Çok Kollu Bandit Problemleri, Keşif Stratejileri

3. HAFTA 3

   Markov Karar Süreçleri

4. HAFTA 4

   Dinamik Programlama

5. HAFTA 5

   Monte Carlo Yöntemleri

6. HAFTA 6

   Zamansal Fark (TD) Öğrenme

7. HAFTA 7

   Uygunluk İzleri ve TD(λ)

8. HAFTA 8

   Planlama ve Öğrenme

9. HAFTA 9

   Fonksiyon Yaklaştırımı

10. HAFTA 10

    Derin Q-Öğrenme (DQN)

11. HAFTA 11

    Politika Gradyan Yöntemleri

12. HAFTA 12

    Aktör-Kritik Yöntemleri

13. HAFTA 13

    Gelişmiş Politika Optimizasyonu (PPO, TRPO)

14. HAFTA 14

    Keşif Stratejileri

15. HAFTA 15

    Pekiştirmeli Öğrenme Uygulamaları

DEĞERLENDİRME

• Ara Sınavın Başarıya Oranı50%
• Genel Sınavın Başarıya Oranı50%

KAYNAKLAR

• Reinforcement Learning: An Introduction, 2018, 2nd edition, MIT Press, Sutton and Barto; Deep Reinforcement Learning, 2022, Springer, Aske Plaat

ÖĞRETİM ELEMANLARI

• Assist.Prof. İbrahim KARLIAĞAKOORDİNATÖR
• Assist.Prof. İbrahim KARLIAĞA