Büyük Dil Modellerinin Temelleri

AMAÇ

Bu ders, Büyük Dil Modelleri (LLM'ler) üzerine kapsamlı bir çalışma sunarak, mimarilerini, temel metodolojilerini, çalışma prensiplerini ve pratik hususlarını ele almaktadır. Öğrenciler, dikkat mekanizmaları, belirteçleme, gömme, kodlayıcı-kod çözücü ve yalnızca kod çözücü modelleri de dahil olmak üzere transformatör tabanlı mimariler ve büyük ölçekli dil anlama ve üretmeyi sağlayan matematiksel temeller hakkında derinlemesine bir anlayış geliştireceklerdir. Öğrenciler, LLM'lerin bilgiyi nasıl işlediğini, çıktıları nasıl ürettiğini, bağlam üzerinde nasıl akıl yürüttüğünü ve harici bilgi kaynaklarıyla nasıl etkileşim kurduğunu öğreneceklerdir. Ders, veri toplama ve hazırlama, ön eğitim, ince ayar, talimat ayarlama, insan geri bildiriminden pekiştirmeli öğrenme (RLHF), geri alma ile güçlendirilmiş üretim (RAG), istem mühendisliği, model değerlendirme ve dağıtım stratejileri de dahil olmak üzere LLM yaşam döngüsünün tamamını inceler. Ders ayrıca verimlilik, ölçeklenebilirlik, önyargı, güvenlik ve sorumlu yapay zeka geliştirme gibi kritik konuları da içermektedir. Dönem projesi olarak öğrenciler, gerçek dünya sorununa yönelik yenilikçi bir LLM uygulaması geliştirecek veya Büyük Dil Modelleri'nde güncel bir konu üzerine derinlemesine bir araştırma çalışması yürüteceklerdir.

İÇERİK

Bu ders; NLP ve Dil Modellerine Giriş,Tokenleştirme, Kelime Gömüleri ve Temsilsel Öğrenme,LLM’lerin Temelleri,Transformers’daki Dikkat Mekanizması,Transformer Mimarisi,Transformatör Tabanlı Mimariler ve Modeller,LLM Eğitimi,Ara Sınav Haftası,LLM Çıkarım, Prompt Oluşturma, ICL, RAG, FT, Prompt Mühendisliği ,Bilgi Erişimi ve Erişime Dayalı Üretim - RAG, Parametre Verimli İnce Ayar, LMM Model Sıkıştırması,Ajan Odaklı Yapay Zeka ve Ajan Odaklı Yapay Zeka Çerçeveleri,Model Bağlam Protokolü (MCP),Çok Modlu Büyük Dil Modelleri,Değerlendirme ve Sunumlar; konularını içermektedir.

1. 1

   By the end of the course, students will be able to: 1. Explain the architecture and training pipeline of modern LLMs. 2. Implement core components of Transformer-based language models. 3. Fine-tune and evaluate pretrained LLMs for downstream tasks. 4. Understand alignment, instruction tuning, and human-feedback pipelines. 5. Analyze efficiency, scaling, and deployment constraints. 5. Students may develop and deploy LLM-based applications, critically review and reproduce recent research on Large Language Models (LLMs), or conduct original research on novel LLM architectures, applications, prompting techniques, fine-tuning strategies, evaluation methods, safety, or efficiency improvements.

HAFTALIK PLAN

1. HAFTA 1

   NLP ve Dil Modellerine Giriş

2. HAFTA 2

   Tokenleştirme, Kelime Gömüleri ve Temsilsel Öğrenme

3. HAFTA 3

   LLM’lerin Temelleri

4. HAFTA 4

   Transformers’daki Dikkat Mekanizması

5. HAFTA 5

   Transformer Mimarisi

6. HAFTA 6

   Transformatör Tabanlı Mimariler ve Modeller

7. HAFTA 7

   LLM Eğitimi

8. HAFTA 8

   Ara Sınav Haftası

9. HAFTA 9

   LLM Çıkarım, Prompt Oluşturma, ICL, RAG, FT, Prompt Mühendisliği

10. HAFTA 10

    Bilgi Erişimi ve Erişime Dayalı Üretim - RAG

11. HAFTA 11

    Parametre Verimli İnce Ayar, LMM Model Sıkıştırması

12. HAFTA 12

    Ajan Odaklı Yapay Zeka ve Ajan Odaklı Yapay Zeka Çerçeveleri

13. HAFTA 13

    Model Bağlam Protokolü (MCP)

14. HAFTA 14

    Çok Modlu Büyük Dil Modelleri

15. HAFTA 15

    Değerlendirme ve Sunumlar

DEĞERLENDİRME

• Ara Sınavın Başarıya Oranı50%
• Genel Sınavın Başarıya Oranı50%

KAYNAKLAR

• - Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Stanford University. Available at: http://web.stanford.edu/~jurafsky/slp3/ - Hands-On Large Language Models by Jay Alammar, Maarten Grootendorst (2024) ( https://github.com/HandsOnLLM/Hands-On-Large-Language-Models ) - LLM Engineer's Handbook by Paul Iusztin, Maxime Labonne (2024) ( https://github.com/PacktPublishing/LLM-Engineers-Handbook ) - Build a Large Language Model (From Scratch) ( https://github.com/rasbt/LLMs-from-scratch ) - Hands-On Machine Learning with Scikit-Learn and TensorFlow (https://github.com/ageron/handson-ml3) - Deep Learning for Coders with fastai and PyTorch (https://github.com/fastai/fastbook) - HuggingFace NLP Course (html) - Practical Natural Language Processing (2020) (https://github.com/practical-nlp) - Natural Language Processing with Transformers, Revised Edition (2022) (https://github.com/nlp-with-transformers )

ÖĞRETİM ELEMANLARI

• Prof.Dr. Selim AKYOKUŞKOORDİNATÖR
• Prof.Dr. Selim AKYOKUŞ