Büyük Dil Modellerine Giriş

AMAÇ

Bu ders, Büyük Dil Modelleri’ne (LLM’ler) kapsamlı bir giriş sunmaktadır. Temel kavramlardan gerçek uygulamalara ve devreye almaya kadar tüm süreci ele almaktadır. Öğrenciler, transformatör modellerinin nasıl çalıştığını, ön eğitimin ve ince ayarlamanın nasıl yapıldığını ve LLM’leri kullanarak uygulamaların nasıl geliştirilip devreye alınacağını öğreneceklerdir. Ders, teoriyi pratik alıştırmalarla birleştirerek öğrencilerin hem kavramsal bilgi hem de uygulamalı beceriler kazanmalarını sağlar. Dersin sonunda öğrenciler, hızla büyüyen üretken yapay zeka alanını anlamaya ve bu alanda çalışmaya hazır hale geleceklerdir. Dönem projesi kapsamında öğrenciler, ya gerçek dünyadaki bir sorunu ele alan LLM tabanlı bir uygulama tasarlayıp, uygulayıp ve devreye alacaklar ya da Büyük Dil Modelleriyle ilgili güncel bir konu üzerine bir araştırma çalışması yürüteceklerdir.

İÇERİK

Bu ders; NLP ve Dil Modellerine Giriş,Tokenleştirme, Kelime Gömüleri ve Temsilsel Öğrenme,LLM’lerin Temelleri,Transformers’daki Dikkat Mekanizması ,Transformer Mimarisi ,Transformatör Tabanlı Mimariler ve Modeller ,LLM Eğitimi,Ara Sınav Haftası,LLM Çıkarım, Prompt Oluşturma, ICL, RAG, FT, Prompt Mühendisliği,Bilgi Erişimi ve Erişime Dayalı Üretim - RAG,Parametre Verimli İnce Ayar, LMM Model Sıkıştırması,Ajan Odaklı Yapay Zeka ve Ajan Odaklı Yapay Zeka Çerçeveleri,Model Bağlam Protokolü (MCP),Çok Modlu Büyük Dil Modelleri,Değerlendirme ve Sunumlar; konularını içermektedir.

1. 1

   By the end of the course, students will be able to: 1. Explain the architecture and training pipeline of modern LLMs. 2. Implement core components of Transformer-based language models.3. Fine-tune and evaluate pretrained LLMs for downstream tasks.4. Understand alignment, instruction tuning, and human-feedback pipelines.5. Analyze efficiency, scaling, and deployment constraints.5. Students may develop and deploy LLM-based applications, critically review and reproduce recent research on Large Language Models (LLMs), or conduct original research on novel LLM architectures, applications, prompting techniques, fine-tuning strategies, evaluation methods, safety, or efficiency improvements.

HAFTALIK PLAN

1. HAFTA 1

   NLP ve Dil Modellerine Giriş

2. HAFTA 2

   Tokenleştirme, Kelime Gömüleri ve Temsilsel Öğrenme

3. HAFTA 3

   LLM’lerin Temelleri

4. HAFTA 4

   Transformers’daki Dikkat Mekanizması

5. HAFTA 5

   Transformer Mimarisi

6. HAFTA 6

   Transformatör Tabanlı Mimariler ve Modeller

7. HAFTA 7

   LLM Eğitimi

8. HAFTA 8

   Ara Sınav Haftası

9. HAFTA 9

   LLM Çıkarım, Prompt Oluşturma, ICL, RAG, FT, Prompt Mühendisliği

10. HAFTA 10

    Bilgi Erişimi ve Erişime Dayalı Üretim - RAG

11. HAFTA 11

    Parametre Verimli İnce Ayar, LMM Model Sıkıştırması

12. HAFTA 12

    Ajan Odaklı Yapay Zeka ve Ajan Odaklı Yapay Zeka Çerçeveleri

13. HAFTA 13

    Model Bağlam Protokolü (MCP)

14. HAFTA 14

    Çok Modlu Büyük Dil Modelleri

15. HAFTA 15

    Değerlendirme ve Sunumlar

DEĞERLENDİRME

• Ara Sınavın Başarıya Oranı30%
• Genel Sınavın Başarıya Oranı70%

KAYNAKLAR

• - Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing (3rd ed., draft). Stanford University. Available at: http://web.stanford.edu/~jurafsky/slp3/ - Hands-On Large Language Models by Jay Alammar, Maarten Grootendorst (2024) ( https://github.com/HandsOnLLM/Hands-On-Large-Language-Models ) - LLM Engineer's Handbook by Paul Iusztin, Maxime Labonne (2024) ( https://github.com/PacktPublishing/LLM-Engineers-Handbook ) - Build a Large Language Model (From Scratch) ( https://github.com/rasbt/LLMs-from-scratch ) - Hands-On Machine Learning with Scikit-Learn and TensorFlow (https://github.com/ageron/handson-ml3) - Deep Learning for Coders with fastai and PyTorch (https://github.com/fastai/fastbook) - HuggingFace NLP Course (html) - Practical Natural Language Processing (2020) (https://github.com/practical-nlp) - Natural Language Processing with Transformers, Revised Edition (2022) (https://github.com/nlp-with-transformers )

ÖĞRETİM ELEMANLARI

• Prof.Dr. Selim AKYOKUŞKOORDİNATÖR
• Prof.Dr. Selim AKYOKUŞ