DERİN ÖĞRENME İLE DOĞAL DİL İŞLEME

AMAÇ

Doğal dil işleme (DDİ), bilgi çağında çok önemli bir teknoloji olarak öne çıkmaktadır. İnsan iletişiminin web aramaları, reklamlar ve e-postalardan müşteri hizmetleri, dil çevirisi, sanal aracılar, tıbbi raporlar ve siyasi söylemlere kadar çok çeşitli faaliyetleri kapsadığı düşünüldüğünde, DDİ uygulamaları hayatımızın çeşitli yönlerini etkilemektedir. Son on yılda, yapay sinir ağı yaklaşımlarını kullanan derin öğrenme, çok sayıda DDİ uygulamalarında dikkate değer bir başarı göstermiştir. Derin öğrenme, geleneksel, göreve özgü özellik mühendisliği ihtiyacını ortadan kaldırmaktadır. Bu ders, öğrencilere DDİ için Derin Öğrenme alanındaki en son gelişmeleri kapsamlı olarak sunmaktadır. Dersler, ödevler ve final projesinden oluşan bir kombinasyon aracılığıyla katılımcıların, farklı sinir ağı modellerini kavramsallaştırmak, uygulamak ve anlamak için gerekli becerileri elde edinmeleri sağlanacaktır.

İÇERİK

Bu ders; Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş,DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri,Vektör Anlam bilimi ve Temsili,Dil Modelleri,Sinir Ağları ve Sinirsel Dil Modelleri ,Tekrarlayan Sinir Ağları ve Dil Modelleri,Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri,Sınav haftası,Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri,Dönüştürücüler,İnce Ayar ve Maskelenmiş Dil Modelleri,Sorgulama ve Talimat Ayarlama,Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm,Proje sunumları; konularını içermektedir.

1. 1

   Recognizes the natural language processing and adopt advanced natural language processing techniques to solve real-world problems.

   Öğretim yöntemi: Beyin Fırtınası Tekniği · Değerlendirme: Ödev

2. 2

   Analyze state-of-the-art deep learning architectures for NLP.

   Öğretim yöntemi: Bireysel Çalışma Yöntemi, Beyin Fırtınası Tekniği · Değerlendirme: Sözlü Sınav, Proje Görevi

3. 3

   Implement the common deep neural network models for NLP.

   Öğretim yöntemi: Tartışma Yöntemi, Örnek Olay Yöntemi, Proje Temelli Öğrenme Modeli, Proje Temelli Öğrenme Modeli, Deneyimle Öğrenme Modeli · Değerlendirme: Klasik Yazılı Sınav, Sözlü Sınav, Kısa Sınav

4. 4

   Evaluate the research literature on the application of deep learning to natural language processing, and prepare a research project with deep learning architectures for natural language processing and summarize its contents through an oral presentation.

   Öğretim yöntemi: Örnek Olay Yöntemi, Beyin Fırtınası Tekniği · Değerlendirme: Proje Görevi

HAFTALIK PLAN

1. HAFTA 1

   Doğal Dil İşleme (DDİ) ve Derin Öğrenmeye Giriş

2. HAFTA 2

   DDİ, Makine Öğrenimi ve Derin Öğrenmenin Temelleri

3. HAFTA 3

   Vektör Anlam bilimi ve Temsili

4. HAFTA 4

   Dil Modelleri

5. HAFTA 5

   Sinir Ağları ve Sinirsel Dil Modelleri

6. HAFTA 6

   Tekrarlayan Sinir Ağları ve Dil Modelleri

7. HAFTA 7

   Seq2Seq, Makine Çevirisi, Alt Kelime Modelleri

8. HAFTA 8

   Sınav haftası

9. HAFTA 9

   Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri

10. HAFTA 10

    Dönüştürücüler

11. HAFTA 11

    İnce Ayar ve Maskelenmiş Dil Modelleri

12. HAFTA 12

    Sorgulama ve Talimat Ayarlama

13. HAFTA 13

    Soru Yanıtlama, Chatbotlar ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm

14. HAFTA 14

    Proje sunumları

DEĞERLENDİRME

• Ara Sınavın Başarıya Oranı50%
• Genel Sınavın Başarıya Oranı50%

İŞ YÜKÜ

KAYNAKLAR

• - Dan Jurafsky and James H. Martin. Speech and Language Processing - Jacob Eisenstein. Natural Language Processing - Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing - Delip Rao and Brian McMahan. Natural Language Processing with PyTorch - Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers
• Natural Language Processing with Python, Steven Bird, Ewan Klein, and Edward Loper at http://www.nltk.org/book/

ÖĞRETİM ELEMANLARI

• Prof.Dr. Selim AKYOKUŞKOORDİNATÖR
• Prof.Dr. Selim AKYOKUŞ