DOĞAL DİL İŞLEMEYE GİRİŞ

AMAÇ

Doğal dil işleme (NLP) bilgi çağında çok önemli bir teknolojidir. Doğal dil işleme (NLP) alanındaki heyecan verici gelişmeler son zamanlarda ortaya çıkmış ve metin çevirisi, soru cevaplama ve sözlü konuşmalar gibi görevleri yerine getirebilen sistemlere olanak sağlamıştır. Bu ders, öğrencilere çeşitli NLP problemlerini çözmek için kullanılan standart çerçeveler, algoritmalar ve teknikler de dahil olmak üzere NLP hakkında temel bir anlayış sağlamayı amaçlamaktadır. Müfredat, dil modelleme, temsil öğrenme, metin sınıflandırma, dizi etiketleme, sözdizimsel ayrıştırma, makine çevirisi ve soru yanıtlama gibi konuları kapsayacak ve özellikle son derin öğrenme yaklaşımlarına odaklanacaktır. Bu ders sayesinde öğrenciler, NLP kavramları, yöntemleri, algoritmaları, uygulamaları ve NLP için derin öğrenme alanındaki son teknoloji yöntem araştırmalarına kapsamlı bir giriş yapacaklardır.

İÇERİK

Bu ders; Doğal Dil İşlemeye (DDİ) Giriş,Linguistik Temeler, Regular Exp., Metin Normalizasyonu, Düzenleme Mesafesi,N-gram Modeller,Makine Öğrenmesi Temelleri, Metin Sınıflandırma, Naive Bayes ve Lojistik Regresyon,Vektör Anlambilimi ve Yoğun Sözcük Gömüleri,Yapay Sinir Ağları ve Nöral Dil Modelleri,Konuşma Parçaları ve Adlandırılmış Varlıklar için Sıra Etiketleme,Sınav Haftası,RNNs and LSTMs,Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri, İnce Ayar ve Maskelenmiş Dil Modelleri,Makine Çevirisi, Soru Yanıtlama ve Bilgi Edinme,Sohbet Robotları ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm,Bağlamdan Bağımsız Dilbilgileri, Oluşum Ayrıştırma, Bağımlılık Ayrıştırma, Cümle Anlamının Mantıksal Gösterimleri,Konu Tekrarı ve Proje Sunumları; konularını içermektedir.

1. 1

   Decompose a real-world problem into subproblems in NLP, use existing natural language processing tools to conduct basic NLP, and identify potential solutions.

   Öğretim yöntemi: Tartışma Yöntemi · Değerlendirme: Klasik Yazılı Sınav, Proje Görevi

2. 2

   Learn about the main uses of machine learning techniques and deep learning models in NLP.

   Değerlendirme: Klasik Yazılı Sınav, Proje Görevi, Kısa Sınav

3. 3

   Explain state-of-the-art methods to tackle NLP sub-problems, such as text representation, representation learning techniques, text mining, language modeling, and similarity detection, and gain a an understanding about the methods and metrics for various natural language processing tasks and applications.

   Değerlendirme: Klasik Yazılı Sınav, Proje Görevi, Kısa Sınav

4. 4

   Extract information from text automatically using concepts and methods from natural language processing (NLP) including stemming, n-grams, POS tagging, and parsing.

   Değerlendirme: Klasik Yazılı Sınav, Ödev, Proje Görevi

5. 5

   Get familiarized with the terminology, a breadth of concepts and tasks in NLP.

   Değerlendirme: Klasik Yazılı Sınav, Kısa Sınav

HAFTALIK PLAN

1. HAFTA 1

   Doğal Dil İşlemeye (DDİ) Giriş

   Ön hazırlık: Ch 1

2. HAFTA 2

   Linguistik Temeler, Regular Exp., Metin Normalizasyonu, Düzenleme Mesafesi

   Ön hazırlık: Ch 2

3. HAFTA 3

   N-gram Modeller

   Ön hazırlık: Ch 3

4. HAFTA 4

   Makine Öğrenmesi Temelleri, Metin Sınıflandırma, Naive Bayes ve Lojistik Regresyon

   Ön hazırlık: Ch 4, 5

5. HAFTA 5

   Vektör Anlambilimi ve Yoğun Sözcük Gömüleri

   Ön hazırlık: Ch 6

6. HAFTA 6

   Yapay Sinir Ağları ve Nöral Dil Modelleri

   Ön hazırlık: Ch 7

7. HAFTA 7

   Konuşma Parçaları ve Adlandırılmış Varlıklar için Sıra Etiketleme

   Ön hazırlık: Ch 8

8. HAFTA 8

   Sınav Haftası

   Ön hazırlık: Ch 1-8

9. HAFTA 9

   RNNs and LSTMs

   Ön hazırlık: Ch 9

10. HAFTA 10

    Dönüştürücüler ve Önceden Eğitilmiş Dil Modelleri, İnce Ayar ve Maskelenmiş Dil Modelleri

    Ön hazırlık: Ch 10, 11

11. HAFTA 11

    Makine Çevirisi, Soru Yanıtlama ve Bilgi Edinme

    Ön hazırlık: Ch 13, 14

12. HAFTA 12

    Sohbet Robotları ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya Dönüşüm

    Ön hazırlık: Sohbet Robotları ve Diyalog Sistemleri, Otomatik Konuşma Tanıma ve Metinden Konuşmaya

13. HAFTA 13

    Bağlamdan Bağımsız Dilbilgileri, Oluşum Ayrıştırma, Bağımlılık Ayrıştırma, Cümle Anlamının Mantıksal Gösterimleri

    Ön hazırlık: Ch 17, 18, 19

14. HAFTA 14

    Konu Tekrarı ve Proje Sunumları

DEĞERLENDİRME

• Ara Sınavın Başarıya Oranı30%
• Genel Sınavın Başarıya Oranı70%

İŞ YÜKÜ

KAYNAKLAR

• - Speech and Language Processing, D.Jurafsky, J.H.Martin, 3rd Edition, Pearson-Prentice Hall. - Foundations of Statistical Natural Language Processing, C.D.Manning, H.Schütze, MIT Press, 2002. - Jacob Eisenstein, Introduction to Natural Language Processing, 2019.
• - Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing - Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning - Delip Rao and Brian McMahan. Natural Language Processing with PyTorch - Lewis Tunstall, Leandro von Werra, and Thomas Wolf. Natural Language Processing with Transformers

ÖĞRETİM ELEMANLARI

• Prof.Dr. Selim AKYOKUŞKOORDİNATÖR
• Prof.Dr. Selim AKYOKUŞ