Khóa học Deep Learning In Natural Language Processing

40 khai phá đỉnh cao Trí tuệ nhân tạo - Tìm hiểu những mô hình State-of-art

Thông tin chung

Thời lượng: Khóa học online 20 buổi - 40 giờ qua ZOOM (2 buổi/tuần)

Khai giảng: Tháng 3/2023

Nội dung học: Khóa học cung cấp kiến thức để xây dựng 1 mô hình NLP hoàn chỉnh ứng dụng trong thực tiễn sử dụng công nghệ Deep Learning. Nội dung khóa học bao gồm những mô hình học sâu mới nhất và giới thiệu những xu hướng NLP hiện đại nhất hiện nay.

Số lượng học viên: Để đảm bảo chất lượng khóa học giới hạn 20-25 học viên/khóa

Giảng viên: M.S. Trần Hữu Cương

Giảng viên nội bộ công ty VNPT 2021, 2022 ( các khóa học về AI, Data Science ).

Đạt nhiều giải thưởng trong các cuộc thi về Trí tuệ nhân tạo trong nước và quốc tế: 

• Giải nhất Six Challenge/Golden Tick To the F10 Accelerator Program Finals - F10 Fintech Hackathon Singapore 
• Hạng 2 - Final Leader Board - Cuộc thi challenge.zalo.ai 
• Hạng 4 Phân tích dữ liệu - CIKM AnalytiCup DHL Challange

Trợ giảng: Lê Duy Khánh

Kỹ sư nghiên cứu Trí tuệ nhân tạo tại Vinbigdata - Lĩnh vực Speech Language Processing (Xử lý giọng nói)

Các giải thưởng:

• Hạng 3 cuộc thi trả lời câu hỏi Kaggle của Google Research India 
• Giải Nhì (Hạng 8/150) Olympic Tin Học Sinh Viên Toàn Quốc về Data Structures And Algoritchms Group 
• Giải 3 Sinh viên nghiên cứu khoa học cấp quốc gia
• Giải Khuyến khích Sinh viên Nghiên cứu Khoa học Eureka

Yêu cầu đầu vào: Khóa học dành cho những người đã có kiến thức cơ bản về AI/Machine Learning/Deep Learning hoặc đã hoàn thành khóa AI/ML/DL Foundation tại Cole

Mục tiêu khóa học

• Cung cấp cho người học kiến thức tổng quan về ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên
• Cung cấp kiến thức cơ bản về học sâu (deep learning) và ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên nói chung và cho Tiếng Việt nói riêng.
• Giới thiệu các bộ dữ liệu để phát triển mô hình học sâu cho Tiếng Anh và Tiếng Việt
• Hướng dẫn thực hành các bài toán học máy hay học sâu với ngôn ngữ Python trên máy tính cá nhân hoặc Google Colab
• Hướng dẫn quy trình xây dựng một ứng dụng học sâu trong các bài toán xử lý ngôn ngữ tự nhiên
• Xây dựng các ứng dụng học sâu vào xử lý ngôn ngữ tự nhiên cơ bản cho Tiếng Việt

Khóa học này dành cho ai?

• Khóa học Deep Learning in Natural Language Processing phù hợp với các bạn sinh viên ngành CNTT, hoặc sinh viên các ngành có liên quan đã có kiến thức về cơ bản về AI/ Machine Learning/ Deep Learning muốn ứng dụng công nghệ học sâu vào bài toán xử lý ngôn ngữ tự nhiên.
• Người đi làm đã có kiến thức cơ bản về về AI/ Machine Learning/ Deep Learning muốn học thêm về NLP để bổ trợ cho công việc.
• Các chủ doanh nghiệp, lãnh đạo trong cơ quan, tổ chức muốn hiểu ứng dụng về NLP và các công nghệ mới nổi gần đây 

Tại sao NLP lại là một nhiệm vụ khó và ứng dụng của Deep Learning cho các bài toán NLP?

Có nhiều lý do khiến xử lý ngôn ngữ tự nhiên là một nhiệm vụ khó như tập từ vựng rộng lớp và được cập nhật thường xuyên, cấu trúc ngữ pháp linh hoạt và đôi khi khá lỏng lẻo, ngôn ngữ đôi khi thể hiện cảm xúc, ẩn ý của người viết. Tuy nhiên có hai lý do cơ bản nhất là tính nhập nhằng của ngôn ngữ (ambiguity) và sự cần thiết của tri thức nền (background knowledge). Nhất là đối với ngôn ngữ tiếng Việt – loại ngôn ngữ đơn lập, nhập nhằng còn xảy ra khi ta có hệ thống từ ghép, từ láy, … thì việc xây dựng các mô hình để dạy cho máy học càng phức tạp và khó khăn hơn bao giờ hết.

Có thể nói Deep Learning là trọng tâm của những phát triển và đột phá gần đây của NLP với các mô hình mạnh nhất hiện nay như Transformers, BERT, GPT, T5, FastText, ELMo, … Với sự thuận tiện và khả năng học hỏi nhanh hơn chính xác hơn các mô hình học máy cổ điển, Deep Learning đã mở ra lời giải cho các bài toán NLP phức tạp. 

Chương trình học: 20 buổi - 2 tháng rưỡi

Buổi 1: Giới thiệu khóa học

1.1. Giới thiệu khóa học

1.2. NLP là gì?

1.3. Lịch sử NLP

1.4. Giới thiệu các cách biểu diễn vector trong quá khứ

1.5. Word2vec

1.6. Xây dựng Word2vec tiếng việt

Buổi 2: Word Vectors - GloVe

2.1. giới thiệu Negative Sampling

2.2. giới thiệu Co-occurrence matrix

2.3  giới thiệu Glove

Buổi 3: Neural Network and Backpropagation Review

3.1. Name Entity Recognition

3.2. Matrix Calculus

Buổi 4: Dependency Parsing

4.1. Two views of linguistic structure: Context-free grammar and Dependency grammar

4.2. Dependencies Treebanks

4.3 Dependency Parsing Methods

4.4 Neural Dependency Parsing

Buổi 5: Constituency Parsing

5.1. Tree + NN 

5.2. Multiple W + Tree + RNN

5.3. Matrix-Vector + Tree + RNN

5.4 Tensor + Tree + RNN

Buổi 6: Language Models and Recurrent Neural Networks

6.1. Language Modeling

6.2. Recurrent Neural Networks

Buổi 7: Long Short-Term Memory (LSTM)

7.1. Vanishing Gradients

7.2. Long Short-Term Memory

7.3. Bidirectionality and Multi-Layer RNNs

Buổi 8: Attention, Machine Translation

8.1. Pre-Neural Machine Translation

8.2. Neural Machine Translation

8.3 NMT with Attention

Buổi 9: Transformers

9.1. Limitations of RNNs

9.2. Transformers

9.3. Transformers Limitations

Buổi 10: Pretrained Models - BERT, GPT, T5

10.1. Pretraining

10.2. Pretraining - decoders

10.3. Pretraining - encoders

10.4. Pretraining - encoder-decoder

10.5. Very large models and in-context learning

10.6. Finetuning

Buổi 11: Word Vectors - FastText, ELMo

11.1. Pure character level model

11.2. Hybrid model

11.3.  Subword-based models

11.4.  FastText

11.5. ELMo

Buổi 12: Natural Language Generation

12.1. Giới thiệu Natural Language Generation

12.2. Text Summarization

12.3.  Evaluation 

Buổi 13: Question-Answering

13.1. Giới thiệu Question-Answering

13.2. Giới thiệu Reading Comprehension

13.3. Open-domain (textual) question-answering

Buổi 14: Analysis of Model’s Inner Workings

14.1. Analyze by input

14.2. Analyze by output

14.3. Analyze by noise

14.4. Analyze by looking at inside the network

Buổi 15: Knowledge Integration

15.1. Motivation

15.2. Knowledge Integration Techniques

15.3. Evaluating knowledge in LMs

Buổi 16: Recent Trend in NLP

16.1. Intent Detection

16.2. Text Summarization

Buổi 17: Multi-Task Learning

17.1. Evolution of NLP (or AI in general)

17.2. Main limitations

17.3. Multitask Learning

Buổi 18: Meta Learning

18.1. Meta Learning

18.2 Meta Learning Approaches

Buổi 19:  Workshop

19.1.Workshop 1

19.2. Workshop 2

Buổi 20: Final Project

20.1.1 Final project