Khóa học Deep Learning In Natural Language Processing
40 khai phá đỉnh cao Trí tuệ nhân tạo - Tìm hiểu những mô hình State-of-art
Thông tin chung
Thời lượng: Khóa học online 20 buổi - 40 giờ qua ZOOM (2 buổi/tuần)
Khai giảng: Tháng 3/2023
Nội dung học: Khóa học cung cấp kiến thức để xây dựng 1 mô hình NLP hoàn chỉnh ứng dụng trong thực tiễn sử dụng công nghệ Deep Learning. Nội dung khóa học bao gồm những mô hình học sâu mới nhất và giới thiệu những xu hướng NLP hiện đại nhất hiện nay.
Số lượng học viên: Để đảm bảo chất lượng khóa học giới hạn 20-25 học viên/khóa
Giảng viên: M.S. Trần Hữu Cương
Giảng viên nội bộ công ty VNPT 2021, 2022 ( các khóa học về AI, Data Science ).
Đạt nhiều giải thưởng trong các cuộc thi về Trí tuệ nhân tạo trong nước và quốc tế:
- Giải nhất Six Challenge/Golden Tick To the F10 Accelerator Program Finals - F10 Fintech Hackathon Singapore
- Hạng 2 - Final Leader Board - Cuộc thi challenge.zalo.ai
- Hạng 4 Phân tích dữ liệu - CIKM AnalytiCup DHL Challange
Trợ giảng: Lê Duy Khánh
Kỹ sư nghiên cứu Trí tuệ nhân tạo tại Vinbigdata - Lĩnh vực Speech Language Processing (Xử lý giọng nói)
Các giải thưởng:
- Hạng 3 cuộc thi trả lời câu hỏi Kaggle của Google Research India
- Giải Nhì (Hạng 8/150) Olympic Tin Học Sinh Viên Toàn Quốc về Data Structures And Algoritchms Group
- Giải 3 Sinh viên nghiên cứu khoa học cấp quốc gia
- Giải Khuyến khích Sinh viên Nghiên cứu Khoa học Eureka
Yêu cầu đầu vào: Khóa học dành cho những người đã có kiến thức cơ bản về AI/Machine Learning/Deep Learning hoặc đã hoàn thành khóa AI/ML/DL Foundation tại Cole
Mục tiêu khóa học
- Cung cấp cho người học kiến thức tổng quan về ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên
- Cung cấp kiến thức cơ bản về học sâu (deep learning) và ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên nói chung và cho Tiếng Việt nói riêng.
- Giới thiệu các bộ dữ liệu để phát triển mô hình học sâu cho Tiếng Anh và Tiếng Việt
- Hướng dẫn thực hành các bài toán học máy hay học sâu với ngôn ngữ Python trên máy tính cá nhân hoặc Google Colab
- Hướng dẫn quy trình xây dựng một ứng dụng học sâu trong các bài toán xử lý ngôn ngữ tự nhiên
- Xây dựng các ứng dụng học sâu vào xử lý ngôn ngữ tự nhiên cơ bản cho Tiếng Việt
Khóa học này dành cho ai?
- Khóa học Deep Learning in Natural Language Processing phù hợp với các bạn sinh viên ngành CNTT, hoặc sinh viên các ngành có liên quan đã có kiến thức về cơ bản về AI/ Machine Learning/ Deep Learning muốn ứng dụng công nghệ học sâu vào bài toán xử lý ngôn ngữ tự nhiên.
- Người đi làm đã có kiến thức cơ bản về về AI/ Machine Learning/ Deep Learning muốn học thêm về NLP để bổ trợ cho công việc.
- Các chủ doanh nghiệp, lãnh đạo trong cơ quan, tổ chức muốn hiểu ứng dụng về NLP và các công nghệ mới nổi gần đây
Tại sao NLP lại là một nhiệm vụ khó và ứng dụng của Deep Learning cho các bài toán NLP?
Có nhiều lý do khiến xử lý ngôn ngữ tự nhiên là một nhiệm vụ khó như tập từ vựng rộng lớp và được cập nhật thường xuyên, cấu trúc ngữ pháp linh hoạt và đôi khi khá lỏng lẻo, ngôn ngữ đôi khi thể hiện cảm xúc, ẩn ý của người viết. Tuy nhiên có hai lý do cơ bản nhất là tính nhập nhằng của ngôn ngữ (ambiguity) và sự cần thiết của tri thức nền (background knowledge). Nhất là đối với ngôn ngữ tiếng Việt – loại ngôn ngữ đơn lập, nhập nhằng còn xảy ra khi ta có hệ thống từ ghép, từ láy, … thì việc xây dựng các mô hình để dạy cho máy học càng phức tạp và khó khăn hơn bao giờ hết.
Có thể nói Deep Learning là trọng tâm của những phát triển và đột phá gần đây của NLP với các mô hình mạnh nhất hiện nay như Transformers, BERT, GPT, T5, FastText, ELMo, … Với sự thuận tiện và khả năng học hỏi nhanh hơn chính xác hơn các mô hình học máy cổ điển, Deep Learning đã mở ra lời giải cho các bài toán NLP phức tạp.
Chương trình học: 20 buổi - 2 tháng rưỡi
Buổi 1: Giới thiệu khóa học
1.1. Giới thiệu khóa học
1.2. NLP là gì?
1.3. Lịch sử NLP
1.4. Giới thiệu các cách biểu diễn vector trong quá khứ
1.5. Word2vec
1.6. Xây dựng Word2vec tiếng việt
Buổi 2: Word Vectors - GloVe
2.1. giới thiệu Negative Sampling
2.2. giới thiệu Co-occurrence matrix
2.3 giới thiệu Glove
Buổi 3: Neural Network and Backpropagation Review
3.1. Name Entity Recognition
3.2. Matrix Calculus
Buổi 4: Dependency Parsing
4.1. Two views of linguistic structure: Context-free grammar and Dependency grammar
4.2. Dependencies Treebanks
4.3 Dependency Parsing Methods
4.4 Neural Dependency Parsing
Buổi 5: Constituency Parsing
5.1. Tree + NN
5.2. Multiple W + Tree + RNN
5.3. Matrix-Vector + Tree + RNN
5.4 Tensor + Tree + RNN
Buổi 6: Language Models and Recurrent Neural Networks
6.1. Language Modeling
6.2. Recurrent Neural Networks
Buổi 7: Long Short-Term Memory (LSTM)
7.1. Vanishing Gradients
7.2. Long Short-Term Memory
7.3. Bidirectionality and Multi-Layer RNNs
Buổi 8: Attention, Machine Translation
8.1. Pre-Neural Machine Translation
8.2. Neural Machine Translation
8.3 NMT with Attention
Buổi 9: Transformers
9.1. Limitations of RNNs
9.2. Transformers
9.3. Transformers Limitations
Buổi 10: Pretrained Models - BERT, GPT, T5
10.1. Pretraining
10.2. Pretraining - decoders
10.3. Pretraining - encoders
10.4. Pretraining - encoder-decoder
10.5. Very large models and in-context learning
10.6. Finetuning
Buổi 11: Word Vectors - FastText, ELMo
11.1. Pure character level model
11.2. Hybrid model
11.3. Subword-based models
11.4. FastText
11.5. ELMo
Buổi 12: Natural Language Generation
12.1. Giới thiệu Natural Language Generation
12.2. Text Summarization
12.3. Evaluation
Buổi 13: Question-Answering
13.1. Giới thiệu Question-Answering
13.2. Giới thiệu Reading Comprehension
13.3. Open-domain (textual) question-answering
Buổi 14: Analysis of Model’s Inner Workings
14.1. Analyze by input
14.2. Analyze by output
14.3. Analyze by noise
14.4. Analyze by looking at inside the network
Buổi 15: Knowledge Integration
15.1. Motivation
15.2. Knowledge Integration Techniques
15.3. Evaluating knowledge in LMs
Buổi 16: Recent Trend in NLP
16.1. Intent Detection
16.2. Text Summarization
Buổi 17: Multi-Task Learning
17.1. Evolution of NLP (or AI in general)
17.2. Main limitations
17.3. Multitask Learning
Buổi 18: Meta Learning
18.1. Meta Learning
18.2 Meta Learning Approaches
Buổi 19: Workshop
19.1.Workshop 1
19.2. Workshop 2
Buổi 20: Final Project
20.1.1 Final project
Đánh giá và bình luận
( 583 đánh giá)