Lộ trình Data Engineer – SQL SSIS BI Data Warehouse Spark Python

Buổi 1 - Tổng quan về Data Engineer Các công nghệ trong Data Engineer

Data Warehousing

ETL

SQL

Business Intelligence

SQL Server

Framework ETL, ELT

Buổi 2 - Tổng quan về CSDL, Truy vấn dữ liệu

Tổng quan về CSDL

Cài đặt Microsoft SQL Server

Cài đặt Tool SSMS

Cơ sở của truy vấn - Ngôn ngữ SQL

Các khái niệm, thành phần cơ bản trong SQL

Các nhóm lệnh cơ bản trong SQL

Kiểu dữ liệu trong SQL Server

Select statement

Bài tập thực hành

Buổi 3 - Queries and Practice (Truy vấn SQL), DDL, DML statement

Select statement: Cú pháp câu điều kiện (DISTINCT, WHERE, IN, ORDER BY, AND, OR, NOT,...)

SQL statement with aggregate functions (COUNT, SUM, AVERAGE , MIN, MAX, ..)

SQL statement with datetime functions practice exercises

DDL statement

Constraint

DML statement

Bài tập thực hành

Buổi 4 - Database Design (Thiết kế Database)

Covering database design with multiple tables, foreign keys, and the JOIN operation, Relational Database Design, Normalization and Foreign Keys, Building a Physical Data Schema, Relational Database Design, SQL statement with JOIN operator (left join, right join, full join), SQL statement with UNION, 1 practice exercise

Buổi 5 - Procedure, Function, Điều khiển logic

Procedure (Thủ tục)

Functioin (Hàm)

If ... else ...

case ... when ...

vòng lặp while

cursor (con trỏ)

bảng tạm with cte

Bài tập thực hành

Buổi 6 - View, Index, Transaction, Lock, Deadlock

View, Index, Transaction, Lock, Deadlock

Buổi 7 - Ôn tập, thực hành

Ôn tập, thực hành

Buổi 8 - Tuning SQL

Nguyên nhân gây chậm câu truy vấn SQL

Công cụ turning, debug, tracing

Tối ưu hóa câu lệnh SQL

Execution plan (Kế hoạch thực thi)

Bài tập thực hành

Buổi 9 - Thực hành Turning SQL

Buổi 10 - Project

Buổi 1 - Tổng quan về datawarehouse và ETL

Tổng quan về DW 

Tổng quan về ETL

Buổi 2 - Các bước thực hiện ET và các tool ETL

Các bước ETL- Extract, transform load

Giới thiệu tool ETL: SQL Server Integration Services (SSIS)

Buổi 3 - Xây dựng CSDL đa chều trong DW

Xây dựng OLAP trên SQL server

Buổi 4 - SQL Server Integration Services (SSIS)

Thực hành SSIS

Buổi 5 - SQL Server Integration Services (SSIS)

Thực hành SSIS

Buổi 6 - Tổng quan về phân tích và trực quan hóa dữ liệu

Tổng quan về phân tích dữ liệu

Tổng quan trực quan hóa dữ liệu

Buổi 7 - Thực hành Data Visualization - Business Inteligence trên Power BI Buổi 1

- Lấy dữ liệu vào power BI 

- Xây dưng các biểu đồ

Buổi 8 - Thực hành Data Visualization - Business Inteligence trên Power BI Buổi 2

- Data Analysis Expression

Buổi 9 - Project cuối khóa

Buổi 1 - Tổng quan về AWS

- Overview

- AWS console

- IAM

- Các dịch vụ dữ liệu của AWS

Buổi 2 - Dịch vụ cơ dữ liệu quan hệ RDS

- Các loại cơ sở dữ liệu được RDS hỗ trợ

- Cách tạo RDS và kết nối tới database

- Giám sát trạng thái hoạt động của server

- Backup dữ liệu định kỳ

- Bài tập thực hành

Buổi 3 - Dịch vụ lưu trữ S3

- Cách tạo bucket, upload, download file lên S3

- Sử dụng công cụ aws-cli để upload/download file

- Sử dụng athena để truy vấn dữ liệu trên S3

- Bài tập thực hành

Buổi 4 - DynamoDB (NoSQL Engine)

- Cách tạo và kết nối database

- Một số cú pháp truy vấn cơ bản

- Backup định kỳ

- Bài tập thực hành

Buổi 5 - AWS Glue cơ bản

- Giới thiệu về AWS Glue

- Data Catalogue

- Crawler

- Visual ETL

- Bài tập thực hành

Buổi 6 - AWS Glue nâng cao

- Các phép biến đổi dữ liệu thông dụng

- Chạy job theo định kỳ

- Sử dụng workflow

- Bài tập thực hành

Buổi 7 - Google Cloud và Azure

Giới thiệu Google Cloud, Azure với các dịch vụ dữ liệu tương tự như của AWS

Buổi 8 - Kéo dữ liệu từ nhiều nguồn

Buổi 9 - Project cuối khóa

Xây dựng data pipeline để khai thác dữ liệu bán hàng trên Shopee