Tổng quan về lộ trình

Lộ trình Data Engineer là kế hoạch học tập và phát triển sự nghiệp tuần tự gồm 5 giai đoạn cốt lõi: Trang bị nền tảng lập trình và cơ sở dữ liệu (SQL, Python, RDBMS/NoSQL); Xây dựng và tối ưu quy trình ETL/ELT (Airflow, dbt); Làm chủ Data Warehouse và Data Modeling (Star Schema, Snowflake, BigQuery, Redshift); Xử lý dữ liệu lớn và dữ liệu phân tán (Hadoop, Spark, Kafka); Triển khai và vận hành hệ thống dữ liệu trên nền tảng Cloud (AWS, GCP, Azure).

Nghề Data Engineer đang giữ vai trò quan trọng trong mọi hệ thống dữ liệu và AI hiện đại — không có pipeline sạch, ổn định, thì không mô hình machine learning hay dashboard phân tích nào có thể vận hành hiệu quả. Sự kết hợp giữa tư duy kỹ sư phần mềm và am hiểu sâu về kiến trúc dữ liệu mang lại cho Data Engineer mức thu nhập thuộc nhóm cao top đầu ngành công nghệ cùng cơ hội thăng tiến rộng mở. Tuy nhiên, hệ sinh thái công cụ đa dạng (Big Data, Cloud, Orchestration...) cùng ranh giới mờ nhạt với các vị trí liên quan như Data Analyst, Data Scientist, Analytics Engineer khiến người học dễ bị hoang mang, không biết nên bắt đầu từ đâu.

Bài viết này cung cấp một lộ trình Data Engineer toàn diện, thực tế, cập nhật xu hướng công nghệ và chứng chỉ mới nhất. Roadmap này được thiết kế chi tiết dựa trên Khóa học Data Engineer thực chiến để giúp người hoàn toàn trái ngành, sinh viên mới ra trường hoặc lập trình viên/Data Analyst muốn chuyển hướng tối ưu hóa lộ trình học tập và rút ngắn thời gian tiếp cận cơ hội việc làm.

Data Engineer là gì?

Data Engineer (Kỹ sư dữ liệu) là người chịu trách nhiệm xây dựng, vận hành và tối ưu hạ tầng dữ liệu cho doanh nghiệp — từ việc thu thập dữ liệu thô từ nhiều nguồn khác nhau, xử lý (transform), cho đến lưu trữ chúng ở dạng sẵn sàng để các bộ phận như Data Analyst, Data Scientist hay BI Team khai thác.

Nói dễ hiểu, nếu Data Analyst và Data Scientist là người "nấu ăn" từ dữ liệu, thì Data Engineer chính là người xây dựng "nhà bếp", đảm bảo nguyên liệu (dữ liệu) luôn sạch, đủ và đến đúng lúc. Không có Data Engineer, các mô hình machine learning hay dashboard báo cáo đều không thể vận hành ổn định.

Luồng công việc thực tế của một Data Engineer trong dự án

Trong một dự án thực tế, công việc của Data Engineer thường xoay quanh vòng lặp sau:

  1. Thu thập yêu cầu dữ liệu từ Data Analyst, Data Scientist hoặc Product Owner

  2. Thiết kế pipeline (ETL/ELT) để đưa dữ liệu từ nguồn (database, API, file log, sự kiện realtime) vào hệ thống lưu trữ trung tâm

  3. Xây dựng và kiểm thử pipeline, đảm bảo dữ liệu chạy đúng lịch, đúng định dạng, không trùng lặp hay thiếu sót

  4. Mô hình hóa dữ liệu (data modeling) trong Data Warehouse/Data Lake để tối ưu tốc độ truy vấn

  5. Giám sát, xử lý sự cố khi pipeline lỗi, dữ liệu trễ hoặc sai lệch

  6. Tối ưu chi phí và hiệu năng hệ thống khi dữ liệu tăng trưởng theo quy mô

Chi tiết 5 giai đoạn trong lộ trình Data Engineer thực chiến

Giai đoạn 1: Nền tảng lập trình & cơ sở dữ liệu (Thời gian: 1 - 2 tháng)

Đây là bước khởi đầu bắt buộc, gồm:

  • SQL nâng cao: JOIN, subquery, window function, tối ưu query

  • Python cơ bản đến trung cấp: xử lý dữ liệu với thư viện như Pandas

  • Kiến thức cơ sở dữ liệu: phân biệt giữa RDBMS (MySQL, PostgreSQL) và NoSQL (MongoDB, Cassandra)

  • Cấu trúc dữ liệu & giải thuật cơ bản để viết code xử lý dữ liệu hiệu quả

Giai đoạn 2: Xây dựng và tối ưu quy trình ETL/ELT (Thời gian: 2 tháng)

  • Hiểu sự khác biệt giữa ETL (Extract – Transform – Load) và ELT (Extract – Load – Transform)

  • Thực hành với công cụ orchestration như Apache Airflow để lập lịch và quản lý pipeline

  • Làm quen với các công cụ transform hiện đại như dbt (data build tool)

  • Xử lý dữ liệu batch và streaming cơ bản

Giai đoạn 3: Data Warehouse & Data Modeling (Thời gian: 1 - 2 tháng)

  • Thiết kế schema: Star Schema, Snowflake Schema

  • Làm việc với các nền tảng Data Warehouse phổ biến: Snowflake, Google BigQuery, Amazon Redshift

  • Áp dụng nguyên tắc quản trị dữ liệu (data governance) theo các khung tham chiếu như DAMA-DMBOK

  • Tối ưu chi phí lưu trữ và truy vấn (partitioning, clustering, indexing)

Giai đoạn 4: Big Data & Xử lý dữ liệu phân tán (Thời gian: 1 - 2 tháng)

  • Làm quen hệ sinh thái Hadoop và Apache Spark để xử lý dữ liệu khối lượng lớn

  • Học Apache Kafka để xử lý dữ liệu streaming/realtime

  • Hiểu nguyên lý phân tán (distributed computing), tránh nghẽn cổ chai khi dữ liệu tăng theo cấp số nhân

Giai đoạn 5: Cloud Platform & Vận hành hệ thống dữ liệu (Thời gian: 1 - 2 tháng)

  • Thành thạo ít nhất 1 nền tảng cloud: AWS, Google Cloud (GCP) hoặc Microsoft Azure

  • Triển khai Infrastructure as Code (Terraform), CI/CD cho data pipeline

  • Áp dụng DevOps/DataOps: giám sát (monitoring), logging, cảnh báo lỗi tự động

  • Bảo mật dữ liệu: mã hóa, phân quyền truy cập (IAM)

Kỹ năng cốt lõi cần có của một Data Engineer thực chiến

Kỹ năng chuyên môn kỹ thuật (Hard Skills)

Theo phân tích từ Cole, việc thành thạo các ngôn ngữ lập trình phổ biến như Python, Java, Scala là yêu cầu không thể thiếu đối với một Data Engineer, giúp xử lý và phân tích dữ liệu hiệu quả khi làm việc với hệ thống Big Data. Bên cạnh đó, hiểu rõ và sử dụng thành thạo các hệ quản trị cơ sở dữ liệu như SQL và NoSQL (MongoDB, Cassandra) giúp Data Engineer làm việc hiệu quả hơn trong việc lưu trữ và truy xuất dữ liệu.

Ngoài ra, việc thành thạo các công cụ như Hadoop, Apache Spark là lợi thế lớn, cùng với khả năng làm việc với các nền tảng cloud như AWS, Google Cloud, Microsoft Azure đang ngày càng trở thành yếu tố chính trong nhiều doanh nghiệp. Cuối cùng, nắm vững quy trình ETL (Extract, Transform, Load) để chuyển đổi và tích hợp dữ liệu từ nhiều nguồn khác nhau là kỹ năng bắt buộc.

Tham khảo thêm tài liệu chính thức từ các nhà cung cấp công cụ phổ biến:

Kỹ năng mềm chiến lược (Soft Skills)

  • Tư duy hệ thống: nhìn được toàn cảnh luồng dữ liệu từ nguồn đến đích

  • Giải quyết vấn đề: xử lý nhanh khi pipeline gặp sự cố production

  • Giao tiếp kỹ thuật: trao đổi hiệu quả với Data Analyst, Data Scientist và các stakeholder không chuyên kỹ thuật

  • Quản lý thời gian & ưu tiên công việc trong môi trường nhiều pipeline chạy song song

Data Engineer khác gì với Data Analyst và Data Scientist?

Theo CareerLink, ba vai trò này có sự phân công rõ ràng trong hệ sinh thái dữ liệu: Data Analyst tập trung vào phân tích và trực quan hóa dữ liệu, Data Engineer xây dựng hạ tầng dữ liệu, còn Data Scientist phát triển mô hình machine learning.

Về mặt thu nhập, cùng nguồn này ghi nhận rằng Data Engineer thường có mức lương cao hơn Data Analyst cùng cấp bậc từ 15–25% do yêu cầu kỹ năng kỹ thuật sâu hơn về hạ tầng cloud, pipeline dữ liệu và kiến trúc hệ thống.

Bảng so sánh Data Engineer, Data Analyst và Data Scientist

Tiêu chí Data Engineer Data Analyst Data Scientist
Mục tiêu chính Xây dựng và vận hành hạ tầng, pipeline dữ liệu Phân tích dữ liệu quá khứ, trả lời "chuyện gì đã xảy ra?" Dự đoán tương lai, trả lời "chuyện gì sẽ xảy ra?"
Vai trò ví von Người xây "nhà bếp" và đường ống dẫn nguyên liệu Người "đọc hiểu" dữ liệu để ra insight Người "dự đoán" bằng mô hình toán học
Công cụ chính Python/Java/Scala, SQL, Airflow, Spark, Kafka, dbt SQL, Excel, Power BI/Tableau Python/R, Scikit-learn, TensorFlow, thư viện ML
Nền tảng Cloud/Hạ tầng Bắt buộc thành thạo (AWS, GCP, Azure) Không bắt buộc chuyên sâu Thường dùng nhưng không phải trọng tâm
Kỹ năng thống kê Không yêu cầu chuyên sâu Cơ bản đến trung cấp (mô tả dữ liệu) Nâng cao (thống kê suy diễn, xác suất, mô hình hóa)
Yêu cầu lập trình Cao — cần hiểu hệ thống phân tán, cấu trúc dữ liệu Không bắt buộc chuyên sâu Bắt buộc, cần hiểu giải thuật và xử lý dữ liệu lớn
Đầu ra công việc Data pipeline, Data Warehouse/Data Lake sẵn sàng sử dụng Báo cáo, dashboard, insight kinh doanh Mô hình dự đoán, thuật toán, sản phẩm AI/ML
Yêu cầu kiến thức nghiệp vụ Trung bình (hiểu luồng dữ liệu doanh nghiệp) Cao (hiểu sâu ngành, KPI kinh doanh) Trung bình (thiên về kỹ thuật và toán học)
Mối quan hệ trong team Cung cấp dữ liệu sạch cho DA và DS sử dụng Sử dụng dữ liệu đã xử lý sẵn từ Data Engineer Thường tự xử lý thêm dữ liệu phức tạp phục vụ mô hình
Mức lương tại Việt Nam 15 – 35 triệu đồng/tháng (Junior 15–20 triệu), senior có thể vượt 80 triệu 10 – 45 triệu đồng/tháng tùy kinh nghiệm Thường cao nhất trong nhóm individual contributor
Phù hợp với người có nền tảng Lập trình viên, Backend Developer Người mới bắt đầu, thiên về kinh doanh/nghiệp vụ Người mạnh về toán/thống kê, lập trình tốt

Tóm gọn: Ba vai trò này tạo thành một chuỗi giá trị dữ liệu hoàn chỉnh — Data Engineer xây dựng nền móng và "đường ống" dữ liệu sạch, Data Analyst khai thác dữ liệu đó để tạo insight phục vụ ra quyết định kinh doanh, còn Data Scientist sử dụng dữ liệu để xây dựng mô hình dự đoán và giải pháp AI/ML. Ba vị trí không thay thế nhau mà bổ trợ chặt chẽ trong cùng một hệ sinh thái dữ liệu doanh nghiệp.

Lộ trình thăng tiến sự nghiệp của Data Engineer

Cấp bậc Kinh nghiệm Trọng tâm công việc
Junior Data Engineer 0–2 năm Viết pipeline theo yêu cầu, học công cụ nền tảng
Data Engineer 2–4 năm Tự thiết kế pipeline, tối ưu hiệu năng và chi phí
Senior Data Engineer 4–7 năm Kiến trúc hệ thống dữ liệu, mentor junior
Data Architect / Lead Data Engineer 7+ năm Định hướng chiến lược dữ liệu toàn công ty
Analytics Engineer (hướng rẽ) Tùy kinh nghiệm Kết hợp giữa engineering và phân tích nghiệp vụ

Ngoài hướng đi truyền thống, nhiều Data Engineer hiện chuyển sang vai trò Analytics Engineer — vị trí nằm ở giao điểm giữa business, analytics và engineering, được đánh giá là có mức lương cao và còn nhiều dư địa tăng trưởng, đặc biệt trong bối cảnh doanh nghiệp ngày càng phụ thuộc vào dữ liệu để ra quyết định.

Chứng chỉ quốc tế nên cân nhắc theo từng nền tảng cloud

  • AWS: AWS Certified Data Engineer – Associate – dành cho người có 2–3 năm kinh nghiệm data engineering và 1–2 năm kinh nghiệm thực hành với dịch vụ AWS, đánh giá khả năng xây dựng và giám sát pipeline dữ liệu, tối ưu chi phí và hiệu năng theo best practice.

  • Google Cloud: Professional Data Engineer Certification – khuyến nghị cho người có 3+ năm kinh nghiệm ngành, trong đó có ít nhất 1 năm thiết kế và quản lý giải pháp dữ liệu trên Google Cloud.

  • Microsoft Azure: kỳ thi DP-203 (Data Engineering on Microsoft Azure) đã chính thức retired từ 31/3/2025 và được thay thế bởi Microsoft Certified: Fabric Data Engineer Associate (DP-700), tập trung vào ingestion và transform dữ liệu batch/streaming bằng SQL, PySpark, KQL trên nền tảng Microsoft Fabric.

Bảng mức lương Data Engineer tại Việt Nam hiện nay

Mức lương Data Engineer tại Việt Nam có sự chênh lệch khá lớn tùy nguồn khảo sát và kinh nghiệm:

Nguồn Mức lương trung bình/khoảng lương
Indeed Việt Nam khoảng 28.960.107 đồng/tháng
JobsGO trung bình 25,9 triệu đồng/tháng (dựa trên 479 mẫu lương)
TopCV khoảng 25 triệu đồng/tháng
ITViec Trung bình 41,3 triệu/tháng tùy vào số năm kinh nghiệm.
CareerViet (theo cấp kinh nghiệm) nhóm 2–3 năm kinh nghiệm đạt 20–35 triệu/tháng, senior có thể chạm mốc cao đến 80,5 triệu/tháng

Nhìn chung, mức lương khởi điểm của Data Engineer thường nhỉnh hơn Data Analyst cùng cấp, và có thể tăng mạnh khi chuyển từ vai trò "vận hành" sang "thiết kế hệ thống" — giai đoạn đòi hỏi thêm kiến thức về distributed systems, cost optimization, data governance và security.

Lưu ý: các con số trên tổng hợp từ nhiều nguồn khảo sát khác nhau (Indeed, TopCV, JobsGO, CareerViet) nên chỉ mang tính tham khảo, không phản ánh chính xác 100% mức lương thực tế cho từng vị trí cụ thể.

Các câu hỏi thường gặp về lộ trình Data Engineer (Q&A)

1. Người trái ngành (không học IT/CNTT) có học Data Engineer được không?

Hoàn toàn có thể, nhưng cần đầu tư nghiêm túc vào nền tảng lập trình và SQL ngay từ đầu — đây là hai kỹ năng khó "đi tắt". Người trái ngành nên bắt đầu với các khóa học SQL, Python cơ bản trước khi tiếp cận công cụ Big Data hay Cloud.

2. Developer/Backend chuyển sang Data Engineer có lợi thế gì?

Rất lớn. Developer đã có sẵn tư duy lập trình, hiểu về hệ thống phân tán, API và database — chỉ cần bổ sung thêm kiến thức chuyên sâu về pipeline dữ liệu, data modeling và các công cụ Big Data đặc thù (Spark, Kafka, Airflow) là có thể chuyển hướng nhanh.

3. Có những chứng chỉ quốc tế nào giúp thăng tiến nhanh trong ngành Data Engineer?

Ba chứng chỉ được công nhận rộng rãi nhất hiện nay là AWS Certified Data Engineer – Associate, Google Cloud Professional Data Engineer, và Microsoft Certified: Fabric Data Engineer Associate (DP-700). Tuy nhiên, nhà tuyển dụng vẫn ưu tiên năng lực giải quyết bài toán thực tế và chất lượng portfolio hơn là chỉ có chứng chỉ.

4. Nên chuẩn bị những dự án mẫu nào (Portfolio) khi đi phỏng vấn Data Engineer?

  • Một pipeline ETL/ELT hoàn chỉnh (từ nguồn dữ liệu thô đến Data Warehouse)

  • Dự án xử lý dữ liệu streaming đơn giản với Kafka

  • Dự án triển khai trên cloud (AWS/GCP/Azure) có sử dụng Infrastructure as Code

  • Tài liệu mô tả kiến trúc hệ thống (architecture diagram) đi kèm

Kết luận

Data Engineer là một trong những vị trí nền tảng của hệ sinh thái dữ liệu hiện đại, đòi hỏi sự kết hợp giữa tư duy kỹ thuật vững chắc và khả năng thiết kế hệ thống ở quy mô lớn. Với lộ trình 5 giai đoạn rõ ràng — từ SQL/Python nền tảng, ETL/ELT, Data Warehouse, Big Data đến Cloud — người học hoàn toàn có thể xây dựng năng lực thực chiến trong khoảng 6–10 tháng nếu học đúng phương pháp và có dự án thực hành đi kèm. Đây là hướng đi bền vững với mức thu nhập hấp dẫn và nhu cầu tuyển dụng ngày càng tăng tại Việt Nam.

Lộ trình học

Khóa học 1

Khóa Học Data Engineer & Big Data 2026 – Từ Cơ bản đến Pipeline Thực Chiến

  • Giảng viên Thạc Sĩ - Nguyễn Thế Anh
- Các công nghệ trong Data Enginee
- Data Warehousing
- ETL
- SQL
- Business Intelligence
- SQL Server
- Framework ETL, ELT
- AWS
- Big Data
- Tổng quan về CSDL
- Cài đặt Microsoft SQL Server
- Cài đặt Tool SSMS
- Cơ sở của truy vấn - Ngôn ngữ SQL
- Các khái niệm, thành phần cơ bản trong SQL
- Các nhóm lệnh cơ bản trong SQL
- Kiểu dữ liệu trong SQL Server
- Select statement
- Select statement: Cú pháp câu điều kiện (DISTINCT, WHERE, IN, ORDER BY, AND, OR, NOT,...)
- SQL statement with aggregate functions (COUNT, SUM, AVERAGE , MIN, MAX, ..)
- Bài tập thực hành
- SQL statement with datetime functions practice exercises
- Truy vấn sql nâng cao với các hàm báo cáo thống kê
- GROUP BY HAVING
- ROLLUP, CUBE, PIVOT, LAG
- DDL statement
- Constraint
- DML statement
- Bài tập thực hành
Covering database design with multiple tables, foreign keys, and the JOIN operation, Relational Database Design, Normalization and Foreign Keys, Building a Physical Data Schema, Relational Database Design, SQL statement with JOIN operator (left join, right join, full join), SQL statement with UNION, 1 practice exercise
- Procedure (Thủ tục)
- Functioin (Hàm)
- If ... else ...
- case ... when ...
- vòng lặp while
- cursor (con trỏ) bảng tạm with cte Bài tập thực hành
- Ôn tập, thực hành
- View, Transaction, Lock, Deadlock
- Nguyên nhân gây chậm câu truy vấn SQL
- Công cụ turning, debug, tracing
- Tối ưu hóa câu lệnh SQL
- Execution plan (Kế hoạch thực thi)
- Bài tập thực hành
Thiết kế cơ sở dữ liệu và xây dựng các báo cáo cần thiết, chủ đề tùy chọn:
- bán hàng online
- book phòng khách sạn
- đặt vé sự kiện
- quản lý nhân sự...
- Tổng quan về DW
- Tổng quan về ETL
- Extract
- Transform
- Load
- SSIS
- Xây dựng OLAP trên SQL server
- Thực hành SSIS
- Xây dựng data warehouse, luồng ETL xử lý dữ liệu và trực quan hóa bằng PowerBI cho bài toán bán hàng, mua hàng, kho vận (hoặc tự chọn chủ đề)
- Tổng quan về phân tích dữ liệu
- Tổng quan trực quan hóa dữ liệu
- Lấy dữ liệu vào power BI
- Xây dưng các biểu đồ
- Data Analysis Expression
- Khai thác dữ liệu và hệ thống báo cáo
- Overview
- AWS console
- IAM
- Các dịch vụ dữ liệu của AWS
- Các loại cơ sở dữ liệu được RDS hỗ trợ
- Cách tạo RDS và kết nối tới database
- Giám sát trạng thái hoạt động của server
- Backup dữ liệu định kỳ
- Bài tập thực hành
- Cách tạo bucket, upload, download file lên S3
- Sử dụng công cụ aws-cli để upload/download file
- Sử dụng athena để truy vấn dữ liệu trên S3
- Bài tập thực hành
- Cách tạo và kết nối database
- Một số cú pháp truy vấn cơ bản
- Backup định kỳ
- Bài tập thực hành
- Giới thiệu về AWS Glue
- Data Catalogue
- Crawler
- Visual ETL
- Bài tập thực hành
- Visual ETL Basic
- Các phép biến đổi dữ liệu thông dụng
- Bài tập thực hành
- Xây dựng pipeline để tổng hợp và khai thác dữ liệu từ nhiều nguồn
- Chạy job theo lịch, sử dụng trigger, workflow
- Xây dựng pipeline để tổng hợp và khai thác dữ liệu từ nhiều nguồn
- Giới thiêu và hướng dẫn đồ án module aws
- Kéo dữ liệu từ nhiều nguồn
- Xây dựng Data warehouse, data lake on AWS
- Getting Started with Python
- Basic Programming Constructs
- Predefined Functions
- User Defined Functions
- Overview of Collections - list and set
- Overview of Collections - dict and tuple
- Finding Datasets
- Jupyter Notebooks and Loading Data
- Pandas vs Numpy
- Creating DataFrames
- Saving and Serialising
- Inspecting DataFrames
- Introduction and super basic plots
- Pandas vs Matplotlib
- Visualising 1D distributions
- Visualising 2D distributions
- Styling Pandas Table outputs
- Higher dimension visualisations
- Introduction, Labelling and Ordering
- Slicing and Filtering
- Replacing and Thresholding
- Removing and adding data
- Apply, map and vectorised functions
- Introduction and motivation
- Basic grouping syntax
- Intelligent imputation
- Grouping aggregation
- Introduction and basic syntax
- Different types of merging
- Helpful merging functions
- Introduction and basic MultiIndexes
- MultiIndex II - MultiIndex Strikes Back
- Stacking and Unstacking
- Pivoting
- Pivot Margins
- Data Vault 1.0 Modeling
- Data Vault 2.0 Modeling
- Prerequisites
- Getting Started
- File Management
- Directory Management
- File Permission / Access Modes
- Environment
- Printing, Email
- Pipes and Filters
- Processes Management
- Network Communication Utilities
- The vi Editor Tutorial
- Shell Scripting
- What is Shells?
- Using Shell Variables
- Special Variables
- Using Shell Arrays
- Shell Basic Operators
- Shell Decision Making
- Shell Loop Types
- Shell Loop Control
- Shell Substitution
- Big Data Overview
- Big Data Solutions
- Introduction
- Enviornment Setup
- HDFS Overview
- HDFS Operations
- Command Reference
- MapReduce
- Streaming
- Multi-Node Cluster
- Hive, HBase and Sqoop
- Utilize the Sqoop command to transfer data from an RDS instance into a designated HBase table.
- Perform a bulk data import on your EMR cluster, targeting your HBase table using the next two files in your dataset with appropriate scripts.
- Develop MapReduce code to process and analyze the downloaded files on your EMR instance.
- Use the Sqoop export command to transfer the output from each MapReduce task back to your RDS instance. Visualize the data by connecting the RDS instance to a dashboarding tool, such as Google Data Studio, Tableau, or PowerBI.
- Getting Started with Spark.
- Spark Basics and the RDD Interface.
- SparkSQL, DataFrames, and DataSets.
- Running Spark on a Cluster.
- Spark Streaming, Structured Streaming, and GraphX.
- Spark project to ingest and transform data in the Big Data.
- Your task, essentially, would be to build a batch ETL pipeline to read transactional data from MySQL to HDFS, transform it using PySpark and then load it into HBase Tables, after which you will have to perform some analytical queries on the loaded data.
- Starting Kafka.
- CLI (Command Line Interface) 101.
- Kafka with Pyhon.
- Intergration of Kafka and Spark.
- This project is designed to assess your proficiency with real-time data processing tools covered throughout the course. The primary focus will be on Apache Kafka and Apache Spark Streaming, both of which are essential tools widely utilized in the industry for real-time data handling and analysis.
- Start Zookeeper
- Start Kafka
- Start a MySQL database
- Start a MySQL command line client
- Start Kafka Connect
- Integration with Spark
- What is Airflow?
- Workflows as code
- Why Airflow?
- Why not Airflow?
- Example Pipeline definition
- It’s a DAG definition file
- Importing Modules
- Default Arguments
- Instantiate a DAG
- Operators
- Tasks
- Jenkins
- Automated Testing in Big Data
- Version Control and Configuration Management
- Deployment Pipelines for Data Applications
- Python and Pyspark package management
In this project, you'll work with both real-time and batch data ingestion frameworks to load data into tables. After completing the ingestion, you'll write queries to extract valuable insights from the data. In the following sections, you’ll explore the problem statement in greater depth.
The project involves handling two data types: clickstream data and batch data.
- Clickstream Data: This real-time data, captured in Kafka, is consumed by a streaming framework, which loads it into Hadoop. Once ingested into the stream processing layer, the data is synced to an HDFS directory for further processing.
- Batch Data: This consists of bookings data stored in an RDS instance. This data needs to be ingested periodically into Hadoop for analysis and processing.

Dự án của học viên

Cảm nhận của học viên