Đề cương khóa học

Ôn tập Apache Airflow Kiến thức Nền tảng

  • Các khái niệm cốt lõi: DAGs, operators và luồng thực thi
  • Kiến trúc và các thành phần của Airflow
  • Hiểu các trường hợp sử dụng và quy trình làm việc nâng cao

Tạo Custom Operators

  • Hiểu cấu trúc của một Airflow operator
  • Phát triển custom operators cho các tác vụ cụ thể
  • Kiểm tra và gỡ lỗi custom operators

Custom Hooks và Sensors

  • Triển khai hooks để tích hợp hệ thống bên ngoài
  • Tạo sensors để giám sát các trình kích hoạt bên ngoài
  • Nâng cao tính tương tác của quy trình làm việc với custom sensors

Phát triển Airflow Plugins

  • Hiểu kiến trúc plugin
  • Thiết kế plugins để mở rộng chức năng của Airflow
  • Các phương pháp hay nhất để quản lý và triển khai plugins

Tích hợp Airflow với Hệ thống Bên ngoài

  • Kết nối Airflow với cơ sở dữ liệu, API và dịch vụ đám mây
  • Sử dụng Airflow cho quy trình ETL và xử lý dữ liệu theo thời gian thực
  • Quản lý các phụ thuộc giữa Airflow và hệ thống bên ngoài

Gỡ lỗi và Giám sát Nâng cao

  • Sử dụng nhật ký và số liệu của Airflow để khắc phục sự cố
  • Cấu hình cảnh báo và thông báo cho các sự cố quy trình làm việc
  • Tận dụng các công cụ giám sát bên ngoài với Airflow

Tối ưu hóa Hiệu suất và Scala Khả năng mở rộng

  • Mở rộng Airflow với Celery và Kubernetes Executors
  • Tối ưu hóa việc sử dụng tài nguyên trong các quy trình làm việc phức tạp
  • Các chiến lược để đảm bảo tính khả dụng cao và khả năng chịu lỗi

Nghiên cứu Tình huống và Ứng dụng Thực tế

  • Khám phá các trường hợp sử dụng nâng cao trong kỹ thuật dữ liệu và DevOps
  • Nghiên cứu tình huống: Triển khai custom operator cho ETL quy mô lớn
  • Các phương pháp hay nhất để quản lý quy trình làm việc cấp doanh nghiệp

Tóm tắt và Các Bước Tiếp Theo

Yêu cầu

  • Hiểu biết vững chắc về các nguyên tắc cơ bản của Apache Airflow, bao gồm DAG, toán tử và kiến trúc thực thi.
  • Thành thạo lập trình Python.
  • Có kinh nghiệm tích hợp hệ thống dữ liệu và điều phối quy trình làm việc.

Đối tượng

  • Kỹ sư dữ liệu
  • Kỹ sư DevOps
  • Kiến trúc sư phần mềm
 21 Giờ học

Số người tham gia


Giá cho mỗi người tham gia

Đánh giá (1)

Các khóa học sắp tới

Các danh mục liên quan