Đề cương khóa học

Cơ bản của NiFi và Dòng dữ liệu

  • Dữ liệu đang di chuyển so với dữ liệu tại chỗ: khái niệm và thách thức
  • Kiến trúc NiFi: lõi, bộ điều khiển luồng, nguồn gốc, và thông báo
  • Các thành phần chính: processor, kết nối, bộ điều khiển, và nguồn gốc

Trong bối cảnh Big Data và Tích hợp

  • Vai trò của NiFi trong các hệ sinh thái Big Data (Hadoop, Kafka, lưu trữ đám mây)
  • Tổng quan về HDFS, MapReduce, và các giải pháp hiện đại khác
  • Các trường hợp sử dụng: nhập dữ liệu streaming, vận chuyển log, pipeline sự kiện

Cài đặt, Cấu hình & Thiết lập Cụm

  • Cài đặt NiFi trên chế độ đơn node và cụm
  • Cấu hình cụm: vai trò nút, Zookeeper, và cân tải
  • Quản lý triển khai NiFi: sử dụng Ansible, Docker, hoặc Helm

Thiết kế và Quản lý Dòng dữ liệu

  • Định tuyến, lọc, chia nhỏ, hợp nhất dòng dữ liệu
  • Cấu hình processor (InvokeHTTP, QueryRecord, PutDatabaseRecord, v.v.)
  • Xử lý schema, phong phú hóa, và biến đổi hoạt động
  • Xử lý lỗi, mối quan hệ thử lại, và backpressure

Các Trường hợp Tích hợp

  • Kết nối với cơ sở dữ liệu, hệ thống nhắn tin, REST APIs
  • Streaming đến các hệ thống phân tích: Kafka, Elasticsearch, hoặc lưu trữ đám mây
  • Tích hợp với Splunk, Prometheus, hoặc pipeline log

Giám sát, Phục hồi & Nguồn gốc

  • Sử dụng UI của NiFi, chỉ số và visualizer nguồn gốc
  • Thiết kế phục hồi tự động và xử lý lỗi êm dịu
  • Sao lưu, phiên bản dòng dữ liệu, và quản lý thay đổi

Tối ưu hóa Hiệu suất & Tối ưu hóa

  • Tiến hành điều chỉnh JVM, heap, thread pools, và các thông số cụm
  • Tối ưu hóa thiết kế dòng dữ liệu để giảm thiểu cổ chai
  • Cách ly tài nguyên, ưu tiên dòng dữ liệu, và kiểm soát throughput

Thực hành Tốt nhất & Quản lý

  • Tài liệu dòng dữ liệu, tiêu chuẩn đặt tên, thiết kế mô-đun
  • Bảo mật: TLS, xác thực, kiểm soát truy cập, mã hóa dữ liệu
  • Quản lý thay đổi, phiên bản, quyền truy cập dựa trên vai trò, và lịch sử kiểm tra

Khắc phục Sự cố & Phản hồi Sự cố

  • Các vấn đề phổ biến: deadlocks, rò rỉ bộ nhớ, lỗi processor
  • Phân tích log, chẩn đoán lỗi và điều tra nguyên nhân gốc rễ
  • Các chiến lược phục hồi và lùi dòng dữ liệu

Thực hành Phòng thí nghiệm: Triển khai Đường ống Dữ liệu Thực tế

  • Xây dựng một dòng từ đầu đến cuối: nhập, biến đổi, giao hàng
  • Triển khai xử lý lỗi, backpressure, và mở rộng
  • Thử nghiệm hiệu suất và điều chỉnh đường ống dữ liệu

Tổng kết và Các Bước Tiếp theo

Yêu cầu

  • Kinh nghiệm sử dụng dòng lệnh Linux
  • Hiểu biết cơ bản về mạng và hệ thống dữ liệu
  • Tiếp xúc với các khái niệm streaming dữ liệu hoặc ETL (Extract, Transform, Load)

Đối tượng

  • Quản trị viên hệ thống
  • Kỹ sư dữ liệu
  • Lập trình viên
  • Chuyên gia DevOps
 21 Giờ học

Số người tham gia


Giá cho mỗi người tham gia

Đánh giá (7)

Các khóa học sắp tới

Các danh mục liên quan