Apache NiFi dành cho Quản trị viên Khóa Học Đào Tạo

Cơ bản về NiFi và Luồng Dữ liệu

• Dữ liệu đang di chuyển so với dữ liệu tại chỗ: khái niệm và thách thức
• Kiến trúc NiFi: lõi, bộ điều khiển luồng (flow controller), truy xuất nguồn gốc (provenance) và thông báo (bulletin)
• Các thành phần chính: bộ xử lý, kết nối, bộ điều khiển và truy xuất nguồn gốc

Bối cảnh và Tích hợp Big Data

• Vai trò của NiFi trong hệ sinh thái Big Data (Hadoop, Kafka, lưu trữ đám mây)
• Tổng quan về HDFS, MapReduce và các giải pháp thay thế hiện đại
• Các trường hợp sử dụng: phát luồng đầu vào (stream ingestion), chuyển tải nhật ký, các đường ống sự kiện

Cài đặt, Cấu hình & Thiết lập Cụm

• Cài đặt NiFi trên một nút đơn lẻ và chế độ cụm
• Cấu hình cụm: vai trò của nút, zookeeper và cân bằng tải
• Điều phối các bản triển khai NiFi: sử dụng Ansible, Docker hoặc Helm

Thiết kế và Quản lý Luồng Dữ liệu

• Định tuyến, lọc, tách, gộp luồng
• Cấu hình bộ xử lý (InvokeHTTP, QueryRecord, PutDatabaseRecord, v.v.)
• Xử lý sơ đồ dữ liệu (schema), làm giàu dữ liệu và các thao tác chuyển đổi
• Xử lý lỗi, mối quan hệ thử lại (retry relationships) và áp lực ngược (backpressure)

Kịch bản Tích hợp

• Kết nối đến cơ sở dữ liệu, hệ thống nhắn tin, các API REST
• Phát luồng đến các hệ thống phân tích: Kafka, Elasticsearch hoặc lưu trữ đám mây
• Tích hợp với Splunk, Prometheus hoặc các đường ống ghi nhật ký

Giám sát, Khôi phục & Truy xuất Nguồn gốc

• Sử dụng giao diện người dùng NiFi, các chỉ số (metrics) và trình trực quan hóa truy xuất nguồn gốc
• Thiết kế khôi phục tự động và xử lý lỗi êm ái (graceful failure handling)
• Sao lưu, kiểm soát phiên bản luồng và quản lý thay đổi

Tinh chỉnh Hiệu suất & Tối ưu hóa

• Tinh chỉnh JVM, bộ nhớ heap, nhóm luồng (thread pools) và các tham số cụm
• Tối ưu hóa thiết kế luồng để giảm nghẽn (bottlenecks)
• Cô lập tài nguyên, ưu tiên luồng và kiểm soát thông lượng

Thực hành Tốt nhất & Quản trị

• Tài liệu hóa luồng, tiêu chuẩn đặt tên, thiết kế модуль hóa
• Bảo mật: TLS, xác thực, kiểm soát truy cập, mã hóa dữ liệu
• Kiểm soát thay đổi, kiểm soát phiên bản, truy cập dựa trên vai trò, nhật ký kiểm toán

Khắc phục Sự cố & Ứng phó Sự cố

• Các vấn đề phổ biến: tắc nghẽn (deadlocks), rò rỉ bộ nhớ, lỗi bộ xử lý
• Phân tích nhật ký, chẩn đoán lỗi và điều tra nguyên nhân gốc rễ
• Chiến lược khôi phục và hoàn tác luồng (flow rollback)

Phòng Thí nghiệm Thực hành: Triển khai Đường ống Dữ liệu Thực tế

• Xây dựng luồng từ đầu đến cuối: thu thập, chuyển đổi, phân phối
• Triển khai xử lý lỗi, áp lực ngược và mở rộng quy mô
• Kiểm tra hiệu suất và tinh chỉnh đường ống

Tổng kết và Các Bước Tiếp Theo