Đề cương khóa học
Cơ bản của NiFi và Dòng dữ liệu
- Dữ liệu đang di chuyển so với dữ liệu tại chỗ: khái niệm và thách thức
- Kiến trúc NiFi: lõi, bộ điều khiển luồng, nguồn gốc, và thông báo
- Các thành phần chính: processor, kết nối, bộ điều khiển, và nguồn gốc
Trong bối cảnh Big Data và Tích hợp
- Vai trò của NiFi trong các hệ sinh thái Big Data (Hadoop, Kafka, lưu trữ đám mây)
- Tổng quan về HDFS, MapReduce, và các giải pháp hiện đại khác
- Các trường hợp sử dụng: nhập dữ liệu streaming, vận chuyển log, pipeline sự kiện
Cài đặt, Cấu hình & Thiết lập Cụm
- Cài đặt NiFi trên chế độ đơn node và cụm
- Cấu hình cụm: vai trò nút, Zookeeper, và cân tải
- Quản lý triển khai NiFi: sử dụng Ansible, Docker, hoặc Helm
Thiết kế và Quản lý Dòng dữ liệu
- Định tuyến, lọc, chia nhỏ, hợp nhất dòng dữ liệu
- Cấu hình processor (InvokeHTTP, QueryRecord, PutDatabaseRecord, v.v.)
- Xử lý schema, phong phú hóa, và biến đổi hoạt động
- Xử lý lỗi, mối quan hệ thử lại, và backpressure
Các Trường hợp Tích hợp
- Kết nối với cơ sở dữ liệu, hệ thống nhắn tin, REST APIs
- Streaming đến các hệ thống phân tích: Kafka, Elasticsearch, hoặc lưu trữ đám mây
- Tích hợp với Splunk, Prometheus, hoặc pipeline log
Giám sát, Phục hồi & Nguồn gốc
- Sử dụng UI của NiFi, chỉ số và visualizer nguồn gốc
- Thiết kế phục hồi tự động và xử lý lỗi êm dịu
- Sao lưu, phiên bản dòng dữ liệu, và quản lý thay đổi
Tối ưu hóa Hiệu suất & Tối ưu hóa
- Tiến hành điều chỉnh JVM, heap, thread pools, và các thông số cụm
- Tối ưu hóa thiết kế dòng dữ liệu để giảm thiểu cổ chai
- Cách ly tài nguyên, ưu tiên dòng dữ liệu, và kiểm soát throughput
Thực hành Tốt nhất & Quản lý
- Tài liệu dòng dữ liệu, tiêu chuẩn đặt tên, thiết kế mô-đun
- Bảo mật: TLS, xác thực, kiểm soát truy cập, mã hóa dữ liệu
- Quản lý thay đổi, phiên bản, quyền truy cập dựa trên vai trò, và lịch sử kiểm tra
Khắc phục Sự cố & Phản hồi Sự cố
- Các vấn đề phổ biến: deadlocks, rò rỉ bộ nhớ, lỗi processor
- Phân tích log, chẩn đoán lỗi và điều tra nguyên nhân gốc rễ
- Các chiến lược phục hồi và lùi dòng dữ liệu
Thực hành Phòng thí nghiệm: Triển khai Đường ống Dữ liệu Thực tế
- Xây dựng một dòng từ đầu đến cuối: nhập, biến đổi, giao hàng
- Triển khai xử lý lỗi, backpressure, và mở rộng
- Thử nghiệm hiệu suất và điều chỉnh đường ống dữ liệu
Tổng kết và Các Bước Tiếp theo
Yêu cầu
- Kinh nghiệm sử dụng dòng lệnh Linux
- Hiểu biết cơ bản về mạng và hệ thống dữ liệu
- Tiếp xúc với các khái niệm streaming dữ liệu hoặc ETL (Extract, Transform, Load)
Đối tượng
- Quản trị viên hệ thống
- Kỹ sư dữ liệu
- Lập trình viên
- Chuyên gia DevOps
Đánh giá (7)
Bài tập thực hành. Khóa học nên kéo dài 5 ngày, nhưng 3 ngày đã giúp làm rõ nhiều câu hỏi mà tôi có khi làm việc với NiFi.
James - BHG Financial
Khóa học - Apache NiFi for Administrators
Dịch thuật bằng máy
Tôi nghĩ tốc độ của giảng viên rất tốt. Anh ấy không để bất kỳ học sinh nào bị bỏ lại phía sau với cách tiếp cận của mình. Anh ấy rất hỗ trợ chúng tôi - những người MỚI BẮT ĐẦU có thể chưa từng có vai trò Quản trị Hệ thống hoặc Cơ sở hạ tầng trong sự nghiệp của mình, hoặc khôi phục những kỹ năng đó từ một giai đoạn trước đó trong sự nghiệp.
Pamdrea Ivory - BHG Financial
Khóa học - Apache NiFi for Administrators
Dịch thuật bằng máy
Tôi thích phần thực hành. Nó giúp tôi nhớ thông tin tốt hơn bằng cách hoàn thành các bài tập được cung cấp. Ngoài ra, khả năng tương tác của giảng viên với toàn bộ lớp đã khiến tôi cảm thấy thoải mái khi hỏi về những điều mà tôi chưa chắc chắn.
Leila - BHG Financial
Khóa học - Apache NiFi for Administrators
Dịch thuật bằng máy
Các tình huống sử dụng và ví dụ về việc xây dựng luồng dữ liệu NiFi. Chúng tôi đã làm việc để giải quyết các vấn đề phổ biến và các lỗi thường gặp.
Nelson - BHG Financial
Khóa học - Apache NiFi for Administrators
Dịch thuật bằng máy
Tôi rất thích cấu trúc khóa học. Ngày đầu tiên, chúng tôi đã tìm hiểu về những kiến thức cơ bản của NiFi, các khái niệm và trường hợp sử dụng. Ngày thứ hai, chúng tôi áp dụng kiến thức ngày đầu để xây dựng các luồng dữ liệu đáp ứng yêu cầu của từng tình huống. Ngày thứ ba, chúng tôi được giới thiệu về NiFi Registry và kiểm soát phiên bản, đa thuê bao, và thảo luận các câu hỏi và trả lời.
Adam - BHG Financial
Khóa học - Apache NiFi for Administrators
Dịch thuật bằng máy
Tôi thích cách anh ấy có thể giải thích chi tiết về NiFi và sức mạnh của nó. Bạn基本上可以将其用于任何基础设施,并使用许多不同的计算机语言。另外,我很高兴我们能够解决我们在Truststore中遇到的NiFi证书续订问题。 (Note: The last sentence was translated directly, but "basically" was left in English as it didn't flow naturally when translated literally. If a more natural phrasing is preferred, please let me know.) 更正后的翻译: Tôi thích cách anh ấy có thể giải thích chi tiết về NiFi và sức mạnh của nó. Bạn基本上可以将其用于任何基础设施,并使用许多不同的计算机语言。另外,我很高兴我们能够解决我们在Truststore中遇到的NiFi证书续订问题。 (注:最后一句直接翻译了,但“basically”直译不太自然,所以保留英文。如果需要更自然的表达,请告知。) 考虑到流畅性,完整的翻译如下: Tôi thích cách anh ấy có thể giải thích chi tiết về NiFi và sức mạnh của nó. Bạn có thể sử dụng nó cho hầu hết các cơ sở hạ tầng và nhiều ngôn ngữ lập trình khác nhau. Ngoài ra, tôi rất vui vì chúng ta đã khắc phục được vấn đề gia hạn chứng chỉ NiFi với Truststore.
Joachim Martin - BHG Financial
Khóa học - Apache NiFi for Administrators
Dịch thuật bằng máy
kiến thức tổng quát và những khả năng mà khóa đào tạo cung cấp về công cụ này.
Nalfis Tobar - BHG Financial
Khóa học - Apache NiFi for Administrators
Dịch thuật bằng máy