Đề cương khóa học
Các Yếu tố Cơ bản của Quản trị Kafka
- Vị trí của Kafka trong một nền tảng dữ liệu hiện đại và các trách nhiệm sản xuất điển hình
- Các khái niệm cơ bản cho người vận hành: broker, chủ đề, phân vùng, offset, nhóm người tiêu dùng
- Cơ sở của sao chép: leader và follower, replica đồng bộ, các lựa chọn về khả dụng
- Các điểm nổi bật về vận hành Kafka và thuật ngữ thông thường được sử dụng trong sách hướng dẫn
Chế độ KRaft và Thiết kế Cụm
- Cơ bản về KRaft: controller, quorum siêu dữ liệu, bầu cử, và tầm quan trọng trong vận hành
- Kế hoạch triển khai: xác định kích thước cho throughput, phân vùng, lưu trữ và tăng trưởng
- Vai trò và bố cục nút: kết hợp vs controller chuyên dụng, xem xét miền lỗi
- Phòng thí nghiệm: kiểm tra siêu dữ liệu KRaft, xác nhận sức khỏe quorum, và diễn giải nhật ký controller
Cài đặt, Cấu hình và Vận hành Hàng Ngày
- Các phương pháp cài đặt (gói, tarball, container) và những gì cần chuẩn hóa trong môi trường doanh nghiệp
- Cấu hình broker cơ bản ảnh hưởng đến độ tin cậy: listeners, sao chép, thư mục log, lưu trữ
- Vận hành dịch vụ an toàn: thứ tự khởi động, tắt máy êm dịu, và các kiểm tra xác nhận
- Phòng thí nghiệm: triển khai cụm đa nút, xác nhận đăng ký broker, và xác nhận sản xuất và tiêu thụ cơ bản
Quản lý Chủ đề, Phân vùng và Đặt Dữ liệu
- Chu trình sống của chủ đề bằng Kafka CLI: tạo, mô tả, cập nhật cấu hình, xóa
- Chọn phân vùng và các yếu tố sao chép cho các tác vụ thực tế, bao gồm các mẫu không phù hợp thông thường
- Di chuyển và cân bằng: khi nào di chuyển phân vùng và cách xác nhận tiến trình an toàn
- Phòng thí nghiệm: tạo chủ đề, kích hoạt việc di chuyển phân vùng, mô phỏng sự cố broker, và xác nhận quá trình phục hồi
Bảo mật Kafka cho Sản xuất
- TLS cho lưu lượng truy cập client và giữa các broker: chứng chỉ, chuỗi tin cậy, và các bước xác thực
- Xác thực với SASL: chọn cơ chế thông thường và tránh cấu hình không đúng
- Phân quyền bằng ACLs: mô hình ít quyền nhất cho quản trị viên, người sản xuất, và người tiêu dùng
- Phòng thí nghiệm: kích hoạt TLS và SASL, xác nhận kết nối client, và áp dụng ACLs cho các vai trò ứng dụng
Giám sát, Độ tin cậy và Khắc phục sự cố
- Các yếu tố cơ bản về giám sát: sức khỏe controller, phân vùng không được sao chép đầy đủ, độ trễ yêu cầu, bão hòa đĩa và mạng
- Nhật ký và chỉ số: đọc nhật ký broker và phơi bày chỉ số thông qua JMX exporter đến các stack giám sát phổ biến
- Sách hướng dẫn vận hành: khởi động lại lăn, thay đổi cấu hình an toàn, xử lý sự cố đĩa đầy và ISR
- Phòng thí nghiệm: xây dựng bộ cảnh báo tối thiểu, chẩn đoán cụm bị suy giảm, và khôi phục sao chép khỏe mạnh
Nâng cấp và Chuẩn bị Khôi phục sau Sự cố
- Kế hoạch nâng cấp cho Kafka: kiểm tra tính tương thích, staging, và phương pháp lăn lại
- Sao lưu và kỳ vọng khôi phục: những gì có thể sao lưu, những gì không thể, và cơ bản về khôi phục cấu hình
- Tổng quan về sao chép giữa cụm và khi nào sử dụng MirrorMaker 2 cho DR và di chuyển
- Kết thúc: danh sách kiểm tra vận hành, tài liệu bàn giao, và các bước tiếp theo cho triển khai sản xuất
Yêu cầu
- Hiểu biết cơ bản về quản trị Linux (người dùng, dịch vụ, tệp, quyền)
- Kinh nghiệm với các khái niệm mạng TCP/IP (DNS, cổng, tường lửa, cân bằng tải)
- Kỹ năng viết kịch bản cơ bản (Bash, PowerShell hoặc tương tự) cho các tác vụ vận hành thường xuyên
Đối tượng
- Quản trị viên Kafka và kỹ sư nền tảng chịu trách nhiệm vận hành các cụm Kafka
- Kỹ sư độ tin cậy trang web và DevOps engineers hỗ trợ các nền tảng streaming
- Đội ngũ cơ sở hạ tầng và vận hành triển khai các cụm Kafka mới dựa trên KRaft hoặc di chuyển từ ZooKeeper
Đánh giá (5)
Có khả năng thực hiện các bài tập độc lập trong môi trường đào tạo.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Khóa học - Kafka for Administrators
Dịch thuật bằng máy
Đi thẳng vào vấn đề, tốc độ phù hợp (tuy nhiên cần biết cơ bản về bash)
Krzysztof - Agora SA
Khóa học - Kafka for Administrators
Dịch thuật bằng máy
Giảng viên chấp nhận câu hỏi vào bất kỳ thời điểm nào trong buổi học, kể cả khi chủ đề đã được giảng dạy từ vài ngày trước.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Khóa học - Kafka for Administrators
Dịch thuật bằng máy
Kỹ năng trình bày tốt
Md Maruf Hossain - ATOS PGS sp. z o.o.
Khóa học - Kafka for Administrators
Dịch thuật bằng máy
Kỹ năng tuyệt vời, ví dụ hay, bài tập rất tốt
Marek Konieczny - G2A.COM Limited
Khóa học - Kafka for Administrators
Dịch thuật bằng máy