Xử Lý Dòng Dữ liệu với Kafka Streams Khóa Học Đào Tạo
Kafka Streams là một thư viện ở phía client để xây dựng các ứng dụng và microservices, trong đó dữ liệu được truyền đi và đến từ hệ thống nhắn tin Kafka. Theo truyền thống, Apache Kafka đã phụ thuộc vào Apache Spark hoặc Apache Storm để xử lý dữ liệu giữa các nhà sản xuất và tiêu thụ thông điệp. Bằng cách gọi API Kafka Streams từ bên trong một ứng dụng, dữ liệu có thể được xử lý trực tiếp trong Kafka, không cần phải gửi dữ liệu đến cụm riêng biệt để xử lý.
Trong khóa đào tạo do giáo viên hướng dẫn này, người tham gia sẽ học cách tích hợp Kafka Streams vào một bộ các ứng dụng Java mẫu truyền dữ liệu đi và đến từ Apache Kafka cho việc xử lý dòng chảy.
Bằng cuối khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các tính năng và lợi thế của Kafka Streams so với các framework xử lý dòng chảy khác
- Xử lý dữ liệu dòng chảy trực tiếp trong cụm Kafka
- Viết ứng dụng hoặc microservice Java hoặc Scala tích hợp với Kafka và Kafka Streams
- Viết mã ngắn gọn biến đổi chủ đề đầu vào Kafka thành chủ đề đầu ra Kafka
- Xây dựng, đóng gói và triển khai ứng dụng
Đối tượng tham dự
- Nhà phát triển
Định dạng khóa học
- Một phần thuyết giảng, một phần thảo luận, bài tập và thực hành nặng tay
Ghi chú
- Để yêu cầu khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp
Đề cương khóa học
Giới thiệu
- Kafka so với Spark, Flink và Storm
Tổng quan về các tính năng của Kafka Streams
- Xử lý có trạng thái và không có trạng thái, xử lý dựa trên thời gian sự kiện, DSL, các thao tác phân loại dựa trên thời gian sự kiện, v.v.
Nghiên cứu trường hợp: Kafka Streams API cho dự đoán ngân sách
Cài đặt môi trường phát triển
Tạo ứng dụng Streams
Bắt đầu cụm Kafka
Chuẩn bị chủ đề và dữ liệu đầu vào
Các tùy chọn để xử lý dữ liệu dòng chảy
- Kafka Streams DSL cấp cao
- Bộ xử lý cấp thấp
Chuyển đổi dữ liệu đầu vào
Kiểm tra dữ liệu đầu ra
Dừng cụm Kafka
Các tùy chọn để triển khai ứng dụng
- Công cụ quản lý truyền thống (Puppet, Chef và Salt)
- Docker
- Tệp WAR
Gỡ lỗi
Tổng kết và Kết luận
Yêu cầu
- Hiểu biết về Apache Kafka
- Kinh nghiệm lập trình Java
Khóa học đào tạo mở cần có ít nhất 5 người tham gia.
Xử Lý Dòng Dữ liệu với Kafka Streams Khóa Học Đào Tạo - Đặt chỗ
Xử Lý Dòng Dữ liệu với Kafka Streams Khóa Học Đào Tạo - Yêu cầu thông tin
Xử Lý Dòng Dữ liệu với Kafka Streams - Yêu cầu tư vấn
Yêu cầu tư vấn
Đánh giá (1)
Nhắc lại/lưu ý các điểm chính của các chủ đề đã thảo luận.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Khóa học - Building Stream Processing Applications with Kafka Streams
Dịch thuật bằng máy
Các khóa học sắp tới
Các khóa học liên quan
Apache Kafka Connect
7 Giờ họcKhóa học do giảng viên hướng dẫn, trực tiếp (trực tuyến hoặc tại chỗ) này dành cho các nhà phát triển muốn tích hợp Apache Kafka với các cơ sở dữ liệu và ứng dụng hiện có để xử lý, phân tích, v.v.
Sau khi kết thúc khóa học, người tham gia sẽ có thể:
- Sử dụng Kafka Connect để nhập một lượng lớn dữ liệu từ cơ sở dữ liệu vào các chủ đề Kafka.
- Nhập dữ liệu nhật ký được tạo bởi máy chủ ứng dụng vào các chủ đề Kafka.
- Đưa bất kỳ dữ liệu đã thu thập nào có sẵn cho xử lý luồng.
- Xuất dữ liệu từ các chủ đề Kafka sang các hệ thống phụ trợ để lưu trữ và phân tích.
Xây dựng Giải pháp Kafka với Confluent
14 Giờ họcKhóa đào tạo trực tiếp do giảng viên hướng dẫn (trực tuyến hoặc tại chỗ) này dành cho các kỹ sư muốn sử dụng Confluent (một phiên bản phân phối của Kafka) để xây dựng và quản lý nền tảng xử lý dữ liệu thời gian thực cho ứng dụng của họ.
Sau khi kết thúc khóa học, người tham gia sẽ có thể:
- Cài đặt và cấu hình Confluent Platform.
- Sử dụng các công cụ quản lý và dịch vụ của Confluent để vận hành Kafka dễ dàng hơn.
- Lưu trữ và xử lý dữ liệu luồng đầu vào.
- Tối ưu hóa và quản lý các cụm Kafka.
- Bảo mật dữ liệu luồng.
Định dạng Khóa học
- Bài giảng tương tác và thảo luận.
- Nhiều bài tập và thực hành.
- Triển khai hands-on trong môi trường lab trực tiếp.
Tùy chọn Tùy chỉnh Khóa học
- Khóa học này dựa trên phiên bản mã nguồn mở của Confluent: Confluent Open Source.
- Để yêu cầu khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Xây dựng Đường ống Dữ liệu với Apache Kafka
7 Giờ họcApache Kafka là một nền tảng phát trực tuyến phân tán. Nó trên thực tế là tiêu chuẩn để xây dựng các đường dẫn dữ liệu và giải quyết rất nhiều trường hợp sử dụng khác nhau xung quanh việc xử lý dữ liệu: nó có thể được sử dụng như một hàng đợi tin nhắn, nhật ký phân tán, bộ xử lý luồng, v.v.
Chúng ta sẽ bắt đầu với một số lý thuyết đằng sau các đường dẫn dữ liệu nói chung, sau đó tiếp tục với các khái niệm cơ bản đằng sau Kafka. Chúng ta cũng sẽ khám phá các thành phần quan trọng như Kafka Streams và Kafka Connect.
Giải Thích Thực Tế Về Xử Lý Luồng Dữ Liệu
21 Giờ họcTrong khóa học trực tiếp do giảng viên dẫn dẫn (tại chỗ hoặc từ xa), các tham gia sẽ học cách thiết lập và tích hợp các khung Stream Processing khác nhau với các hệ thống lưu trữ dữ liệu lớn hiện có và các ứng dụng phần mềm liên quan cũng như các microservices.
Sau khi hoàn thành khóa học này, các tham gia sẽ có thể:
- Cài đặt và cấu hình các khung Stream Processing khác nhau, như Spark Streaming và Kafka Streaming.
- Hiểu và chọn khung phù hợp nhất cho công việc.
- Tiến trình xử lý dữ liệu liên tục, đồng thời và theo cách từng bản ghi.
- Tích hợp các giải pháp Stream Processing với các cơ sở dữ liệu, kho dữ liệu, hồ dữ liệu hiện có, v.v.
- Tích hợp thư viện Stream Processing phù hợp nhất với các ứng dụng doanh nghiệp và microservices.
Distributed Messaging with Apache Kafka
14 Giờ họcKhoá học này dành cho các kiến trúc sư doanh nghiệp, nhà phát triển, quản trị viên hệ thống và bất kỳ ai muốn hiểu và sử dụng hệ thống nhắn tin phân tán có thông lượng cao. Nếu bạn có yêu cầu cụ thể hơn (ví dụ: chỉ về phía quản trị hệ thống), khóa học này có thể được điều chỉnh để phù hợp hơn với nhu cầu của bạn.
Kafka cho Quản trị viên
21 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống muốn thiết lập, triển khai, quản lý và tối ưu hóa một cụm Kafka cấp doanh nghiệp.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Thiết lập và quản trị một cụm Kafka.
- Đánh giá lợi ích và hạn chế của việc triển khai Kafka tại chỗ so với trên đám mây.
- Triển khai và giám sát Kafka bằng cách sử dụng nhiều công cụ môi trường tại chỗ và trên đám mây.
Apache Kafka cho Nhà phát triển
21 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển ở trình độ trung cấp, những người muốn phát triển các ứng dụng dữ liệu lớn với Apache Kafka.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Phát triển các nhà sản xuất và tiêu thụ Kafka để gửi và đọc dữ liệu từ Kafka.
- Tích hợp Kafka với các hệ thống bên ngoài bằng Kafka Connect.
- Viết các ứng dụng phát trực tuyến với Kafka Streams & ksqlDB.
- Tích hợp một ứng dụng khách Kafka với Confluent Cloud cho các triển khai Kafka dựa trên đám mây.
- Thu thập kinh nghiệm thực tế thông qua các bài tập thực hành và các trường hợp sử dụng trong thế giới thực.
Apache Kafka cho Nhà phát triển Python
7 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng Apache Kafka trong luồng dữ liệu với Python.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể sử dụng Apache Kafka để giám sát và quản lý các điều kiện trong luồng dữ liệu liên tục bằng cách sử dụng lập trình Python.
Kafka Cơ Bản cho Lập Trình Viên Java
14 Giờ họcDạy viên trực tiếp, huấn luyện trực tuyến hoặc tại chỗ ở Việt Nam dành cho các nhà phát triển Java trung cấp muốn tích hợp Apache Kafka vào ứng dụng của họ để có tin nhắn đáng tin cậy, có khả năng mở rộng và tốc độ cao.
Sau khi kết thúc khóa học này, người tham gia sẽ có thể:
- Hiểu kiến trúc và các thành phần chính của Kafka.
- Cài đặt và cấu hình một cụm Kafka.
- Tạo và tiêu thụ tin nhắn bằng Java.
- Thực hiện Kafka Streams để xử lý dữ liệu thời gian thực.
- Đảm bảo độ tin cậy và khả năng mở rộng trong các ứng dụng Kafka.
Quản lý Hàng Đợi tin Nhắn Kafka
14 Giờ họcKhóa học do giảng viên hướng dẫn, trực tiếp (trực tuyến hoặc tại chỗ) này dành cho các quản trị hệ thống ở mức trung cấp muốn tận dụng hiệu quả các tính năng hàng đợi tin nhắn của Kafka.
Sau khi kết thúc khóa học, người tham gia sẽ có thể:
- Hiểu các khả năng và kiến trúc hàng đợi tin nhắn của Kafka.
- Cấu hình chủ đề Kafka cho các kịch bản hàng đợi tin nhắn.
- Tạo và tiêu thụ tin nhắn bằng Kafka.
- Theo dõi và quản lý Kafka như một hàng đợi tin nhắn.
Bảo mật cho Apache Kafka
7 Giờ họcKhóa huấn luyện trực tiếp do giáo viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) nhằm vào các chuyên gia kiểm thử phần mềm muốn triển khai các biện pháp bảo mật mạng cho ứng dụng Apache Kafka.
Sau khi kết thúc khóa học, người tham gia sẽ có thể:
- Triển khai Apache Kafka trên máy chủ dựa trên đám mây.
- Thực hiện mã hóa SSL để ngăn chặn các cuộc tấn công.
- Thêm xác thực ACL để theo dõi và kiểm soát quyền truy cập của người dùng.
- Đảm bảo các khách hàng đáng tin cậy có quyền truy cập vào cụm Kafka với xác thực SSL và SASL.
Apache Kafka và Spring Boot
7 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển ở trình độ trung cấp, những người muốn tìm hiểu các nguyên tắc cơ bản của Kafka và tích hợp nó với Spring Boot.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu về Kafka và kiến trúc của nó.
- Tìm hiểu cách cài đặt, cấu hình và thiết lập môi trường Kafka cơ bản.
- Tích hợp Kafka với Spring Boot.
Quản Lý Chủ Đề Kafka
14 Giờ họcBài học do giảng viên hướng dẫn, trực tiếp (trực tuyến hoặc tại địa điểm) này dành cho quản trị viên hệ thống cấp sơ đến trung cấp mong muốn học cách quản lý hiệu quả các chủ đề Kafka để truyền và xử lý dữ liệu hiệu quả.
Sau khi kết thúc khóa học, người tham gia sẽ có thể:
- Hiểu rõ cơ bản và kiến trúc của chủ đề Kafka.
- Tạo, cấu hình và quản lý các chủ đề Kafka.
- Theo dõi sức khỏe, hiệu suất và khả năng sử dụng của các chủ đề Kafka.
- Thực hiện các biện pháp bảo mật cho các chủ đề Kafka.
Khoá học về SMACK Stack cho Khoa học Dữ liệu
14 Giờ họcKhóa học này do giáo viên dẫn dắt trực tiếp (trên mạng hoặc tại chỗ) được thiết kế cho các nhà khoa học dữ liệu muốn sử dụng bộ cổng SMACK để xây dựng các nền tảng xử lý dữ liệu cho các giải pháp dữ liệu lớn.
Sau khi hoàn thành khóa học này, các thí sinh sẽ có thể:
- Triển khai kiến trúc pipeline dữ liệu để xử lý dữ liệu lớn.
- Phát triển cơ sở hạ tầng cụm với Apache Mesos và Docker.
- Phân tích dữ liệu với Spark và Scala.
- Quản lý dữ liệu không có cấu trúc với Apache Cassandra.
Microservices với Spring Cloud và Kafka
21 Giờ họcKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn chuyển đổi kiến trúc truyền thống thành kiến trúc dựa trên microservices có tính đồng thời cao bằng cách sử dụng Spring Cloud, Kafka, Docker, Kubernetes và Redis.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Thiết lập môi trường phát triển cần thiết để xây dựng microservices.
- Thiết kế và triển khai một hệ sinh thái microservices có tính đồng thời cao bằng cách sử dụng Spring Cloud, Kafka, Redis, Docker và Kubernetes.
- Chuyển đổi các dịch vụ monolithic và SOA thành kiến trúc dựa trên microservice.
- Áp dụng phương pháp DevOps để phát triển, kiểm thử và phát hành phần mềm.
- Đảm bảo tính đồng thời cao giữa các microservices trong môi trường sản xuất.
- Giám sát microservices và triển khai các chiến lược phục hồi.
- Thực hiện điều chỉnh hiệu suất.
- Tìm hiểu về các xu hướng tương lai trong kiến trúc microservices.
