Spark Streaming với Python và Kafka Training Course

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn tích hợp Apache Kafka với các cơ sở dữ liệu và ứng dụng hiện có để xử lý, phân tích, v.v.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Sử dụng Kafka Connect để đưa lượng lớn dữ liệu từ cơ sở dữ liệu vào các chủ đề Kafka.
• Đưa dữ liệu nhật ký được sinh bởi máy chủ ứng dụng vào các chủ đề Kafka.
• Make bất kỳ dữ liệu đã thu thập nào sẵn sàng cho xử lý luồng.
• Xuất dữ liệu từ các chủ đề Kafka vào hệ thống phụ để lưu trữ và phân tích.

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư muốn sử dụng Confluent (một bản phân phối của Kafka) để xây dựng và quản lý một nền tảng xử lý dữ liệu thời gian thực cho các ứng dụng của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent Platform.
• Sử dụng các công cụ quản lý và dịch vụ của Confluent để chạy Kafka một cách dễ dàng hơn.
• Lưu trữ và xử lý dữ liệu luồng đến.
• Tối ưu hóa và quản lý các cụm Kafka.
• Bảo mật các luồng dữ liệu.

Định dạng Khóa học

• Bài giảng tương tác và thảo luận.
• Nhiều bài tập và thực hành.
• Thực hiện trực tiếp trong môi trường lab trực tuyến.

Tùy chọn Tùy chỉnh Khóa học

• Khóa học này dựa trên phiên bản mã nguồn mở của Confluent: Confluent Open Source.
• Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Apache Kafka là một nền tảng phát trực tuyến phân tán. Nó trên thực tế là tiêu chuẩn để xây dựng các đường dẫn dữ liệu và giải quyết rất nhiều trường hợp sử dụng khác nhau xung quanh việc xử lý dữ liệu: nó có thể được sử dụng như một hàng đợi tin nhắn, nhật ký phân tán, bộ xử lý luồng, v.v.

Chúng ta sẽ bắt đầu với một số lý thuyết đằng sau các đường dẫn dữ liệu nói chung, sau đó tiếp tục với các khái niệm cơ bản đằng sau Kafka. Chúng ta cũng sẽ khám phá các thành phần quan trọng như Kafka Streams và Kafka Connect.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (tại chỗ hoặc từ xa), người tham gia sẽ học cách thiết lập và tích hợp các Stream Processing framework khác nhau với các hệ thống lưu trữ dữ liệu lớn hiện có và các ứng dụng phần mềm liên quan cũng như các microservice.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các Stream Processing framework khác nhau, chẳng hạn như Spark Streaming và Kafka Streaming.
• Hiểu và lựa chọn framework phù hợp nhất cho công việc.
• Xử lý dữ liệu liên tục, đồng thời và theo từng bản ghi.
• Tích hợp các giải pháp Stream Processing với các cơ sở dữ liệu, kho dữ liệu, hồ dữ liệu hiện có, v.v.
• Tích hợp thư viện xử lý luồng phù hợp nhất với các ứng dụng doanh nghiệp và microservice.

Khóa học này dành cho các kiến trúc sư doanh nghiệp, nhà phát triển, quản trị viên hệ thống và bất kỳ ai muốn tìm hiểu và sử dụng hệ thống nhắn tin phân tán có thông lượng cao. Nếu bạn có các yêu cầu cụ thể hơn (ví dụ: chỉ tập trung vào quản trị hệ thống), khóa học này có thể được điều chỉnh để phù hợp hơn với nhu cầu của bạn.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống muốn thiết lập, triển khai, quản lý và tối ưu hóa một cụm Kafka cấp doanh nghiệp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập và quản trị một cụm Kafka.
• Đánh giá lợi ích và hạn chế của việc triển khai Kafka tại chỗ so với trên đám mây.
• Triển khai và giám sát Kafka bằng cách sử dụng nhiều công cụ môi trường tại chỗ và trên đám mây.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển ở trình độ trung cấp, những người muốn phát triển các ứng dụng dữ liệu lớn với Apache Kafka.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Phát triển các nhà sản xuất và tiêu thụ Kafka để gửi và đọc dữ liệu từ Kafka.
• Tích hợp Kafka với các hệ thống bên ngoài bằng Kafka Connect.
• Viết các ứng dụng phát trực tuyến với Kafka Streams & ksqlDB.
• Tích hợp một ứng dụng khách Kafka với Confluent Cloud cho các triển khai Kafka dựa trên đám mây.
• Thu thập kinh nghiệm thực tế thông qua các bài tập thực hành và các trường hợp sử dụng trong thế giới thực.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng Apache Kafka trong luồng dữ liệu với Python.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể sử dụng Apache Kafka để giám sát và quản lý các điều kiện trong luồng dữ liệu liên tục bằng cách sử dụng lập trình Python.

Buổi đào tạo trực tiếp dưới sự hướng dẫn của giảng viên tại Việt Nam (trực tuyến hoặc tại chỗ) này dành cho các tester phần mềm muốn triển khai các biện pháp bảo mật mạng vào một ứng dụng Apache Kafka.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Triển khai Apache Kafka lên máy chủ dựa trên đám mây.
• Thực hiện mã hóa SSL để ngăn chặn các cuộc tấn công.
• Thêm xác thực ACL để theo dõi và kiểm soát quyền truy cập của người dùng.
• Đảm bảo khách hàng đáng tin cậy có thể truy cập vào cụm Kafka với xác thực SSL và SASL.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển ở trình độ trung cấp, những người muốn tìm hiểu các nguyên tắc cơ bản của Kafka và tích hợp nó với Spring Boot.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu về Kafka và kiến trúc của nó.
• Tìm hiểu cách cài đặt, cấu hình và thiết lập môi trường Kafka cơ bản.
• Tích hợp Kafka với Spring Boot.

Kafka Streams là một thư viện phía máy khách để xây dựng các ứng dụng và microservice có dữ liệu được truyền đến và đi từ hệ thống nhắn tin Kafka. Theo truyền thống, Apache Kafka đã dựa vào Apache Spark hoặc Apache Storm để xử lý dữ liệu giữa các nhà sản xuất và người tiêu dùng tin nhắn. Bằng cách gọi API Kafka Streams từ trong một ứng dụng, dữ liệu có thể được xử lý trực tiếp trong Kafka, bỏ qua nhu cầu gửi dữ liệu đến một cụm riêng biệt để xử lý.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học cách tích hợp Kafka Streams vào một tập hợp các ứng dụng Java mẫu truyền dữ liệu đến và đi từ Apache Kafka để xử lý luồng.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các tính năng và ưu điểm của Kafka Streams so với các khung xử lý luồng khác
• Xử lý dữ liệu luồng trực tiếp trong cụm Kafka
• Lập trình một ứng dụng hoặc microservice Java hoặc Scala tích hợp với Kafka và Kafka Streams
• Viết mã ngắn gọn chuyển đổi các chủ đề Kafka đầu vào thành các chủ đề Kafka đầu ra
• Xây dựng, đóng gói và triển khai ứng dụng

Đối tượng

• Nhà phát triển

Định dạng của khóa học

• Phần giảng dạy, phần thảo luận, bài tập và thực hành nhiều tay

Ghi chú

• Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống ở trình độ mới bắt đầu đến trung cấp, những người muốn học cách quản lý hiệu quả các chủ đề Kafka để xử lý và truyền phát dữ liệu hiệu quả.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các nguyên tắc cơ bản và kiến trúc của chủ đề Kafka.
• Tạo, cấu hình và quản lý các chủ đề Kafka.
• Giám sát các chủ đề Kafka về tình trạng, hiệu suất và khả năng sẵn sàng.
• Triển khai các biện pháp bảo mật cho các chủ đề Kafka.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn triển khai xử lý luồng Apache Kafka mà không cần viết mã.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent KSQL.
• Thiết lập một quy trình xử lý luồng chỉ bằng các lệnh SQL (không cần viết mã Java hoặc Python).
• Thực hiện lọc dữ liệu, chuyển đổi, tổng hợp, kết hợp, phân vùng theo cửa sổ và phân nhóm phiên hoàn toàn bằng SQL.
• Thiết kế và triển khai các truy vấn tương tác, liên tục cho ETL luồng và phân tích thời gian thực.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu muốn sử dụng bộ công cụ S MAC K để xây dựng các nền tảng xử lý dữ liệu cho các giải pháp dữ liệu lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Triển khai kiến trúc đường dẫn dữ liệu để xử lý dữ liệu lớn.
• Phát triển cơ sở hạ tầng cụm với Apache Mesos và Docker.
• Phân tích dữ liệu với Spark và Scala.
• Quản lý dữ liệu phi cấu trúc với Apache Cassandra.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn chuyển đổi kiến trúc truyền thống thành kiến trúc dựa trên microservices có tính đồng thời cao bằng cách sử dụng Spring Cloud, Kafka, Docker, Kubernetes và Redis.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường phát triển cần thiết để xây dựng microservices.
• Thiết kế và triển khai một hệ sinh thái microservices có tính đồng thời cao bằng cách sử dụng Spring Cloud, Kafka, Redis, Docker và Kubernetes.
• Chuyển đổi các dịch vụ monolithic và SOA thành kiến trúc dựa trên microservice.
• Áp dụng phương pháp DevOps để phát triển, kiểm thử và phát hành phần mềm.
• Đảm bảo tính đồng thời cao giữa các microservices trong môi trường sản xuất.
• Giám sát microservices và triển khai các chiến lược phục hồi.
• Thực hiện điều chỉnh hiệu suất.
• Tìm hiểu về các xu hướng tương lai trong kiến trúc microservices.