Apache Kafka cho Python Lập trình viên Training Course

Apache Beam là một mô hình lập trình thống nhất, mã nguồn mở để định nghĩa và thực thi các quy trình xử lý dữ liệu song song. Sức mạnh của nó nằm ở khả năng chạy cả quy trình hàng loạt và quy trình luồng, với việc thực thi được thực hiện bởi một trong các back-end xử lý phân tán được hỗ trợ của Beam: Apache Apex, Apache Flink, Apache Spark và Google Cloud Dataflow. Apache Beam hữu ích cho các tác vụ ETL (Trích xuất, Chuyển đổi và Tải) như di chuyển dữ liệu giữa các phương tiện lưu trữ và nguồn dữ liệu khác nhau, chuyển đổi dữ liệu thành định dạng mong muốn hơn và tải dữ liệu lên một hệ thống mới.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn (tại chỗ hoặc từ xa) này, người tham gia sẽ học cách triển khai các SDK Apache Beam trong một ứng dụng Java hoặc Python để xác định một quy trình xử lý dữ liệu nhằm phân tách một tập dữ liệu lớn thành các phần nhỏ hơn để xử lý song song độc lập.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Beam.
• Sử dụng một mô hình lập trình duy nhất để thực hiện cả xử lý hàng loạt và xử lý luồng từ trong ứng dụng Java hoặc Python của họ.
• Thực thi các quy trình trên nhiều môi trường.

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu.

Lưu ý

• Khóa học này sẽ có sẵn Scala trong tương lai. Vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư muốn sử dụng Confluent (một bản phân phối của Kafka) để xây dựng và quản lý một nền tảng xử lý dữ liệu thời gian thực cho các ứng dụng của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent Platform.
• Sử dụng các công cụ quản lý và dịch vụ của Confluent để chạy Kafka một cách dễ dàng hơn.
• Lưu trữ và xử lý dữ liệu luồng đến.
• Tối ưu hóa và quản lý các cụm Kafka.
• Bảo mật các luồng dữ liệu.

Định dạng Khóa học

• Bài giảng tương tác và thảo luận.
• Nhiều bài tập và thực hành.
• Thực hiện trực tiếp trong môi trường lab trực tuyến.

Tùy chọn Tùy chỉnh Khóa học

• Khóa học này dựa trên phiên bản mã nguồn mở của Confluent: Confluent Open Source.
• Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Apache Kafka là một nền tảng phát trực tuyến phân tán. Nó trên thực tế là tiêu chuẩn để xây dựng các đường dẫn dữ liệu và giải quyết rất nhiều trường hợp sử dụng khác nhau xung quanh việc xử lý dữ liệu: nó có thể được sử dụng như một hàng đợi tin nhắn, nhật ký phân tán, bộ xử lý luồng, v.v.

Chúng ta sẽ bắt đầu với một số lý thuyết đằng sau các đường dẫn dữ liệu nói chung, sau đó tiếp tục với các khái niệm cơ bản đằng sau Kafka. Chúng ta cũng sẽ khám phá các thành phần quan trọng như Kafka Streams và Kafka Connect.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, tại Việt Nam (trực tuyến hoặc tại chỗ), giới thiệu các nguyên tắc và phương pháp xử lý dữ liệu theo luồng và theo lô phân tán, đồng thời hướng dẫn người tham gia xây dựng một ứng dụng xử lý dữ liệu theo luồng thời gian thực trong Apache Flink.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường để phát triển các ứng dụng phân tích dữ liệu.
• Hiểu cách thức hoạt động của thư viện xử lý đồ thị (Gelly) của Apache Flink.
• Đóng gói, thực thi và giám sát các ứng dụng xử lý dữ liệu theo luồng, chịu lỗi dựa trên Flink.
• Quản lý các khối lượng công việc đa dạng.
• Thực hiện phân tích nâng cao.
• Thiết lập một cụm Flink đa nút.
• Đo lường và tối ưu hóa hiệu suất.
• Tích hợp Flink với các hệ thống Big Data khác nhau.
• So sánh khả năng của Flink với các khung xử lý dữ liệu lớn khác.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (tại chỗ hoặc từ xa), người tham gia sẽ học cách thiết lập và tích hợp các Stream Processing framework khác nhau với các hệ thống lưu trữ dữ liệu lớn hiện có và các ứng dụng phần mềm liên quan cũng như các microservice.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các Stream Processing framework khác nhau, chẳng hạn như Spark Streaming và Kafka Streaming.
• Hiểu và lựa chọn framework phù hợp nhất cho công việc.
• Xử lý dữ liệu liên tục, đồng thời và theo từng bản ghi.
• Tích hợp các giải pháp Stream Processing với các cơ sở dữ liệu, kho dữ liệu, hồ dữ liệu hiện có, v.v.
• Tích hợp thư viện xử lý luồng phù hợp nhất với các ứng dụng doanh nghiệp và microservice.

Khóa học này dành cho các kiến trúc sư doanh nghiệp, nhà phát triển, quản trị viên hệ thống và bất kỳ ai muốn tìm hiểu và sử dụng hệ thống nhắn tin phân tán có thông lượng cao. Nếu bạn có các yêu cầu cụ thể hơn (ví dụ: chỉ tập trung vào quản trị hệ thống), khóa học này có thể được điều chỉnh để phù hợp hơn với nhu cầu của bạn.

Kafka Streams là một thư viện phía máy khách để xây dựng các ứng dụng và microservice có dữ liệu được truyền đến và đi từ hệ thống nhắn tin Kafka. Theo truyền thống, Apache Kafka đã dựa vào Apache Spark hoặc Apache Storm để xử lý dữ liệu giữa các nhà sản xuất và người tiêu dùng tin nhắn. Bằng cách gọi API Kafka Streams từ trong một ứng dụng, dữ liệu có thể được xử lý trực tiếp trong Kafka, bỏ qua nhu cầu gửi dữ liệu đến một cụm riêng biệt để xử lý.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học cách tích hợp Kafka Streams vào một tập hợp các ứng dụng Java mẫu truyền dữ liệu đến và đi từ Apache Kafka để xử lý luồng.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các tính năng và ưu điểm của Kafka Streams so với các khung xử lý luồng khác
• Xử lý dữ liệu luồng trực tiếp trong cụm Kafka
• Lập trình một ứng dụng hoặc microservice Java hoặc Scala tích hợp với Kafka và Kafka Streams
• Viết mã ngắn gọn chuyển đổi các chủ đề Kafka đầu vào thành các chủ đề Kafka đầu ra
• Xây dựng, đóng gói và triển khai ứng dụng

Đối tượng

• Nhà phát triển

Định dạng của khóa học

• Phần giảng dạy, phần thảo luận, bài tập và thực hành nhiều tay

Ghi chú

• Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn triển khai xử lý luồng Apache Kafka mà không cần viết mã.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent KSQL.
• Thiết lập một quy trình xử lý luồng chỉ bằng các lệnh SQL (không cần viết mã Java hoặc Python).
• Thực hiện lọc dữ liệu, chuyển đổi, tổng hợp, kết hợp, phân vùng theo cửa sổ và phân nhóm phiên hoàn toàn bằng SQL.
• Thiết kế và triển khai các truy vấn tương tác, liên tục cho ETL luồng và phân tích thời gian thực.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (tại chỗ hoặc từ xa), người tham gia sẽ học cách triển khai và quản lý Apache NiFi trong môi trường phòng thí nghiệm trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apachi NiFi.
• Thu thập, chuyển đổi và quản lý dữ liệu từ nhiều nguồn dữ liệu phân tán khác nhau, bao gồm cơ sở dữ liệu và các hồ dữ liệu lớn.
• Tự động hóa luồng dữ liệu.
• Kích hoạt phân tích luồng.
• Áp dụng các phương pháp khác nhau để đưa dữ liệu vào.
• Chuyển đổi Big Data thành thông tin chi tiết hữu ích cho doanh nghiệp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học các nguyên tắc cơ bản của lập trình dựa trên luồng khi phát triển một số tiện ích mở rộng, thành phần và bộ xử lý bằng Apache NiFi.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và khái niệm luồng dữ liệu của NiFi.
• Phát triển các tiện ích mở rộng bằng NiFi và API của bên thứ ba.
• Tự phát triển bộ xử lý Apache Nifi của riêng họ.
• Thu thập và xử lý dữ liệu thời gian thực từ các định dạng tệp và nguồn dữ liệu khác nhau và không phổ biến.

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng của Spark Streaming để xử lý và phân tích dữ liệu thời gian thực.

Khi kết thúc khóa đào tạo, người tham gia sẽ có thể sử dụng Spark Streaming để xử lý các luồng dữ liệu trực tiếp để sử dụng trong cơ sở dữ liệu, hệ thống tệp và bảng điều khiển trực tiếp.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn chuyển đổi kiến trúc truyền thống thành kiến trúc dựa trên microservices có tính đồng thời cao bằng cách sử dụng Spring Cloud, Kafka, Docker, Kubernetes và Redis.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường phát triển cần thiết để xây dựng microservices.
• Thiết kế và triển khai một hệ sinh thái microservices có tính đồng thời cao bằng cách sử dụng Spring Cloud, Kafka, Redis, Docker và Kubernetes.
• Chuyển đổi các dịch vụ monolithic và SOA thành kiến trúc dựa trên microservice.
• Áp dụng phương pháp DevOps để phát triển, kiểm thử và phát hành phần mềm.
• Đảm bảo tính đồng thời cao giữa các microservices trong môi trường sản xuất.
• Giám sát microservices và triển khai các chiến lược phục hồi.
• Thực hiện điều chỉnh hiệu suất.
• Tìm hiểu về các xu hướng tương lai trong kiến trúc microservices.