A Practical Introduction to Stream Processing Training Course

Khóa học này dành cho các nhà phát triển và nhà khoa học dữ liệu mong muốn hiểu và triển khai trí tuệ nhân tạo trong ứng dụng của họ. Tập trung đặc biệt vào phân tích dữ liệu, trí tuệ nhân tạo phân tán và xử lý ngôn ngữ tự nhiên.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn tích hợp Apache Kafka với các cơ sở dữ liệu và ứng dụng hiện có để xử lý, phân tích, v.v.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Sử dụng Kafka Connect để đưa một lượng lớn dữ liệu từ cơ sở dữ liệu vào các chủ đề Kafka.
• Đưa dữ liệu nhật ký được tạo bởi các máy chủ ứng dụng vào các chủ đề Kafka.
• Make bất kỳ dữ liệu nào được thu thập để xử lý luồng.
• Xuất dữ liệu từ các chủ đề Kafka vào các hệ thống thứ cấp để lưu trữ và phân tích.

Apache Beam là một mô hình lập trình thống nhất, mã nguồn mở để định nghĩa và thực thi các quy trình xử lý dữ liệu song song. Sức mạnh của nó nằm ở khả năng chạy cả quy trình hàng loạt và quy trình luồng, với việc thực thi được thực hiện bởi một trong các back-end xử lý phân tán được hỗ trợ của Beam: Apache Apex, Apache Flink, Apache Spark và Google Cloud Dataflow. Apache Beam hữu ích cho các tác vụ ETL (Trích xuất, Chuyển đổi và Tải) như di chuyển dữ liệu giữa các phương tiện lưu trữ và nguồn dữ liệu khác nhau, chuyển đổi dữ liệu thành định dạng mong muốn hơn và tải dữ liệu lên một hệ thống mới.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn (tại chỗ hoặc từ xa) này, người tham gia sẽ học cách triển khai các SDK Apache Beam trong một ứng dụng Java hoặc Python để xác định một quy trình xử lý dữ liệu nhằm phân tách một tập dữ liệu lớn thành các phần nhỏ hơn để xử lý song song độc lập.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Beam.
• Sử dụng một mô hình lập trình duy nhất để thực hiện cả xử lý hàng loạt và xử lý luồng từ trong ứng dụng Java hoặc Python của họ.
• Thực thi các quy trình trên nhiều môi trường.

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu.

Lưu ý

• Khóa học này sẽ có sẵn Scala trong tương lai. Vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư muốn sử dụng Confluent (một bản phân phối của Kafka) để xây dựng và quản lý một nền tảng xử lý dữ liệu thời gian thực cho các ứng dụng của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Nền tảng Confluent.
• Sử dụng các công cụ và dịch vụ quản lý của Confluent để chạy Kafka dễ dàng hơn.
• Lưu trữ và xử lý dữ liệu luồng đến.
• Tối ưu hóa và quản lý các cụm Kafka.
• Bảo mật luồng dữ liệu.

Định dạng Khóa học

• Bài giảng và thảo luận tương tác.
• Nhiều bài tập và thực hành.
• Thực hiện trực tiếp trong môi trường phòng thí nghiệm trực tiếp.

Tùy chọn Tùy chỉnh Khóa học

• Khóa học này dựa trên phiên bản mã nguồn mở của Confluent: Confluent Open Source.
• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, tại Việt Nam (trực tuyến hoặc tại chỗ), giới thiệu các nguyên tắc và phương pháp xử lý dữ liệu theo luồng và theo lô phân tán, đồng thời hướng dẫn người tham gia xây dựng một ứng dụng xử lý dữ liệu theo luồng thời gian thực trong Apache Flink.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường để phát triển các ứng dụng phân tích dữ liệu.
• Hiểu cách thức hoạt động của thư viện xử lý đồ thị (Gelly) của Apache Flink.
• Đóng gói, thực thi và giám sát các ứng dụng xử lý dữ liệu theo luồng, chịu lỗi dựa trên Flink.
• Quản lý các khối lượng công việc đa dạng.
• Thực hiện phân tích nâng cao.
• Thiết lập một cụm Flink đa nút.
• Đo lường và tối ưu hóa hiệu suất.
• Tích hợp Flink với các hệ thống Big Data khác nhau.
• So sánh khả năng của Flink với các khung xử lý dữ liệu lớn khác.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ tìm hiểu về các công nghệ và phương pháp triển khai để xử lý dữ liệu đồ thị. Mục tiêu là xác định các đối tượng trong thế giới thực, đặc điểm và mối quan hệ của chúng, sau đó mô hình hóa các mối quan hệ này và xử lý chúng như dữ liệu bằng cách tiếp cận Graph Computing (còn được gọi là Phân tích Đồ thị). Chúng ta bắt đầu với một cái nhìn tổng quan rộng rãi và thu hẹp phạm vi vào các công cụ cụ thể khi chúng ta thực hiện một loạt các nghiên cứu điển hình, bài tập thực hành và triển khai trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu cách dữ liệu đồ thị được lưu trữ và duyệt.
• Chọn khung làm việc tốt nhất cho một nhiệm vụ cụ thể (từ cơ sở dữ liệu đồ thị đến các khung xử lý hàng loạt).
• Triển khai Hadoop, Spark, GraphX và Pregel để thực hiện tính toán đồ thị trên nhiều máy song song.
• Xem các vấn đề dữ liệu lớn trong thế giới thực dưới dạng đồ thị, quy trình và duyệt.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng Apache Kafka trong luồng dữ liệu với Python.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể sử dụng Apache Kafka để giám sát và quản lý các điều kiện trong luồng dữ liệu liên tục bằng cách sử dụng lập trình Python.

Kafka Streams là một thư viện phía máy khách để xây dựng các ứng dụng và microservice có dữ liệu được truyền đến và đi từ hệ thống nhắn tin Kafka. Theo truyền thống, Apache Kafka đã dựa vào Apache Spark hoặc Apache Storm để xử lý dữ liệu giữa các nhà sản xuất và người tiêu dùng tin nhắn. Bằng cách gọi API Kafka Streams từ trong một ứng dụng, dữ liệu có thể được xử lý trực tiếp trong Kafka, bỏ qua nhu cầu gửi dữ liệu đến một cụm riêng biệt để xử lý.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học cách tích hợp Kafka Streams vào một tập hợp các ứng dụng Java mẫu truyền dữ liệu đến và đi từ Apache Kafka để xử lý luồng.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các tính năng và lợi thế của Kafka Streams so với các framework xử lý luồng khác
• Xử lý dữ liệu luồng trực tiếp trong một cụm Kafka
• Viết một ứng dụng hoặc microservice Java hoặc Scala tích hợp với Kafka và Kafka Streams
• Viết mã ngắn gọn chuyển đổi các chủ đề Kafka đầu vào thành các chủ đề Kafka đầu ra
• Xây dựng, đóng gói và triển khai ứng dụng

Đối tượng

• Nhà phát triển

Định dạng của khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành nặng nề

Ghi chú

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn triển khai xử lý luồng Apache Kafka mà không cần viết mã.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent KSQL.
• Thiết lập một quy trình xử lý luồng chỉ bằng các lệnh SQL (không cần viết mã Java hoặc Python).
• Thực hiện lọc dữ liệu, chuyển đổi, tổng hợp, kết hợp, phân vùng theo cửa sổ và phân nhóm phiên hoàn toàn bằng SQL.
• Thiết kế và triển khai các truy vấn tương tác, liên tục cho ETL luồng và phân tích thời gian thực.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (tại chỗ hoặc từ xa), người tham gia sẽ học cách triển khai và quản lý Apache NiFi trong môi trường phòng thí nghiệm trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apachi NiFi.
• Thu thập, chuyển đổi và quản lý dữ liệu từ nhiều nguồn dữ liệu phân tán khác nhau, bao gồm cơ sở dữ liệu và các hồ dữ liệu lớn.
• Tự động hóa luồng dữ liệu.
• Kích hoạt phân tích luồng.
• Áp dụng các phương pháp khác nhau để đưa dữ liệu vào.
• Chuyển đổi Big Data thành thông tin chi tiết hữu ích cho doanh nghiệp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học các nguyên tắc cơ bản của lập trình dựa trên luồng khi phát triển một số tiện ích mở rộng, thành phần và bộ xử lý bằng Apache NiFi.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và khái niệm luồng dữ liệu của NiFi.
• Phát triển các tiện ích mở rộng bằng NiFi và API của bên thứ ba.
• Tự phát triển bộ xử lý Apache Nifi của riêng họ.
• Thu thập và xử lý dữ liệu thời gian thực từ các định dạng tệp và nguồn dữ liệu khác nhau và không phổ biến.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học cách sử dụng Python và Spark cùng nhau để phân tích dữ liệu lớn thông qua các bài tập thực hành.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Học cách sử dụng Spark với Python để phân tích Big Data.
• Thực hành các bài tập mô phỏng các trường hợp thực tế.
• Sử dụng các công cụ và kỹ thuật khác nhau để phân tích dữ liệu lớn bằng PySpark.

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng của Spark Streaming để xử lý và phân tích dữ liệu thời gian thực.

Khi kết thúc khóa đào tạo, người tham gia sẽ có thể sử dụng Spark Streaming để xử lý các luồng dữ liệu trực tiếp để sử dụng trong cơ sở dữ liệu, hệ thống tệp và bảng điều khiển trực tiếp.

MLlib là thư viện học máy (ML) của Spark. Mục tiêu của nó là làm cho việc học máy thực tế có thể mở rộng và dễ dàng. Nó bao gồm các thuật toán và tiện ích học tập phổ biến, bao gồm phân loại, hồi quy, phân cụm, lọc cộng tác, giảm chiều, cũng như các nguyên thủy tối ưu hóa cấp thấp và API pipeline cấp cao.

Nó được chia thành hai gói:

• spark.mllib chứa API ban đầu được xây dựng trên RDD.

• spark.ml cung cấp API cấp cao được xây dựng trên DataFrames để xây dựng pipeline ML.

Đối tượng

Khóa học này dành cho các kỹ sư và nhà phát triển muốn sử dụng Thư viện Máy học tích hợp cho Apache Spark