Đề cương khóa học

Nền tảng của các ứng dụng tập trung dữ liệu Platform Engineering

  • Giới thiệu về các ứng dụng tập trung dữ liệu
  • Thách thức trong kỹ thuật nền tảng cho dữ liệu lớn
  • Tổng quan về kiến trúc xử lý dữ liệu

Mô hình hóa Dữ liệu và Management

  • Nguyên tắc mô hình hóa dữ liệu để mở rộng
  • Tùy chọn lưu trữ dữ liệu và tối ưu hóa
  • Quản lý vòng đời dữ liệu trong môi trường phân tán

Big Data Các Khung Xử Lý

  • Tổng quan về các công cụ xử lý dữ liệu lớn (Hadoop, Spark, Flink)
  • Xử lý hàng loạt so với xử lý luồng
  • Thiết lập một quy trình xử lý dữ liệu lớn

Nền tảng Phân tích Thời gian Thực

  • Kiến trúc cho phân tích thời gian thực
  • Công cụ xử lý luồng (Kafka Streams, Apache Storm)
  • Xây dựng bảng điều khiển và hình ảnh trực quan thời gian thực

Điều phối Quy trình Dữ liệu

  • Quản lý quy trình công việc với Apache Airflow và các công cụ khác
  • Tự động hóa quy trình dữ liệu để tăng hiệu quả
  • Giám sát và cảnh báo cho quy trình dữ liệu

Bảo mật và Tuân thủ Nền tảng

  • Các phương pháp hay nhất về bảo mật cho nền tảng dữ liệu
  • Đảm bảo quyền riêng tư dữ liệu và tuân thủ quy định
  • Triển khai kiểm soát truy cập dữ liệu an toàn

Điều chỉnh và Tối ưu hóa Hiệu suất

  • Kỹ thuật để tối ưu hóa thông lượng và độ trễ dữ liệu
  • Chiến lược mở rộng cho các nền tảng tập trung dữ liệu
  • Đánh giá và giám sát hiệu suất

Nghiên cứu Tình huống và Các Phương pháp Hay nhất

  • Phân tích các triển khai nền tảng dữ liệu thành công
  • Bài học kinh nghiệm từ các nhà lãnh đạo trong ngành
  • Xu hướng mới nổi trong kỹ thuật nền tảng tập trung dữ liệu

Dự án Cấp độ

  • Thiết kế giải pháp nền tảng cho một ứng dụng tập trung dữ liệu
  • Triển khai một nguyên mẫu của quy trình xử lý dữ liệu
  • Đánh giá hiệu suất và khả năng mở rộng của nền tảng

Tóm tắt và Các Bước Tiếp Theo

Requirements

  • Sự hiểu biết về các cấu trúc dữ liệu và thuật toán cơ bản
  • Kinh nghiệm với lập trình Java, Scala hoặc Python
  • Làm quen với các khái niệm cơ bản về cơ sở dữ liệu và SQL

Đối tượng

  • Nhà phát triển phần mềm
  • Kỹ sư dữ liệu
  • Trưởng nhóm kỹ thuật
 21 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories