Liên hệ với chúng tôi
 Thời gian kéo dài 14 Giờ học

Đề cương khóa học

Chuẩn bị các mô hình Học máy để triển khai

  • Đóng gói mô hình bằng Docker
  • Xuất mô hình từ TensorFlow và PyTorch
  • Các vấn đề về phiên bản và lưu trữ

Phục vụ mô hình trên Kubernetes

  • Tổng quan về máy chủ suy luận (inference servers)
  • Triển khai TensorFlow Serving và TorchServe
  • Thiết lập các điểm cuối (endpoints) của mô hình

Kỹ thuật tối ưu hóa suy luận

  • Chiến thuật batch (lô)
  • Xử lý yêu cầu đồng thời
  • Điều chỉnh độ trễ và thông lượng (throughput)

Tự động mở rộng các Workloads ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Cấp phát GPU và Quản lý tài nguyên

  • Cấu hình các nút GPU
  • Tổng quan về plugin thiết bị NVIDIA
  • Yêu cầu và giới hạn tài nguyên cho các workloads ML

Chiến lược phát hành và triển khai mô hình

  • Triển khai blue/green
  • Mẫu triển khai canary
  • Kiểm tra A/B để đánh giá mô hình

Giám sát và Quan sát (Observability) cho ML trong sản xuất

  • Chỉ số (metrics) cho các workloads suy luận
  • Thói quen ghi log và trace
  • Bảng điều khiển (dashboards) và cảnh báo

Các cân nhắc về Bảo mật và Độ tin cậy

  • Bảo mật các điểm cuối của mô hình
  • Chính sách mạng và kiểm soát truy cập
  • Đảm bảo tính khả dụng cao

Tóm tắt và Các bước tiếp theo

Yêu cầu

  • Hiểu biết về quy trình ứng dụng container hóa
  • Kinh nghiệm với các mô hình học máy dựa trên Python
  • Quen thuộc với các nền tảng cơ bản của Kubernetes

Đối tượng khán giả

  • Kỹ sư ML
  • Kỹ sư DevOps
  • Đội ngũ kỹ sư nền tảng

Số người tham gia


Giá cho mỗi học viên

Đánh giá (4)

Các khóa học sắp tới

Các danh mục liên quan