Đề cương khóa học

Chuẩn Bị Mô Hình Học Máy cho Triển Khai

  • Đóng gói mô hình với Docker
  • Xuất mô hình từ TensorFlow và PyTorch
  • Xem xét phiên bản và lưu trữ

Phục Vụ Mô Hình trên Kubernetes

  • Tổng quan về các máy chủ suy luận
  • Triển khai TensorFlow Serving và TorchServe
  • Thiết lập điểm cuối mô hình

Kỹ Thuật Tối Ưu Hóa Suy Luận

  • Chiến lược batching
  • Xử lý yêu cầu đồng thời
  • Điều chỉnh độ trễ và thông lượng

Tự Động Mở Rộng Công Việc ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Cung Cấp và Quản Lý Tài Nguyên GPU

  • Cấu hình các nút GPU
  • Tổng quan về plugin thiết bị NVIDIA
  • Yêu cầu và giới hạn tài nguyên cho công việc ML

Chiến Lược Triển Khai và Phát Hành Mô Hình

  • Blue/green deployments
  • Mẫu canary rollout
  • A/B testing cho đánh giá mô hình

Giám Sát và Độ Tầm Nhìn cho ML trong Sản Xuất

  • Các chỉ số cho công việc suy luận
  • Thực hành ghi log và theo dõi
  • Bảng điều khiển và cảnh báo

Xem Xét về An Ninh và Độ Tin Cậy

  • Bảo mật các điểm cuối mô hình
  • Chính sách mạng và kiểm soát truy cập
  • Đảm bảo tính sẵn sàng cao

Tóm tắt và Bước Tiếp Theo

Yêu cầu

  • Hiểu biết về quy trình làm việc ứng dụng được container hóa
  • Kinh nghiệm với các mô hình học máy dựa trên Python
  • Quen thuộc với các kiến thức cơ bản của Kubernetes

Đối Tượng

  • Kỹ sư ML
  • Kỹ sư DevOps
  • Đội ngũ kỹ thuật nền tảng
 14 Giờ

Số người tham gia


Giá cho mỗi học viên

Đánh giá (5)

Các khóa học sắp tới

Các danh mục liên quan