Liên hệ với chúng tôi

Đề cương khóa học

Chuẩn bị các mô hình Học máy để triển khai

  • Đóng gói mô hình với Docker
  • Xuất mô hình từ TensorFlow và PyTorch
  • Xem xét về phiên bản và lưu trữ

Cung cấp mô hình trên Kubernetes

  • Tổng quan về các máy chủ suy luận
  • Triển khai TensorFlow Serving và TorchServe
  • Thiết lập các điểm cuối mô hình

Kỹ thuật tối ưu hóa suy luận

  • Chiến lược gom lô (batching)
  • Xử lý yêu cầu đồng thời
  • Điều chỉnh độ trễ và thông lượng

Tự động mở rộng tải công việc ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Cung cấp GPU và quản lý tài nguyên

  • Cấu hình các nút GPU
  • Tổng quan về NVIDIA device plugin
  • Yêu cầu tài nguyên và giới hạn cho tải công việc ML

Chiến lược phát hành và phát tán mô hình

  • Triển khai xanh/lục (blue/green)
  • Mẫu triển khai canary
  • Kiểm thử A/B để đánh giá mô hình

Theo dõi và quan sát cho ML trong sản xuất

  • Các chỉ số cho tải công việc suy luận
  • Kỹ thuật ghi nhật ký (logging) và theo dõi đường đi (tracing)
  • Bảng điều khiển và cơ chế cảnh báo

Xem xét về bảo mật và độ tin cậy

  • Bảo vệ các điểm cuối mô hình
  • Chính sách mạng và kiểm soát truy cập
  • Đảm bảo tính khả dụng cao

Tổng kết và các bước tiếp theo

Yêu cầu

  • Hiểu biết về quy trình hoạt động của các ứng dụng đóng gói bằng container
  • Kinh nghiệm làm việc với các mô hình học máy dựa trên Python
  • Thông thạo các khái niệm cơ bản của Kubernetes

Đối tượng

  • Kỹ sư ML
  • Kỹ sư DevOps
  • Nhóm kỹ sư nền tảng
 14 Giờ

Số người tham gia


Giá cho mỗi học viên

Đánh giá (3)

Các khóa học sắp tới

Các danh mục liên quan