Đề cương khóa học

Giới thiệu về Tối ưu hóa Mô hình Lớn

  • Tổng quan về kiến trúc mô hình lớn
  • Thách thức trong việc tinh chỉnh mô hình lớn
  • Tầm quan trọng của việc tối ưu hóa hiệu quả về chi phí

Kỹ thuật Huấn luyện Phân tán

  • Giới thiệu về song song hóa dữ liệu và mô hình
  • Các khung công cụ cho huấn luyện phân tán: PyTorch và TensorFlow
  • Mở rộng trên nhiều GPU và nút

Lượng tử hóa và Cắt tỉa Mô hình

  • Hiểu các kỹ thuật lượng tử hóa
  • Áp dụng cắt tỉa để giảm kích thước mô hình
  • Đánh đổi giữa độ chính xác và hiệu quả

Tối ưu hóa Phần cứng

  • Chọn phần cứng phù hợp cho các tác vụ tinh chỉnh
  • Tối ưu hóa việc sử dụng GPU và TPU
  • Sử dụng các bộ tăng tốc chuyên dụng cho mô hình lớn

Data Management Hiệu quả

  • Chiến lược quản lý tập dữ liệu lớn
  • Tiền xử lý và phân lô để cải thiện hiệu suất
  • Kỹ thuật tăng cường dữ liệu

Triển khai Mô hình Tối ưu hóa

  • Kỹ thuật triển khai mô hình đã tinh chỉnh
  • Giám sát và duy trì hiệu suất mô hình
  • Ví dụ thực tế về triển khai mô hình tối ưu hóa

Kỹ thuật Tối ưu hóa Nâng cao

  • Khám phá thích ứng thứ hạng thấp (LoRA)
  • Sử dụng bộ điều hợp để tinh chỉnh theo mô-đun
  • Xu hướng tương lai trong tối ưu hóa mô hình

Tóm tắt và Các bước tiếp theo

Requirements

  • Kinh nghiệm với các framework học sâu như PyTorch hoặc TensorFlow
  • Quen thuộc với các mô hình ngôn ngữ lớn và ứng dụng của chúng
  • Hiểu các khái niệm tính toán phân tán

Đối tượng

  • Kỹ sư học máy
  • Chuyên gia AI đám mây
 21 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories