Đề cương khóa học

Khái niệm và Chỉ số Hiệu suất

  • Tâm độ, thông lượng, tiêu thụ điện năng, sử dụng tài nguyên
  • Nút thắt hệ thống so với nút thắt cấp mô hình
  • Phân tích hiệu suất cho việc suy luận và đào tạo

Phân tích Hiệu suất trên Huawei Ascend

  • Sử dụng CANN Profiler và MindInsight
  • Bệnh lý lõi và toán tử
  • Các mẫu chuyển tải và ánh xạ bộ nhớ

Phân tích Hiệu suất trên Biren GPU

  • Tính năng theo dõi hiệu suất của Biren SDK
  • Hợp nhất lõi, đồng đều bộ nhớ và hàng đợi thực thi
  • Phân tích cảm biến công suất và nhiệt độ

Phân tích Hiệu suất trên Cambricon MLU

  • Công cụ hiệu suất BANGPy và Neuware
  • Tầm nhìn cấp lõi và giải thích nhật ký
  • Hoàn thiện bộ phân tích MLU với các khung triển khai

Tối ưu hóa Cấp Đồ thị và Mô hình

  • Các chiến lược cắt bỏ đồ thị và lượng tử hóa
  • Hợp nhất toán tử và định cấu trúc lại đồ thị tính toán
  • Chuẩn hóa kích thước đầu vào và điều chỉnh lô

Tối ưu hóa Bộ nhớ và Lõi

  • Tối ưu hóa bố cục và tái sử dụng bộ nhớ
  • Quản lý đệm hiệu quả giữa các chipset
  • Kỹ thuật điều chỉnh cấp lõi theo từng nền tảng

Các Thực hành Tốt nhất Cho Nhiều Nền Tảng

  • Tính di động hiệu suất: chiến lược trừu tượng hóa
  • Xây dựng chuỗi điều chỉnh chia sẻ cho môi trường đa chip
  • Ví dụ: điều chỉnh một mô hình phát hiện đối tượng qua Ascend, Biren và MLU

Tóm tắt và Bước Tiếp theo

Requirements

  • Kinh nghiệm làm việc với các quy trình đào tạo hoặc triển khai mô hình AI
  • Hiểu biết về nguyên tắc tính toán GPU/MLU và tối ưu hóa mô hình
  • Có kiến thức cơ bản về công cụ và chỉ số đánh giá hiệu suất

Đối tượng tham gia

  • Kỹ sư hiệu suất
  • Các đội ngũ cơ sở hạ tầng học máy
  • Nhà kiến trúc hệ thống AI
 21 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories