Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Các khái niệm và chỉ số về hiệu năng
- Độ trễ, thông lượng, mức tiêu thụ điện, mức độ sử dụng tài nguyên
- Điểm nghẽn cấp độ hệ thống so với cấp độ mô hình
- Phân tích hiệu năng cho suy luận so với huấn luyện
Phân tích hiệu năng trên Huawei Ascend
- Sử dụng CANN Profiler và MindInsight
- Chẩn đoán kernel và toán tử
- Mô hình offload và ánh xạ bộ nhớ
Phân tích hiệu năng trên Biren GPU
- Các tính năng giám sát hiệu năng của Biren SDK
- Hợp nhất kernel (kernel fusion), căn chỉnh bộ nhớ và hàng đợi thực thi
- Phân tích hiệu năng có xét đến công suất và nhiệt độ
Phân tích hiệu năng trên Cambricon MLU
- Các công cụ hiệu năng BANGPy và Neuware
- Khả năng hiển thị ở cấp độ kernel và diễn giải log
- Tích hợp MLU profiler với các khung triển khai
Tối ưu hóa cấp độ Đồ thị và Mô hình
- Chiến lược tỉa đồ thị (pruning) và lượng tử hóa
- Hợp nhất toán tử và tái cấu trúc đồ thị tính toán
- Chuẩn hóa kích thước đầu vào và tinh chỉnh batch
Tối ưu hóa Bộ nhớ và Kernel
- Tối ưu hóa bố cục và tái sử dụng bộ nhớ
- Quản lý buffer hiệu quả trên các bộ vi xử lý
- Kỹ thuật tinh chỉnh ở cấp độ kernel theo từng nền tảng
Thực hành tốt nhất đa nền tảng
- Khả năng di chuyển hiệu năng: các chiến lược trừu tượng hóa
- Xây dựng các pipeline tinh chỉnh chung cho môi trường đa chip
- Ví dụ: tinh chỉnh một mô hình phát hiện đối tượng trên Ascend, Biren và MLU
Tóm tắt và các bước tiếp theo
Yêu cầu
- Kinh nghiệm làm việc với quy trình huấn luyện hoặc triển khai mô hình AI
- Hiểu biết về nguyên lý tính toán GPU/MLU và tối ưu hóa mô hình
- Hiểu biết cơ bản về các công cụ và chỉ số phân tích hiệu năng
Đối tượng khán giả
- Kỹ sư hiệu năng
- Đội ngũ hạ tầng học máy
- Kiến trúc sư hệ thống AI
21 Giờ
