Tối ưu hóa hiệu năng mạng nơ-ron với CANN SDK Khóa Học Đào Tạo

Tổng quan về khả năng tối ưu hóa của CANN

• Cách hiệu năng suy luận được xử lý trong CANN
• Mục tiêu tối ưu hóa cho các hệ thống AI biên (edge) và nhúng
• Hiểu rõ việc sử dụng AI Core và phân bổ bộ nhớ

Sử dụng Graph Engine để phân tích

• Giới thiệu về Graph Engine và tuyến ống thực thi
• Trực quan hóa đồ thị toán tử và các chỉ số thời gian chạy
• Sửa đổi các đồ thị tính toán để tối ưu hóa

Công cụ hồ sơ hóa và các chỉ số hiệu năng

• Sử dụng Công cụ Hồ sơ hóa CANN (profiler) để phân tích tải công việc
• Phân tích thời gian thực thi kernel và các điểm nghẽn
• Hồ sơ hóa truy cập bộ nhớ và các chiến thuật phân lớp (tiling)

Phát triển toán tử tùy chỉnh với TIK

• Tổng quan về TIK và mô hình lập trình toán tử
• Triển khai toán tử tùy chỉnh sử dụng TIK DSL
• Thử nghiệm và đo hiệu năng (benchmarking) của toán tử

Tối ưu hóa toán tử nâng cao với TVM

• Giới thiệu về tích hợp TVM với CANN
• Các chiến thuật tự động tinh chỉnh (auto-tuning) cho đồ thị tính toán
• Khi nào và làm thế nào để chuyển đổi giữa TVM và TIK

Kỹ thuật tối ưu hóa bộ nhớ

• Quản lý bố cục bộ nhớ và vị trí đặt bộ đệm
• Các kỹ thuật giảm mức tiêu thụ bộ nhớ trên chip
• Thực hành tốt nhất cho việc thực thi bất đồng bộ và tái sử dụng

Triển khai trong thực tế và nghiên cứu tình huống

• Nghiên cứu tình huống: tinh chỉnh hiệu năng cho quy trình xử lý camera thành phố thông minh
• Nghiên cứu tình huống: tối ưu hóa bộ suy luận cho phương tiện tự hành
• Nguyên tắc cho hồ sơ hóa lặp lại và cải tiến liên tục

Tổng kết và các bước tiếp theo