Xây dựng toán tử AI tùy chỉnh bằng CANN TIK và TVM Khóa Học Đào Tạo

Giới thiệu về phát triển toán tử tùy chỉnh

• Tại sao cần xây dựng toán tử tùy chỉnh? Các trường hợp sử dụng và ràng buộc
• Cấu trúc runtime của CANN và các điểm tích hợp toán tử
• Tổng quan về TBE, TIK và TVM trong hệ sinh thái AI của Huawei

Sử dụng TIK cho lập trình toán tử cấp thấp

• Hiểu mô hình lập trình TIK và các API được hỗ trợ
• Quản lý bộ nhớ và chiến lược phân chia khối (tiling) trong TIK
• Tạo, biên dịch và đăng ký toán tử tùy chỉnh với CANN

Kiểm thử và xác thực toán tử tùy chỉnh

• Kiểm thử đơn vị và kiểm thử tích hợp toán tử trong đồ thị
• Gỡ lỗi các vấn đề hiệu năng cấp kernel
• Trực quan hóa quá trình thực thi toán tử và hành vi của bộ đệm (buffer)

Lập lịch và tối ưu hóa dựa trên TVM

• Tổng quan về TVM như một trình biên dịch cho các toán tử tensor
• Viết lịch (schedule) cho toán tử tùy chỉnh trong TVM
• Tinh chỉnh TVM, đánh giá hiệu năng và tạo mã cho Ascend

Tích hợp với các framework và mô hình

• Đăng ký toán tử tùy chỉnh cho MindSpore và ONNX
• Xác minh tính toàn vẹn của mô hình và hành vi dự phòng (fallback)
• Hỗ trợ các đồ thị đa toán tử với độ chính xác hỗn hợp (mixed precision)

Nghiên cứu tình huống và các tối ưu chuyên sâu

• Nghiên cứu tình huống: phép卷积 (convolution) hiệu quả cao cho các hình dạng đầu vào nhỏ
• Nghiên cứu tình huống: tối ưu toán tử attention nhận thức bộ nhớ
• Các thực hành tốt nhất trong triển khai toán tử tùy chỉnh trên nhiều thiết bị

Tổng kết và các bước tiếp theo