Đề cương khóa học

Giới thiệu về Cambricon và kiến trúc MLU

  • Tổng quan về danh mục chip AI của Cambricon
  • Kiến trúc MLU và pipeline lệnh
  • Các loại mô hình được hỗ trợ và trường hợp sử dụng

Cài đặt chuỗi công cụ phát triển

  • Cài đặt BANGPy và Neuware SDK
  • Thiết lập môi trường cho Python và C++
  • Tính tương thích của mô hình và tiền xử lý

Phát triển mô hình với BANGPy

  • Quản lý cấu trúc và hình dạng tensor
  • Xây dựng đồ thị tính toán
  • Hỗ trợ tác vụ tùy chỉnh trong BANGPy

Triển khai với Neuware Runtime

  • Chuyển đổi và tải mô hình
  • Kiểm soát thực thi và suy luận
  • Các phương pháp triển khai tại rìa và trung tâm dữ liệu

Tối ưu hóa hiệu suất

  • Mã hóa bộ nhớ và điều chỉnh lớp
  • Theo dõi và phân tích thực thi
  • Nút thắt cổ chai phổ biến và giải pháp

Hoàn thiện MLU vào ứng dụng

  • Sử dụng API Neuware để tích hợp ứng dụng
  • Hỗ trợ luồng và nhiều mô hình
  • Các trường hợp suy luận kết hợp CPU-MLU

Dự án end-to-end và Use Case

  • Lab: Triển khai mô hình thị giác hoặc NLP
  • Suy luận tại rìa với tích hợp BANGPy
  • Kiểm tra độ chính xác và băng thông

Tóm tắt và bước tiếp theo

Requirements

  • Hiểu biết về cấu trúc của mô hình học máy
  • Kinh nghiệm với Python và/hoặc C++
  • Nắm vững các khái niệm về triển khai và tăng tốc mô hình

Đối tượng tham gia

  • Nhà phát triển AI nhúng
  • Kỹ sư ML triển khai đến rìa hoặc trung tâm dữ liệu
  • Nhà phát triển làm việc với cơ sở hạ tầng AI Trung Quốc
 21 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories