Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Giới thiệu
- Tổng quan về các thách thức mở rộng quy mô học sâu
- Tổng quan về DeepSpeed và các tính năng của nó
- DeepSpeed so với các thư viện học sâu phân tán khác
Bắt đầu
- Thiết lập môi trường phát triển
- Cài đặt PyTorch và DeepSpeed
- Cấu hình DeepSpeed cho huấn luyện phân tán
Các Tính năng Tối ưu hóa của DeepSpeed
- Quy trình huấn luyện DeepSpeed
- ZeRO (tối ưu hóa bộ nhớ)
- Checkpoint kích hoạt
- Checkpoint gradient
- Song song hóa pipeline
Mở rộng Quy mô Mô hình với DeepSpeed
- Mở rộng quy mô cơ bản bằng DeepSpeed
- Các kỹ thuật mở rộng quy mô nâng cao
- Các cân nhắc về hiệu suất và các phương pháp hay nhất
- Kỹ thuật gỡ lỗi và khắc phục sự cố
Các Chủ đề Nâng cao về DeepSpeed
- Các kỹ thuật tối ưu hóa nâng cao
- Sử dụng DeepSpeed với huấn luyện độ chính xác hỗn hợp
- DeepSpeed trên các phần cứng khác nhau (ví dụ: GPUs, TPUs)
- DeepSpeed với nhiều nút huấn luyện
Tích hợp DeepSpeed với PyTorch
- Tích hợp DeepSpeed với quy trình làm việc PyTorch
- Sử dụng DeepSpeed với PyTorch Lightning
Khắc phục sự cố
- Gỡ lỗi các sự cố thường gặp của DeepSpeed
- Giám sát và ghi nhật ký
Tóm tắt và Các Bước Tiếp theo
- Tóm tắt các khái niệm và tính năng chính
- Các phương pháp hay nhất để sử dụng DeepSpeed trong sản xuất
- Các tài nguyên bổ sung để tìm hiểu thêm về DeepSpeed
Yêu cầu
- Kiến thức trung cấp về các nguyên tắc học sâu
- Kinh nghiệm với PyTorch hoặc các framework học sâu tương tự
- Làm quen với lập trình Python
Đối tượng
- Nhà khoa học dữ liệu
- Kỹ sư học máy
- Nhà phát triển
21 Giờ học
Đánh giá (2)
Organizasau theo đề xuất chương trình, người hướng dẫn có kiến thức sâu rộng về chủ đề này
Ali Kattan - TWPI
Khóa học - Natural Language Processing with TensorFlow
Dịch thuật bằng máy
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Khóa học - TensorFlow for Image Recognition
Dịch thuật bằng máy