Đề cương khóa học

Giới thiệu về Fine-Tuning Hiệu Quả Tham Số (PEFT)

  • Lý do và hạn chế của việc fine-tuning toàn bộ
  • Tổng quan về PEFT: mục tiêu và lợi ích
  • Ứng dụng và trường hợp sử dụng trong ngành công nghiệp

LoRA (Low-Rank Adaptation)

  • Nhận thức và trực giác đằng sau LoRA
  • Triển khai LoRA bằng Hugging Face và PyTorch
  • Bài tập thực hành: Fine-tuning một mô hình với LoRA

Adapter Tuning

  • Cách hoạt động của các mô-đun adapter
  • Tích hợp với các mô hình dựa trên transformer
  • Bài tập thực hành: Áp dụng Adapter Tuning cho một mô hình transformer

Prefix Tuning

  • Sử dụng soft prompts để fine-tuning
  • Lợi điểm và hạn chế so với LoRA và adapters
  • Bài tập thực hành: Prefix Tuning trên một nhiệm vụ LLM

Đánh giá và So sánh Phương pháp PEFT

  • Các chỉ số để đánh giá hiệu suất và hiệu quả
  • Cân nhắc giữa tốc độ huấn luyện, việc sử dụng bộ nhớ và độ chính xác
  • Các thí nghiệm đánh chuẩn và cách giải thích kết quả

Triển khai Mô hình Fine-Tuned

  • Lưu và tải mô hình fine-tuned
  • Cân nhắc khi triển khai cho các mô hình dựa trên PEFT
  • Tích hợp vào ứng dụng và pipelines

Những Thực hành Tốt nhất và Mở rộng

  • Kết hợp PEFT với lượng hóa và chưng cất
  • Sử dụng trong các môi trường ít tài nguyên và đa ngôn ngữ
  • Hướng đi tương lai và các lĩnh vực nghiên cứu đang hoạt động

Tổng kết và Bước Kế Tiếp

Yêu cầu

  • Một hiểu biết về cơ bản học máy
  • Kinh nghiệm làm việc với các mô hình ngôn ngữ lớn (LLMs)
  • Thạo Python và PyTorch

Đối tượng tham gia

  • Các nhà khoa học dữ liệu
  • Các kỹ sư AI
 14 Giờ học

Số người tham gia


Giá cho mỗi người tham gia

Các khóa học sắp tới

Các danh mục liên quan