Đề cương khóa học

Giới thiệu về Parameter-Efficient Fine-Tuning (PEFT)

  • Mục đích và giới hạn của việc fine-tuning toàn bộ
  • Tổng quan về PEFT: mục tiêu và lợi ích
  • Các ứng dụng và trường hợp sử dụng trong ngành công nghiệp

LoRA (Low-Rank Adaptation)

  • Những khái niệm và trực giác đằng sau LoRA
  • Thực hiện LoRA bằng Hugging Face và PyTorch
  • Hướng dẫn thực hành: Fine-tuning mô hình với LoRA

Tuning Adapter

  • Cách các module adapter hoạt động
  • Đối sánh với các mô hình dựa trên transformer
  • Hướng dẫn thực hành: Áp dụng Tuning Adapter cho một mô hình transformer

Prefix Tuning

  • Sử dụng soft prompts để fine-tuning
  • Các ưu điểm và giới hạn so với LoRA và adapter
  • Hướng dẫn thực hành: Prefix Tuning trên một nhiệm vụ LLM

Đánh giá và So sánh Phương pháp PEFT

  • Mô hình đánh giá hiệu suất và hiệu quả
  • Các sự trade-off trong tốc độ đào tạo, sử dụng bộ nhớ và chính xác
  • Nghiên cứu so sánh và giải thích kết quả

Triển khai Mô hình Fine-Tuned

  • Lưu trữ và tải mô hình fine-tuned
  • Các yếu tố cần xem xét khi triển khai các mô hình dựa trên PEFT
  • Tích hợp vào ứng dụng và quy trình làm việc

Thực hành Tốt nhất và Mở rộng

  • Kết hợp PEFT với lượng tử hóa và chưng cất
  • Sử dụng trong các môi trường có ít tài nguyên và đa ngôn ngữ
  • Hướng đi tương lai và lĩnh vực nghiên cứu đang hoạt động

Tóm tắt và Bước tiếp theo

Requirements

  • Hiểu biết về nền tảng của trí tuệ nhân tạo máy học
  • Kinh nghiệm làm việc với các mô hình ngôn ngữ lớn (LLMs)
  • Thành thạo Python và PyTorch

Đối tượng

  • Nhà khoa học dữ liệu
  • Kỹ sư AI
 14 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories