Liên hệ với chúng tôi

Đề cương khóa học

Giới thiệu về Tinh chỉnh Hiệu quả Tham số (PEFT)

  • Động lực và hạn chế của việc tinh chỉnh toàn bộ (full fine-tuning).
  • Tổng quan về PEFT: mục tiêu và lợi ích.
  • Các ứng dụng và trường hợp sử dụng trong ngành công nghiệp.

LoRA (Low-Rank Adaptation)

  • Khái niệm và trực giác đằng sau LoRA.
  • Triển khai LoRA sử dụng Hugging Face và PyTorch.
  • Thực hành: Tinh chỉnh một mô hình với LoRA.

Adapter Tuning

  • Cơ chế hoạt động của các mô-đun Adapter.
  • Tích hợp với các mô hình dựa trên kiến trúc Transformer.
  • Thực hành: Áp dụng Adapter Tuning lên một mô hình Transformer.

Prefix Tuning

  • Sử dụng các gợi ý mềm (soft prompts) cho việc tinh chỉnh.
  • Điểm mạnh và hạn chế so với LoRA và Adapter.
  • Thực hành: Prefix Tuning trên một tác vụ LLM.

Đánh giá và So sánh các Phương pháp PEFT

  • Các chỉ số dùng để đánh giá hiệu suất và hiệu quả.
  • Trong các mối đánh đổi về tốc độ huấn luyện, mức sử dụng bộ nhớ và độ chính xác.
  • Thực nghiệm benchmarking và diễn giải kết quả.

Triển khai Các Mô hình Đã Tinh Chỉnh

  • Lưu và tải các mô hình đã tinh chỉnh.
  • Các cân nhắc khi triển khai các mô hình dựa trên PEFT.
  • Tích hợp vào các ứng dụng và đường ống xử liệu (pipelines).

Các Thực tiễn Tốt nhất và Các Mở rộng

  • Kết hợp PEFT với kỹ thuật lượng tử hóa (quantization) và nén mô hình (distillation).
  • Ứng dụng trong các môi trường tài nguyên thấp và đa ngôn ngữ.
  • Hướng đi tương lai và các lĩnh vực nghiên cứu tích cực.

Tổng kết và Các Bước Tiếp theo

Yêu cầu

  • Hiểu biết cơ bản về máy học (machine learning).
  • Có kinh nghiệm làm việc với các mô hình ngôn ngữ lớn (LLM).
  • Thành thạo Python và PyTorch.

Đối tượng tham gia

  • Nhà khoa học dữ liệu.
  • Kỹ sư AI.
 14 Giờ

Số người tham gia


Giá cho mỗi học viên

Các khóa học sắp tới

Các danh mục liên quan