Đề cương khóa học

Giới thiệu về các Mô hình LLM Mở nguồn

  • Các mô hình trọng số mở là gì và tại sao chúng quan trọng
  • Tổng quan về LLaMA, Mistral, Qwen và các mô hình cộng đồng khác
  • Ứng dụng cho triển khai riêng tư, trên-premise hoặc an toàn

Cài đặt Môi trường và Công cụ

  • Cài đặt và cấu hình thư viện Transformers, Datasets và PEFT
  • Lựa chọn phần cứng phù hợp cho việc huấn luyện lại
  • Tải các mô hình đã được đào tạo trước từ Hugging Face hoặc các kho lưu trữ khác

Chuẩn bị Dữ liệu và Tiền xử lý

  • Định dạng tập dữ liệu (huấn luyện chỉ dẫn, dữ liệu trò chuyện, văn bản thuần túy)
  • Tокенизация и управление последовательностями
  • Tạo các tập dữ liệu tùy chỉnh và bộ nạp dữ liệu

Công nghệ Fine-Tuning

  • Đào tạo lại toàn phần tiêu chuẩn so với phương pháp hiệu quả về tham số
  • Sử dụng LoRA và QLoRA cho việc đào tạo lại hiệu quả
  • Sử dụng API Trainer để thử nghiệm nhanh chóng

Đánh giá và Tối ưu hóa Mô hình

  • Đánh giá các mô hình đã được huấn luyện lại bằng các tiêu chí sinh ra và độ chính xác
  • Quản lý việc học quá mức, khả năng tổng quát và tập hợp kiểm tra
  • Lời khuyên về tối ưu hóa hiệu suất và ghi log

Triển khai và Sử dụng Riêng tư

  • Lưu và tải mô hình cho suy luận
  • Triển khai các mô hình đã được huấn luyện lại trong môi trường doanh nghiệp an toàn
  • Chiến lược triển khai trên-premise so với đám mây

Ví dụ Trường hợp và Use Cases

  • Ví dụ về việc sử dụng doanh nghiệp của LLaMA, Mistral và Qwen
  • Xử lý huấn luyện lại đa ngôn ngữ và theo lĩnh vực
  • Bàn luận: Sự trade-off giữa các mô hình mở và đóng

Tóm tắt và Bước tiếp theo

Requirements

  • Sự hiểu biết về các mô hình ngôn ngữ lớn (LLMs) và kiến trúc của chúng
  • Kinh nghiệm với Python và PyTorch
  • Có sự quen thuộc cơ bản với hệ sinh thái Hugging Face

Đối tượng

  • Nhà thực hành ML
  • Nhà phát triển AI
 14 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories