Liên hệ với chúng tôi

Đề cương khóa học

Giới thiệu về các Mô hình Ngôn ngữ Lớn nguồn mở

  • Mô hình trọng lượng mở là gì và tại sao chúng quan trọng
  • Tổng quan về LLaMA, Mistral, Qwen và các mô hình cộng đồng khác
  • Các trường hợp sử dụng cho triển khai riêng tư, nội bộ hoặc bảo mật

Thiết lập Môi trường và Công cụ

  • Cài đặt và cấu hình các thư viện Transformers, Datasets và PEFT
  • Chọn phần cứng phù hợp cho việc tinh chỉnh
  • Tải các mô hình đã huấn luyện trước từ Hugging Face hoặc các kho lưu trữ khác

Chuẩn bị và Tiền xử lý Dữ liệu

  • Định dạng dữ liệu (huấn luyện chỉ dẫn, dữ liệu trò chuyện, chỉ văn bản)
  • Tokenization và quản lý chuỗi
  • Tạo bộ dữ liệu tùy chỉnh và trình tải dữ liệu

Các Kỹ thuật Tinh chỉnh

  • Tinh chỉnh đầy đủ tiêu chuẩn so với các phương pháp hiệu quả về tham số
  • Áp dụng LoRA và QLoRA cho việc tinh chỉnh hiệu quả
  • Sử dụng Trainer API để thử nghiệm nhanh

Đánh giá và Tối ưu hóa Mô hình

  • Đánh giá các mô hình đã tinh chỉnh bằng các chỉ số sinh và độ chính xác
  • Quản lý hiện tượng quá khớp (overfitting), khả năng tổng quát hóa và tập dữ liệu xác thực
  • Mẹo tăng hiệu suất và quy trình ghi nhật ký

Triển khai và Sử dụng Riêng tư

  • Lưu và tải mô hình để suy luận (inference)
  • Triển khai các mô hình đã tinh chỉnh trong môi vực doanh nghiệp bảo mật
  • Chiến lược triển khai nội bộ so với đám mây

Nghiên cứu Tình huống và Trường hợp Sử dụng

  • Ví dụ về việc doanh nghiệp sử dụng LLaMA, Mistral và Qwen
  • Xử lý việc tinh chỉnh đa ngôn ngữ và theo lĩnh vực chuyên môn
  • Thảo luận: Các sự đánh đổi giữa mô hình mở và đóng

Tóm tắt và Các Bước Tiếp theo

Yêu cầu

  • Hiểu biết về các mô hình ngôn ngữ lớn (LLM) và kiến trúc của chúng
  • Kinh nghiệm với Python và PyTorch
  • Kiến thức cơ bản về hệ sinh thái Hugging Face

Đối tượng

  • Chuyên gia ML
  • Nhà phát triển AI
 14 Giờ

Số người tham gia


Giá cho mỗi học viên

Các khóa học sắp tới

Các danh mục liên quan