Liên hệ với chúng tôi
 Thời gian kéo dài 14 Giờ học

Đề cương khóa học

Chủ quyền AI và Triển khai LLM cục bộ

  • Rủi ro của LLM đám mây: lưu trữ dữ liệu, huấn luyện trên đầu vào, tài phán nước ngoài.
  • Kiến trúc Ollama: máy chủ mô hình, kho lưu trữ và API tương thích OpenAI.
  • So sánh với vLLM, llama.cpp và Text Generation Inference.
  • Giấy phép mô hình: các điều khoản của Llama, Mistral, Qwen và Gemma.

Cài đặt và Chuẩn bị Phần cứng

  • Cài đặt Ollama trên Linux với hỗ trợ CUDA và ROCm.
  • Phương án dự phòng chỉ CPU và tối ưu hóa AVX/AVX2.
  • Triển khai Docker và ánh xạ khối lưu trữ vĩnh viễn.
  • Cấu hình đa GPU và các chiến lược phân bổ VRAM.

Quản lý Mô hình

  • Kéo mô hình từ kho Ollama: ollama pull llama3.
  • Nhập các mô hình GGUF từ HuggingFace và TheBloke.
  • Mức độ lượng tử hóa: các đánh đổi giữa Q4_K_M, Q5_K_M và Q8_0.
  • Chuyển đổi mô hình và giới hạn tải mô hình đồng thời.

Modelfile tùy chỉnh

  • Víết cú pháp Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Tinh chỉnh temperature, top_p và repeat_penalty.
  • Kỹ thuật prompt hệ thống cho hành vi theo vai trò.
  • Tạo và xuất bản các mô hình tùy chỉnh đến kho lưu trữ cục bộ.

Tích hợp API

  • Điểm cuối /v1/chat/completions tương thích OpenAI.
  • Phản hồi streaming và chế độ JSON.
  • Tích hợp với LangChain, LlamaIndex và các ứng dụng tùy chỉnh.
  • Xác thực và giới hạn tần suất bằng bộ điều hướng ngược (reverse proxy).

Tối ưu hóa Hiệu suất

  • Định cỡ cửa sổ ngữ cảnh và quản lý bộ nhớ đệm KV.
  • Suy luận theo lô và xử lý yêu cầu song song.
  • Phân bổ luồng CPU và nhận thức NUMA.
  • Giám sát sử dụng GPU và áp lực bộ nhớ.

Bảo mật và Tuân thủ

  • Cách ly mạng cho các điểm cuối cung cấp mô hình.
  • Pipeline lọc đầu vào và kiểm duyệt đầu ra.
  • Ghi nhật ký kiểm toán prompt và hoàn thành.
  • Nguồn gốc mô hình và xác minh băm (hash).

Yêu cầu

  • Quản trị Linux và container ở mức trung cấp.
  • Hiểu biết về máy học và mô hình transformer ở mức cao cấp.
  • Quen thuộc với REST API và JSON.

Đối tượng người học

  • Kỹ sư AI và nhà phát triển thay thế API LLM đám mây.
  • Các tổ chức có độ nhạy cảm dữ liệu ngăn cản việc sử dụng mô hình đám mây.
  • Đội ngũ chính phủ và quốc phòng yêu cầu các mô hình ngôn ngữ tách biệt (air-gapped).

Số người tham gia


Giá cho mỗi học viên

Các khóa học sắp tới

Các danh mục liên quan