Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Thời gian kéo dài 14 Giờ học
Đề cương khóa học
Chủ quyền AI và Triển khai LLM cục bộ
- Rủi ro của LLM đám mây: lưu trữ dữ liệu, huấn luyện trên đầu vào, tài phán nước ngoài.
- Kiến trúc Ollama: máy chủ mô hình, kho lưu trữ và API tương thích OpenAI.
- So sánh với vLLM, llama.cpp và Text Generation Inference.
- Giấy phép mô hình: các điều khoản của Llama, Mistral, Qwen và Gemma.
Cài đặt và Chuẩn bị Phần cứng
- Cài đặt Ollama trên Linux với hỗ trợ CUDA và ROCm.
- Phương án dự phòng chỉ CPU và tối ưu hóa AVX/AVX2.
- Triển khai Docker và ánh xạ khối lưu trữ vĩnh viễn.
- Cấu hình đa GPU và các chiến lược phân bổ VRAM.
Quản lý Mô hình
- Kéo mô hình từ kho Ollama: ollama pull llama3.
- Nhập các mô hình GGUF từ HuggingFace và TheBloke.
- Mức độ lượng tử hóa: các đánh đổi giữa Q4_K_M, Q5_K_M và Q8_0.
- Chuyển đổi mô hình và giới hạn tải mô hình đồng thời.
Modelfile tùy chỉnh
- Víết cú pháp Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Tinh chỉnh temperature, top_p và repeat_penalty.
- Kỹ thuật prompt hệ thống cho hành vi theo vai trò.
- Tạo và xuất bản các mô hình tùy chỉnh đến kho lưu trữ cục bộ.
Tích hợp API
- Điểm cuối /v1/chat/completions tương thích OpenAI.
- Phản hồi streaming và chế độ JSON.
- Tích hợp với LangChain, LlamaIndex và các ứng dụng tùy chỉnh.
- Xác thực và giới hạn tần suất bằng bộ điều hướng ngược (reverse proxy).
Tối ưu hóa Hiệu suất
- Định cỡ cửa sổ ngữ cảnh và quản lý bộ nhớ đệm KV.
- Suy luận theo lô và xử lý yêu cầu song song.
- Phân bổ luồng CPU và nhận thức NUMA.
- Giám sát sử dụng GPU và áp lực bộ nhớ.
Bảo mật và Tuân thủ
- Cách ly mạng cho các điểm cuối cung cấp mô hình.
- Pipeline lọc đầu vào và kiểm duyệt đầu ra.
- Ghi nhật ký kiểm toán prompt và hoàn thành.
- Nguồn gốc mô hình và xác minh băm (hash).
Yêu cầu
- Quản trị Linux và container ở mức trung cấp.
- Hiểu biết về máy học và mô hình transformer ở mức cao cấp.
- Quen thuộc với REST API và JSON.
Đối tượng người học
- Kỹ sư AI và nhà phát triển thay thế API LLM đám mây.
- Các tổ chức có độ nhạy cảm dữ liệu ngăn cản việc sử dụng mô hình đám mây.
- Đội ngũ chính phủ và quốc phòng yêu cầu các mô hình ngôn ngữ tách biệt (air-gapped).