Hiểu biết về Mạng Neuron Sâu Khóa Học Đào Tạo

Phần 1 – Khái niệm Học Sâu và DNN

Giới thiệu AI, Học Máy & Học Sâu

• Lịch sử, khái niệm cơ bản và ứng dụng thông thường của trí tuệ nhân tạo xa khỏi những ảo tưởng do lĩnh vực này mang lại
• Trí tuệ tập thể: tổng hợp kiến thức được chia sẻ bởi nhiều đại lý ảo
• Thuật toán di truyền: để tiến hóa một quần thể các đại lý ảo qua quá trình lựa chọn
• Máy học thông thường: định nghĩa.
• Các loại tác vụ: học có giám sát, học không giám sát, học tăng cường
• Các loại hành động: phân loại, hồi quy, phân cụm, ước lượng mật độ, giảm chiều dữ liệu
• Ví dụ về thuật toán Học Máy: Hồi quy tuyến tính, Naive Bayes, Cây ngẫu nhiên
• Học máy VS Học sâu: các vấn đề mà Học Máy vẫn là công nghệ tiên tiến nhất (Random Forests & XGBoosts)

Các khái niệm cơ bản của Mạng Neuron (Ứng dụng: perceptron đa lớp)

• Tóm tắt các kiến thức toán học cơ bản.
• Định nghĩa mạng neuron: kiến trúc cổ điển, kích hoạt và
• Cân nhắc các kích hoạt trước đó, độ sâu của mạng
• Định nghĩa việc học của mạng neuron: hàm chi phí, back-propagation, gradient giảm ngẫu nhiên, tối đa hóa khả năng.
• Mô hình hóa mạng neuron: mô hình hóa dữ liệu đầu vào và đầu ra dựa trên loại vấn đề (hồi quy, phân loại...). Lời nguyền của chiều cao.
• Phân biệt giữa dữ liệu nhiều tính năng và tín hiệu. Chọn hàm chi phí phù hợp với dữ liệu.
• Xấp xỉ một hàm bằng mạng neuron: trình bày và ví dụ
• Xấp xỉ một phân phối bằng mạng neuron: trình bày và ví dụ
• Tăng cường dữ liệu: cách cân bằng bộ dữ liệu
• Tổng quát hóa kết quả của mạng neuron.
• Khởi tạo và chuẩn hóa mạng neuron: chuẩn L1 / L2, chuẩn hóa lô
• Thuật toán tối ưu hóa và hội tụ

Công cụ ML / DL tiêu chuẩn

Một bài giới thiệu đơn giản với các ưu điểm, nhược điểm, vị trí trong hệ sinh thái và cách sử dụng đã được lên kế hoạch.

• Công cụ quản lý dữ liệu: Apache Spark, Apache Hadoop Tools
• Học Máy: Numpy, Scipy, Sci-kit
• Khung công tác học sâu cấp cao: PyTorch, Keras, Lasagne
• Khung công tác học sâu cấp thấp: Theano, Torch, Caffe, Tensorflow

Mạng Neuron Cuộn (CNN).

• Giới thiệu về CNNs: nguyên lý cơ bản và ứng dụng
• Hoạt động cơ bản của CNN: lớp cuộn, sử dụng kernel,
• Padding & stride, tạo feature map, các lớp pooling. Mở rộng 1D, 2D và 3D.
• Giới thiệu về các kiến trúc CNN khác nhau đã mang lại sự tiên tiến trong phân loại
• Hình ảnh: LeNet, VGG Networks, Network in Network, Inception, Resnet. Giới thiệu về những đổi mới do từng kiến trúc mang lại và các ứng dụng tổng quát hơn (Convolution 1x1 hoặc kết nối dư)
• Sử dụng mô hình chú ý.
• Ứng dụng cho một trường hợp phân loại thông thường (văn bản hoặc hình ảnh)
• CNNs cho sinh thành: siêu độ phân giải, đoạn chia pixel-to-pixel. Giới thiệu về
• Các chiến lược chính để tăng feature map cho sinh hình.

Mạng Neuron Tái hiện (RNN).

• Giới thiệu về RNNs: nguyên lý cơ bản và ứng dụng.
• Hoạt động cơ bản của RNN: kích hoạt ẩn, back propagation through time, phiên bản mở rộng.
• Tiến hóa thành các Gated Recurrent Units (GRUs) và LSTM (Long Short Term Memory).
• Giới thiệu về các trạng thái khác nhau và sự tiến hóa do các kiến trúc này mang lại
• Các vấn đề hội tụ và gradient biến mất
• Các kiến trúc thông thường: dự đoán chuỗi thời gian, phân loại...
• Kiến trúc RNN Encoder Decoder. Sử dụng mô hình chú ý.
• Ứng dụng NLP: mã hóa từ / ký tự, dịch thuật.
• Ứng dụng Video: dự đoán hình ảnh tiếp theo của một chuỗi video.

Mô hình sinh: Variational AutoEncoder (VAE) và Generative Adversarial Networks (GAN).

• Giới thiệu về mô hình sinh, liên kết với CNNs
• Auto-encoder: giảm chiều và sinh hạn chế
• Variational Auto-encoder: mô hình sinh và xấp xỉ phân phối của dữ liệu. Định nghĩa và sử dụng không gian tiềm ẩn. Thủ thuật tái tham số hóa. Ứng dụng và giới hạn quan sát được
• Generative Adversarial Networks: Nguyên lý cơ bản.
• Kiến trúc Mạng song song (Generator và discriminator) với học thay phiên, các hàm chi phí sẵn có.
• Hội tụ của GAN và khó khăn gặp phải.
• Cải thiện hội tụ: Wasserstein GAN, Began. Khoảng cách di chuyển đất.
• Ứng dụng sinh hình ảnh hoặc ảnh chụp, sinh văn bản, siêu độ phân giải.

Học Tăng cường Sâu.

• Giới thiệu về học tăng cường: kiểm soát một đại lý trong môi trường được định nghĩa
• Bằng trạng thái và các hành động có thể thực hiện
• Sử dụng mạng neuron để xấp xỉ hàm trạng thái
• Deep Q Learning: kinh nghiệm tái diễn, và ứng dụng kiểm soát trò chơi điện tử.
• Tối ưu hóa chính sách học. On-policy && off-policy. Kiến trúc Actor critic. A3C.
• Ứng dụng: kiểm soát trò chơi điện tử đơn lẻ hoặc hệ thống số hóa.

Phần 2 – Theano cho Học Sâu

Cơ bản của Theano

• Giới thiệu
• Cài đặt và cấu hình

TheanoFunctions

• inputs, outputs, updates, givens

Đào tạo và tối ưu hóa mạng neuron bằng Theano

• Mô hình hóa Mạng Neuron
• Hồi quy Logistics
• Các lớp ẩn
• Đào tạo mạng
• Tính toán và Phân loại
• Tối ưu hóa
• Log Loss

Đánh giá mô hình

Phần 3 – DNN sử dụng Tensorflow

Cơ bản của TensorFlow

• Tạo, khởi tạo, lưu và khôi phục các biến TensorFlow
• Cung cấp dữ liệu, đọc và tải trước dữ liệu TensorFlow
• Cách sử dụng cơ sở hạ tầng TensorFlow để đào tạo mô hình quy mô lớn
• Trực quan hóa và đánh giá mô hình bằng TensorBoard

Cơ chế của TensorFlow

• Chuẩn bị dữ liệu
• Tải xuống
• Đầu vào và Placeholders
• Xây dựng đồ thị
  • Dự đoán
  • Mất mát
  • Đào tạo
• Đào tạo mô hình
  • Đồ thị
  • Phiên làm việc
  • Vòng lặp đào tạo
• Đánh giá mô hình
  • Xây dựng đồ thị đánh giá
  • Đầu ra đánh giá

Perceptron

• Hàm kích hoạt
• Thuật toán học của perceptron
• Phân loại nhị phân với perceptron
• Phân loại tài liệu với perceptron
• Giới hạn của perceptron

Từ Perceptron đến Máy Vectơ Hỗ Trợ

• Hạt nhân và kỹ thuật hạt nhân
• Phân loại biên tối đa và vectơ hỗ trợ

Mạng Neuron Nhân Tạo

• Giới hạn quyết định không tuyến tính
• Mạng neuron nhân tạo feedforward và feedback
• Mạng perceptron đa lớp
• Tối thiểu hóa hàm chi phí
• Truyền xuôi
• Truyền ngược
• Cải thiện cách mạng neuron học

Mạng Neuron Cuộn

• Mục tiêu
• Kiến trúc mô hình
• Nguyên lý
• Tổ chức mã
• Khởi chạy và đào tạo mô hình
• Đánh giá mô hình

Giới thiệu cơ bản cho các mô-đun dưới đây (cung cấp giới thiệu ngắn dựa trên thời gian có sẵn):

Tensorflow - Sử dụng nâng cao

• Luồng và hàng đợi
• Tensorflow phân tán
• Viết tài liệu và chia sẻ mô hình của bạn
• Tùy chỉnh trình đọc dữ liệu
• Chỉnh sửa tệp mô hình TensorFlow

TensorFlow Serving

• Giới thiệu
• Bài hướng dẫn cơ bản về serving
• Bài hướng dẫn nâng cao về serving
• Bài hướng dẫn serving mô hình Inception