当前位置：
  1. 首页
  2. 程序猿梦工厂
  3. 项目实战
  4. 后端开发
  5. 正文

从0到1训练自己的大模型 揭密ChatGPT背后的技能与应用

从核心原理、技术+ PEFT微调大模型+ LangChain构建知识库问答，你也能打造属于自己的大模型ChatGPT

第1章 课程介绍
5 节｜62分钟

收起 

  • 视频：
    1-1 【导航】课程导学&让你快速了解课程
    试看
    18:25

  • 视频：
    1-2 【内容安排】课程安排和学习建议
    试看
    09:13

  • 视频：
    1-3 【行业发展】ChatGPT对行业、社会有什么影响，我们要如何应对
    试看
    21:22

  • 视频：
    1-4 【发展史】ChatGPT的简要历史
    09:53

  • 视频：
    1-5 【学习须知】本课程为什么使用gpt2而不是gpt3
    03:03
第2章 训练模型与开发平台环境
5 节｜30分钟

收起 

  • 视频：
    2-1 【认知】为什么要引入paddle？平时使用torch，学习paddle貌似没用怎么办？
    04:06

  • 视频：
    2-2 【框架】paddle和torch与tensorflow对比
    07:14

  • 视频：
    2-3 【NLP工具和预训练模型】paddleNLP和huggingface
    03:23

  • 视频：
    2-4 【平台】介绍aistudio
    07:53

  • 视频：
    2-5 【工具】介绍基于gpt4的IDE cursor
    06:51
第3章 chatGPT初始技术词向量原理剖析与实战
12 节｜176分钟

收起 

  • 视频：
    3-1 【认知】词向量，词向量与gpt的关系
    05:22

  • 视频：
    3-2 【语言模型】语言模型和评估指标PPL
    13:28

  • 视频：
    3-3 【词向量模型】word2vec-cbow和skipgram
    08:15

  • 视频：
    3-4 【softmax加速】是softmax 树型优化
    14:46

  • 视频：
    3-5 【softmax加速】softmax负采样优化
    13:49

  • 视频：
    3-6 【数据准备与预处理】word2vec实战（1）
    24:53

  • 视频：
    3-7 【数据准备与预处理】word2vec实战（2）
    18:49

  • 视频：
    3-8 【模型训练】word2vec实战-模型开发和训练（1）
    15:17

  • 视频：
    3-9 【模型训练】word2vec实战-模型开发和训练（2）
    14:33

  • 视频：
    3-10 【激活函数】常见七种激活函数对比
    15:29

  • 视频：
    3-11 【预训练语言模型】RNN-LSTM-ELMO
    25:49

  • 视频：
    3-12 本章梳理小结
    05:06
第4章 chatGPT基石模型——基于Transformer架构的语言模型
11 节｜117分钟

展开 

  • 视频：
    4-1 本章介绍
    01:32

  • 视频：
    4-2 seq2seq结构和注意力
    15:23

  • 视频：
    4-3 seq2seq-attention的一个案例
    07:37

  • 视频：
    4-4 transformer的multi-head attention 多头注意力机制
    23:07

  • 视频：
    4-5 transformer的残差链接-解决梯度消失问题
    07:43

  • 视频：
    4-6 transformer的layernorm-归一化提升训练稳定性
    07:21

  • 视频：
    4-7 transformer的decoder 解码器
    09:11

  • 视频：
    4-8 sparse-transformer 稀疏模型
    08:31

  • 视频：
    4-9 transformer-xl 解决长序列的问题（1）
    14:34

  • 视频：
    4-10 transformer-xl解决长序列的问题（2）
    16:10

  • 视频：
    4-11 本章梳理总结
    04:52
第5章 基于Transformer另一分支Bert系列分析与实战
16 节｜211分钟

展开 

  • 视频：
    5-1 本章介绍
    01:14

  • 视频：
    5-2 metric-评估指标(BLUE-rouge-L-METOER-NIST)
    22:49

  • 视频：
    5-3 常见 subword 算法（BPE-wordpiece）
    07:00

  • 视频：
    5-4 常见的NLP任务
    06:38

  • 视频：
    5-5 bert 预训练模型
    25:29

  • 视频：
    5-6 bert情感分析实战—-paddle（1）
    17:22

  • 视频：
    5-7 bert情感分析实战—-paddle（2）
    18:48

  • 视频：
    5-8 evaluate和predict方法—-paddle
    10:49

  • 视频：
    5-9 bert(transformer encoder)主要源码分析—-paddle（1）
    14:12

  • 视频：
    5-10 bert(transformer encoder)主要源码分析—-paddle（2）
    12:31

  • 视频：
    5-11 bert(transformer encoder)的完整源码cache部分分析—-paddle
    15:21

  • 视频：
    5-12 Ernie文心一言基础模型（1）
    14:35

  • 视频：
    5-13 Ernie文心一言基础模型（2）
    06:27

  • 视频：
    5-14 plato百度对话模型（1）
    14:56

  • 视频：
    5-15 plato 百度对话模型（2）
    14:13

  • 视频：
    5-16 本章总结
    07:51
第6章 chatGPT的核心技术——强化学习
18 节｜275分钟

展开 

  • 视频：
    6-1 RL是什么＆为什么要学习RL
    14:11

  • 视频：
    6-2 强化学习章介绍
    02:53

  • 视频：
    6-3 RL基础概念
    07:06

  • 视频：
    6-4 RL马尔可夫过程
    17:39

  • 视频：
    6-5 RL三种方法（1）
    16:40

  • 视频：
    6-6 RL三种方法（2）
    06:07

  • 视频：
    6-7 DQN和DQN的2种改进算法（1）
    13:46

  • 视频：
    6-8 DQN和DQN的2种改进算法（2）
    16:21

  • 视频：
    6-9 actor-critic（1）
    24:54

  • 视频：
    6-10 actor-critic（2）
    08:14

  • 视频：
    6-11 TRPO+PPO（1）
    23:23

  • 视频：
    6-12 TRPO+PPO（2）
    18:28

  • 视频：
    6-13 DQN代码实践–torch-1
    20:28

  • 视频：
    6-14 DQN代码实践–torch-2
    19:05

  • 视频：
    6-15 DoubleDQN+DuelingDQ代码–torch
    11:49

  • 视频：
    6-16 REINFORCE代码–torch
    20:18

  • 视频：
    6-17 PPO代码实践–torch
    23:03

  • 视频：
    6-18 强化学习-本章总结
    10:24
第7章 chatGPT技术演变——从GPT 1 开始的大模型发展与演化
11 节｜159分钟

展开 

  • 视频：
    7-1 GPT1 模型
    14:46

  • 视频：
    7-2 GPT2 模型
    14:00

  • 视频：
    7-3 GPT3 模型-1
    15:55

  • 视频：
    7-4 GPT3 模型-2
    12:06

  • 视频：
    7-5 gpt-codex 基于GPT技术开发的模型
    12:58

  • 视频：
    7-6 alphaCode基于GPT技术开发的模型-1
    16:13

  • 视频：
    7-7 alphaCode基于GPT技术开发的模型-2
    09:57

  • 视频：
    7-8 instruct-gpt 基于GPT技术开发的模型-1
    13:44

  • 视频：
    7-9 instruct-gpt 基于GPT技术开发的模型-2
    16:43

  • 视频：
    7-10 Antropic LLM大型语言模型
    24:41

  • 视频：
    7-11 GPT-本章总结
    07:21
第8章 RLHF训练类ChatGPT模型代码实战
19 节｜311分钟

展开 

  • 视频：
    8-1 chatGPT训练实战
    08:52

  • 视频：
    8-2 SFT有监督的训练-数据处理
    22:06

  • 视频：
    8-3 SFT有监督训练-trainer
    18:19

  • 视频：
    8-4 SFT有监督训练-train
    22:08

  • 视频：
    8-5 RM训练-model+dataset（1）
    16:33

  • 视频：
    8-6 RM训练-model+dataset（2）
    14:51

  • 视频：
    8-7 RM训练-trainer
    13:48

  • 视频：
    8-8 RM训练-train-rm
    11:43

  • 视频：
    8-9 RLHF强化学习人类反馈的训练-dataset
    07:50

  • 视频：
    8-10 RLHF强化学习人类反馈的训练-model-base
    12:17

  • 视频：
    8-11 RLHF强化学习人类反馈的训练-model-opt
    08:11

  • 视频：
    8-12 RLHF强化学习人类反馈的训练-generation（1）
    16:53

  • 视频：
    8-13 RLHF强化学习人类反馈的训练-generation（2）
    16:22

  • 视频：
    8-14 RLHF强化学习人类反馈的训练-exp_maker（1）
    15:14

  • 视频：
    8-15 RLHF强化学习人类反馈的训练-exp_maker（2）
    17:18

  • 视频：
    8-16 RLHF强化学习人类反馈的训练-buffer-utils
    28:18

  • 视频：
    8-17 RLHF强化学习人类反馈的训练-buffer-loss
    18:08

  • 视频：
    8-18 RLHF强化学习人类反馈的训练-trainer
    22:03

  • 视频：
    8-19 RLHF强化学习人类反馈的训练-main
    19:30
第9章 低成本微调大模型方法PEFT(LoRA等) — 训练 “ChatGLM2” 项目
16 节｜240分钟

展开 

  • 视频：
    9-1 参数高效微调方法 peft-bitfit
    23:14

  • 视频：
    9-2 参数高效微调方法 prefix-t
    11:55

  • 视频：
    9-3 参数高效微调方法 prompt-t
    10:09

  • 视频：
    9-4 参数高效微调方法 p-tuning
    10:38

  • 视频：
    9-5 参数高效微调方法 p-tuningv2
    09:36

  • 视频：
    9-6 参数高效微调方法 lora
    05:13

  • 视频：
    9-7 高效调参方案实现 prompt_tuning-1
    18:25

  • 视频：
    9-8 高效调参方案实现 prompt_tuning-2
    10:12

  • 视频：
    9-9 高效调参方案实现 p-tuning
    13:41

  • 视频：
    9-10 高效调参方案实现 prefix-tuning
    19:42

  • 视频：
    9-11 高效调参方案实现 lora-01
    17:51

  • 视频：
    9-12 高效调参方案实现 lora-02
    17:40

  • 视频：
    9-13 高效调参方案实现 lora-03
    11:00

  • 视频：
    9-14 AdaLora微调ChatGLM2 实战 -1
    21:21

  • 视频：
    9-15 AdaLora微调ChatGLM2 实战 -2
    23:55

  • 视频：
    9-16 PEFT-本章总结
    15:05
第10章 langchain+训练大模型ChatGLM2 构建“知识库问答”
5 节｜75分钟

展开 

  • 视频：
    10-1 基于langchain的应用
    12:43

  • 视频：
    10-2 langchain初探与实战
    25:31

  • 视频：
    10-3 langchain实现 mini-QA
    14:59

  • 视频：
    10-4 工业场景知识库LLM助手的设计
    13:11

  • 视频：
    10-5 langchain和知识增强LLM总结
    08:30
第11章 课程总结
2 节｜33分钟

展开 

  • 视频：
    11-1 课程总结（1）
    17:48

  • 视频：
    11-2 课程总结（2）
    15:01
8章无资料

相关文章

发表回复

后才能评论