ximing
返回所有系列

《零基础学大模型原理》

从 tokenizer 与注意力机制出发，到手写一个简单 GPT，再到指令微调与 RLHF。

共 8 篇文章，按写作时间排序

  1. 1神经网络入门：从感知机到反向传播
  2. 2词怎么变成向量：从 one-hot 到 Word2Vec
  3. 3Transformer 之前：RNN、seq2seq 与注意力机制
  4. 4Transformer 详解：自注意力、多头与位置编码
  5. 5GPT 系列：从 GPT-1 到 GPT-3 的演进逻辑
  6. 6从 GPT-3 到 ChatGPT：指令微调与 RLHF
  7. 7三个月零基础学大模型：收获、疑问与下一步
  8. 8手写一个简单的 GPT：把学到的原理跑起来