Home - cccbook/py2gpt GitHub Wiki

GPT 背後的數學與程式

1. 簡介
   • 十分鐘看懂現代AI
2. 梯度下降法
   • 專案：NumGrad
3. 反傳遞算法
   • 專案：MicroGrad
4. GPT
   • RNN 循環神經網路
   • 專案：MinGPT
5. ChatGPT
   • 大語言模型
   • 專案：llama2.c
   • 專案：llm.c
   • 提示工程學

補充

• 專案：MacroGrad
• 專案：MinRNN
• 損失函數
• Manifold 假說
• 向量資料庫
• Softmax 與 CrossEntropy
• 詞向量
• Embed 層
• Seq2seq 模型
• 智慧突然湧現？
• 卷積神經網路CNN
• 從Sigmoid到ReLU
• 參考