LLM-from-scratch

一些 LLM 的从零复现笔记，包括一些思考文章。

• 1. 从头预训练一只超迷你 LLaMA 3——复现 TinyStories
• 2. 用 PyTorch 从零实现 LoRA
• 3. 从零实现 generate 方法

知乎链接

1. 从头预训练一只超迷你 LLaMA 3——复现 TinyStories

2. 用 PyTorch 从零实现 LoRA

3. Qwen2.5-Math 技术报告详细解读

4. Qwen2.5-Coder 技术报告详细解读

5. 我的 api 调用太慢了！LLM api 的异步调用加速

6. Qwen3是如何实现混合推理（快慢思考）的？