AI入门路线推荐

作者：Aliot     发布时间：2026-07-09     评论：0     阅读：0

完整学习路线（按你的需求循序渐进）

1. 第一阶段（吃透 Transformer 数学）
   手写 numpy 几百参数 Mini-Transformer，看懂 QKV、softmax、残差、LayerNorm；
2. 第二阶段（完整 GPT 架构玩具）
   拉 nanoGPT，配置 1 层、1 头、极小嵌入，几千参数，CPU 跑通预训练文本生成；
3. 第三阶段（完整工业训练链路）
   MiniMind 26M，从零预训练 + SFT 指令微调，理解预训练 / 后训练区别；
4. 第四阶段（现成小模型工程实战）
   TinyLlama 1.1B，本地部署、LoRA 微调、KV Cache 推理优化、对接 RAG。

关键说明

1. 不存在严格 100 参数还能正常生成文字的模型：光词嵌入层就会占大量参数，100 参数只能做演示数学计算，无法语义生成；几千参数是能跑通文本生成的最低门槛；
2. 所有上面模型底层全是标准 Transformer Decoder-only，和 DeepSeek、GPT 架构同源，学会小模型无缝迁移到大模型；
3. 全部不需要高端 A100，普通笔记本、轻薄本、1660/3060 消费显卡就能完整实验。

一句话推荐入门首选