Repos / allengaller / ai-book OWN

ai-book

大模型全栈实战指南：从算法底座到工业级工程落地

在 GitHub 查看 ↗

大模型全栈实战指南：从算法底座到工业级工程落地

一部从数学起源一路讲到 AGI 前沿的中文大模型工程实战书。以「备料 → 造 → 调 → 评 → 用 → 榨 → 换」的工业生命周期为主线，理论深度与工程厚度双向打通。

34 章 ｜ 约 90 万字 ｜ 30+ 主流开源工具 ｜ 4 条阅读路线 ｜ 29 章面试速查卡

为什么是这本书

优势 说明
全链路，不碎片 核心技术篇 29 章贯穿大模型完整生命周期：数据工程、分布式预训练、SFT/DPO 对齐、评测、vLLM 推理、GPU 压榨、模型迁移——从"模型怎么来的"讲到"怎么稳定赚钱"
双层解读，难度分级 每章均采用「通俗理解 + 专业分析」双层写法，难度三级标注（入门 / 进阶 / 高级），零基础读者与资深工程师各取所需
工业级实战密度 RAG 全链路（HNSW/混合检索/重排序/RAGAS）、Agent + MCP 标准、K8s 容灾、LLMOps 链路监控、Roofline 性能分析——全部落到可动手的程度
中国技术栈原生覆盖 ModelScope / Qwen / 阿里云百炼完整实操（附录 D），国产化适配、开源生态甄别与数据合规红线（第五部分第 4 章）
面试即战力 29 章每章末尾配「面试速查卡」，另有《大模型工程面试突破指南》附录：算法题 + 系统设计题 + 行为题
硬核内容不硬核脸 「AI 灵山取经」叙事主线贯穿全书，章节标题自带比喻记忆点（像素侦探团、大力出奇迹、猫鼠游戏）

全书地图

flowchart TB
    subgraph base["打地基 · PART 1-2 · 5 章"]
        direction LR
        P1["第一部分 启程之路<br/>AI 全景与七十年进化史<br/>六大数学积木（微积分/线代/概率/优化/数值/信息论）"]
        P2["第二部分 进化之路<br/>机器学习三板斧 → 深度学习觉醒<br/>注意力机制与 Transformer 革命"]
        P1 --> P2
    end

    subgraph core["核心技术篇 · PART 3-6 · 29 章"]
        direction LR
        P3["第三部分 造模型<br/>核心生命周期 · 7 章<br/>数据→训练→对齐→评测<br/>→推理→优化→迁移"]
        P4["第四部分 用模型<br/>应用架构与智能体 · 6 章<br/>提示词→RAG→GraphRAG<br/>→Agent→数据Agent→多模态"]
        P5["第五部分 稳系统<br/>工程化与生产落地 · 7 章<br/>安全→监控→部署→合规<br/>→开发→产品→端到端实战"]
        P6["第六部分 看未来<br/>前沿疆域 · 9 章<br/>System2→长上下文→高性能<br/>→合成数据→端侧→具身→成本"]
        P3 --> P4 --> P5 --> P6
    end

    base --> core
    core --> app["附录 A-D<br/>面试突破指南 · 阿里云百炼实操 · 隐私计算 · AI 编程助手企业采用"]

两条工程主线

主线一：模型生命周期（第三部分 · 七步闭环）

flowchart LR
    A["备料 · Ch1<br/>数据工程<br/>ETL · MinHash 语义去重"] --> B["造 · Ch2<br/>预训练基建<br/>ZeRO · 3D 并行 · 容错"]
    B --> C["调 · Ch3<br/>后训练对齐<br/>SFT · DPO · RLHF"]
    C --> D["评 · Ch4<br/>评测工程<br/>RAGAS · NLI 蕴含检测"]
    D --> E["用 · Ch5<br/>推理服务<br/>vLLM · PagedAttention"]
    E --> F["榨 · Ch6<br/>性能深潜<br/>Roofline · 算子融合"]
    F --> G["换 · Ch7<br/>模型迁移<br/>开源生态 · 国产化"]
    G -. 模型迭代，重回备料 .-> A

主线二：应用能力链（第四部分 · 六级递进）

flowchart LR
    P["提示词工程<br/>CO-STAR · JSON Schema<br/>DSPy 自动化调优"] --> R["RAG<br/>语义切片 · HNSW<br/>混合检索 · 重排序"]
    R --> G["GraphRAG<br/>三元组抽取<br/>多跳推理"]
    G --> A["Agent<br/>CoT → ReAct 闭环<br/>MCP 工具标准"]
    A --> D["数据 Agent<br/>Schema 注入<br/>Text-to-SQL 防御"]
    D --> M["多模态<br/>视频帧采样<br/>跨模态检索 · 音频流"]

分部速览

部分 定位 章数 一句话 入口
一 打地基 2 从"魔法"到数学积木，建立 AI 全局认知 PART1-1-0.md
二 建进化观 3 见证 AI 从"提线木偶"到"直觉天才" PART2-1-0.md
三 造模型 7 大模型七步生命周期：备料→造→调→评→用→榨→换 PART3-START.md
四 用模型 6 从提示词到 Agent 的能力递进链 PART4-START.md
五 稳系统 7 安全网关、LLMOps、SRE 与全链路实战 PART5-START.md
六 看未来 9 推理进化、长上下文、端侧与具身智能 PART6-START.md
附录 弹药库 4 面试、百炼实操、隐私计算、AI 编程助手 Z-APPENDIX-3.md

难度分级：入门（⭐，可直接上手）· 进阶（⭐⭐，需编程基础）· 高级（⭐⭐⭐，需扎实工程功底）。完整 29 章难度速览表见 0-INDEX.md。

贯穿全书的关键概念：SFT · DPO · RAG · Agent · MCP · LLMOps · DSPy · System 2 —— 一句话速查见 0-START.md。

适合谁，怎么读

flowchart LR
    start(["打开本书"]) --> q{"你的目标是？"}
    q -->|"轻松入门"| r1["四-1 提示词工程<br/>→ 五-5 AI 原生开发"]
    q -->|"动手做项目"| r2["四-2 RAG · 15 分钟上手<br/>→ 四-4 Agent<br/>→ 三-5 vLLM/Ollama 部署"]
    q -->|"转型 AI 工程师"| r3["路径 A · 4~6 周<br/>提示词/RAG → Agent+MCP<br/>→ LLMOps → 作品集"]
    q -->|"面试冲刺"| r4["三-5 + 四-2 + 四-4 精读<br/>+ 29 章面试速查卡<br/>+ 附录 C 突破指南"]
读者 建议
产品经理 / 技术新人 走「轻松入门」路线，先读通俗层，每章约 1-2 天
转型 AI 的工程师 走「路径 A」，边读边搭文档问答与多工具 Agent
算法工程师 直接进入第三部分（生命周期），重点三-2 / 三-3 / 三-6
架构师 / 技术负责人 重点第五部分（生产治理）+ 第六部分（技术走向）

快速开始

  1. 看目录：0-INDEX.md —— 全书结构 + 各章导语 + 难度速览
  2. 读前言：PART0-0.md —— 「AI 灵山」开场、四条阅读路线、环境配置
  3. 选路径：0-START.md —— 核心技术篇导读、核心概念速查、30+ 工具按名定位
  4. 查文献：Z-REFERENCE.md —— 核心论文、开源项目、阶梯式学习路径
环境配置（点击展开） | 项目 | 要求 | |------|------| | Python | 3.9 - 3.11（推荐 3.10） | | 操作系统 | Windows 10+ / Ubuntu 20.04+ / macOS 12+ | | 内存 | 至少 8GB，训练/本地推理建议 16GB+ | | GPU（可选） | CUDA 11.8 / 12.1+，显存 8GB 起（7B 模型建议 16GB+） | 
# 基础科学计算
pip install numpy pandas matplotlib

# 深度学习框架
pip install torch torchvision

# 大模型生态
pip install transformers datasets accelerate
pip install peft bitsandbytes   # LoRA 微调与量化

# API 调用（OpenAI / 通义千问）
pip install openai dashscope
> 各章节依赖不同，以章节代码开头的导入语句为准。

仓库结构

ai-book/
├── 0-INDEX.md          # 全书目录（权威入口）
├── 0-START.md          # 核心技术篇导读：路线图 + 概念速查 + 工具地图
├── PART0-0.md          # 前言：阅读路线 + 环境配置
├── PART1-*-*.md        # 第一部分：启程之路（AI 概览 · 数学基础）
├── PART2-*-*.md        # 第二部分：进化之路（机器学习 · 深度学习 · 注意力）
├── PART3-*.md          # 第三部分：大模型核心生命周期（7 章）
├── PART4-*.md          # 第四部分：应用架构与智能体（6 章）
├── PART5-*.md          # 第五部分：工程化与生产落地（7 章）
├── PART6-*.md          # 第六部分：前沿疆域（9 章）
├── Z-APPENDIX-1.md     # 附录 B：AI 编程助手企业采用指南（2026）
├── Z-APPENDIX-2.md     # 附录 A：隐私计算与数据安全
├── Z-APPENDIX-3.md     # 附录 C：大模型工程面试突破指南
├── Z-APPENDIX-4.md     # 附录 D：阿里云百炼微调与推理实操
├── Z-REFERENCE.md      # 参考文献与开发者资源
├── GTM/                # 发布落地页（纯静态 HTML）
├── pic/                # 图片资源
└── script/             # 辅助脚本

章节文件命名规则：PART{部分}-{章}-{节}.md，每部分配 -START（导读）与 -END（小结）。

附录资源

附录 内容 文件
A 隐私计算与数据安全：联邦学习、差分隐私、TEE 机密计算 Z-APPENDIX-2.md
B AI 编程助手企业采用指南（2026）：市场格局、ROI、选型框架 Z-APPENDIX-1.md
C 大模型工程面试突破指南：算法题、系统设计题、行为题框架 Z-APPENDIX-3.md
D 阿里云百炼实操：SFT/DPO 微调、Function Call、Batch API 与成本选型 Z-APPENDIX-4.md

说明

  • 全书为纯 Markdown 稿件，GitHub 可直接渲染（含 Mermaid 图）；本地阅读推荐 VS Code 或 Typora。
  • 书稿持续创作与修订中，内容以仓库最新版本为准。
  • 面向读者社区的发布页面见 GTM/。