| 维度 | nanoGPT | nanochat ||----------------|----------------------|----------|| **代码量** | ~750 行 | ~6000 行 || **架构** | 扁平 | 模块化 || **功能** | 预训练 微调 | 预训练 SFT RLHF CLI || **多 GPU** | DDP | DDP FSDP || **精度** | bf16/fp16 | bf16/fp16/fp32/FP8 || **推理** | 无优化 | KV Cache 引擎 || **效率** | 4 天 (8xA100) | 1.65 小时 (8xH100) || **成本** | ~100 | 100|48 || **状态** | 已弃用 | 活跃维护 | nanochat 核心结构——与 nanoGPT 对比总结
| 维度 | nanoGPT | nanochat ||----------------|----------------------|----------|| **代码量** | ~750 行 | ~6000 行 || **架构** | 扁平 | 模块化 || **功能** | 预训练 微调 | 预训练 SFT RLHF CLI || **多 GPU** | DDP | DDP FSDP || **精度** | bf16/fp16 | bf16/fp16/fp32/FP8 || **推理** | 无优化 | KV Cache 引擎 || **效率** | 4 天 (8xA100) | 1.65 小时 (8xH100) || **成本** | ~100 | 100|48 || **状态** | 已弃用 | 活跃维护 |