2026年算法工程师最新必问面试题二：大模型（LLM）核心技术

摘要本文聚焦2026年算法工程师面试中关于大模型（LLM）核心技术的六大必考方向：预训练、微调、推理优化与显存管理。内容涵盖GPT与BERT的核心区别、LoRA微调原理、Prompt Engineering技巧、RAG流程与幻觉问题、KV Cache机制以及vLLM中的PagedAttention技术。旨在为面试者提供系统性的知识梳理与深度解析。1. GPT系列与BERT系列的核心区别GPT（Generative Pre-trained Transformer）系列与BERT（Bidirectional Encoder Representations from Transformers）系列是两大主流预训练语言模型，其核心区别主要体现在注意力机制和预训练任务上。1.1 注意力机制：单向 vs 双向GPT（单向/自回归注意力）：采用Transformer的解码器结构，使用带掩码的自注意力机制。在预测下一个词时，模型只能看到当前词及之前的所有词（左侧上下文），无法看到右侧的“未来”信息。这种单向性使其天然适合文本生成任务。BERT（双向注意力）：采用Transformer的编码器结构，使用完全自注意力机制。在预训练时，模型可以同时看到目标词左右两侧的完整上下文信息，从而获得更丰富的词语表征。这种双向性使其在理解类任务（如分类、问答）上表现优异。1.2 预训练任务GPT的预训练任务：语言建模（Language Modeling）。给定前文