翻抽屉翻出一叠旧资料最上面是一份打印版笔试题——欢聚时代2018校招图像算法工程师深度学习A卷。当年在宿舍做这份卷子时的尴尬劲儿还记得清清楚楚传统图像处理学了深度学习也看过不少网络结构图可真要手推卷积尺寸、手写锐化原理、现场设计一套美颜方案的时候还是露怯了。后来在算法岗上做了几年从直播美颜到短视频特效再到现在折腾大模型图像生成回看这份卷子才发现当年觉得“变态”的考点没有一道是白问的几乎每一题都能在真实业务里找到影子。这份卷子对准备图像算法方向笔试面试的同学来说是一份很好的自测样本。它不会考那种背一遍就能答的“什么是CNN”而是把卷积计算、图像处理基础、网络设计、工程化方案串在一起考察你能不能从一张输入图像出发把整条算法链路想明白。这篇不打算贴“标准答案”那东西网上到处都是也不一定对。我更想把这份A卷背后真正想考察的能力项拆开讲清楚以过来人的身份说说每类题该怎么答、为什么这么答再把当年踩过的坑和后来工作中的印证补上。1. 直播业务决定了这份考卷的出题方向准备笔试的第一步很多人会忽略先搞清楚这家公司到底做什么业务。欢聚时代2018年的基本盘是直播和短视频旗下产品线里图像算法团队的核心KPI就是让摄像头里的人好看、让视频内容有可玩性。这个背景直接决定了考卷不会去考遥感图像、医学影像分割这种偏门方向考点高度集中在人像美化、实时视频处理上。1.1 给应届生的第一课先看公司做什么再猜它考什么大部分应届生复习算法笔试是“按目录复习”从机器学习到深度学习从目标检测到图像分割每个知识点都浅尝辄止。这种无差别复习效率很低因为不同业务线的图像算法笔试差别很大做自动驾驶的公司会考BEV感知和3D目标检测做电商的公司会考商品识别和图像检索而做直播的公司考的就是人脸、美颜、特效这一套。当年我拿到A卷先扫了一遍题目发现几乎每道题都能和直播产品挂上钩。卷积计算题后面跟着“视频帧处理”的应用背景图像锐化题明显在暗示美颜里的细节增强最后的开放方案题干脆直接让你设计一套实时美颜系统。这不是巧合而是出题人从业务需求出发反向设计考卷。所以复习前建议做一件事打开目标公司的官网和产品列出它的图像算法应用场景。欢聚时代这种直播公司核心诉求就两个实时、自然。实时意味着端上算力有限所以笔试考拉普拉斯这种轻量级算子而不是让你堆几十层的分割网络自然意味着美颜不能糊成一张假脸所以会在意保边、细节、时序一致性。理解了这两条再看整张卷子出题逻辑一下就清晰了。1.2 从岗位JD反推出来的三个核心考察维度把A卷的题目归归类会落在三个维度上。这三个维度在当时的岗位JD里也有对应表述面试官其实早就把考察范围写在招人要求里了。第一个维度是深度学习基础。包括卷积、池化、激活函数、反向传播、损失函数、优化器以及经典网络结构。这是所有算法工程师的底子不管做什么方向都躲不开。对应到卷面上是计算题和简答题比如给你一个卷积层参数让你算输出尺寸和参数量或者问ResNet为什么能解决网络退化问题。第二个维度是传统图像处理。直播美颜在2018年仍然是传统算法为主、深度学习为辅的状态所以拉普拉斯锐化、直方图均衡化、边缘检测、滤波这类经典知识点是必考的。这个维度很多自学深度学习的同学容易忽略觉得有了CNN就不需要懂传统图像处理了。这是典型的误解实际上直到今天引导滤波、双边滤波这些传统算子仍然大量用在美颜算法里CNN只是替换了其中一部分模块。第三个维度是工程化方案设计。卷子最后的大题通常是开放性的给你一个业务场景让你做个方案。这类题没有标准答案考的是你有没有全局视野懂不懂分解需求、懂不懂权衡精度和性能、懂不懂怎么把算法落地到真实产品里。当年很多人栽在这道题上不是不会算法而是只盯着“用什么模型”完全没有考虑“帧率能不能达标”“用户在美颜强度30%时希望看到什么效果”这类问题。这三个维度就是整张A卷的骨架。2. 深度学习基础题卷积计算与感受野是必考硬伤A卷的深度学习基础部分风格相当务实。不会让你背“CNN由卷积层、池化层、全连接层组成”这种话而是直接甩一道计算题过来考察你能不能准确算出一个卷积层的前向传播。这类题看着简单实际上手算的时候特别容易翻车因为细节太多了。2.1 一道典型的计算题输出尺寸、参数量、感受野卷子里有一道很典型的题大概意思是输入一张224×224×3的图像接一个3×3卷积padding1stride2卷积核数量为64求输出feature map的尺寸和这一层的参数量。先算尺寸。卷积输出的公式是H_out floor((H_in 2×padding - kernel_size) / stride) 1代入得floor((224 2 - 3) / 2) 1 floor(223 / 2) 1 111 1 112。所以输出是112×112×64。这里有两个坑容易被忽略。第一个坑是padding的语义padding1到底是在单边补一行还是上下左右各补一行实践中默认是两边都补即上下左右各补一圈所以224变成226再减3得223。第二个坑是stride除法要向下取整卷积没有“四舍五入”的说法。这些细节面试官一眼就能看出你是真懂还是背过公式。再说参数量。一个3×3卷积核输入通道3输出通道64对应的参数是3×3×3×64 1728。注意这里还没有加bias如果每题都带偏置项要加上64变成1792。很多人在计算题里漏掉bias这属于低级失误但真的非常常见。感受野也是这个板块的常客。一个比较经典的问法为什么很多网络用两层3×3卷积代替一层5×5卷积答案有两个层面。数学上两层3×3叠加感受野正好等于5×5三层3×3等于7×7参数上两层3×3的参数量是2×3×318一层5×5是25参数更少且非线性更强。这个点背下来不难但理解了以后对设计网络结构很有帮助。2.2 反向传播和梯度问题的考察方式反向传播在笔试里通常有两种考法。第一种是给一个简单的两层全连接网络要求手写梯度表达式。这种题必须踏踏实实把链式法则展开用具体的数值代进去算不要只写一个loss对w的偏导公式因为阅卷是按步骤给分的你跳过中间推导就算结果对也拿不到满分。第二种是概念题问为什么sigmoid在深层网络里会导致梯度消失ReLU为什么能缓解。原因是sigmoid函数在两端饱和导数的最大值只有0.25。链式法则在反向传播时是不断连乘的每乘一个小于1的数梯度就缩一圈网络越深梯度越小浅层的参数几乎得不到有效更新。而ReLU在正区间导数恒为1梯度不会在激活函数这一步衰减。不过ReLU也有自己的问题。负数区域梯度直接归零如果一个神经元的输入长期落在负区间它就再也学不动了这叫Dead ReLU。所以笔试如果追问“ReLU有什么不足”要能答出Dead ReLU并顺势引出LeakyReLU、PReLU这些变体。另外BatchNorm在2018年的卷子里出现频率已经很高了它通过对每层激活值做归一化让输入分布相对稳定既缓解梯度问题又能允许你用更大的学习率训练这个机制要能讲清楚。2.3 损失函数与优化器的选择逻辑损失函数的选择笔试题通常以“你在这个场景里用什么损失函数为什么”的形式出现。图像分类默认softmax 交叉熵。这里值得记住一个推导结论交叉熵损失对softmax输入logits的梯度形式很简洁等于预测概率减去真实one-hot标签即 y_hat - y_true。写代码的时候很多深度学习框架里CrossEntropyLoss已经内置了softmax直接用即可但笔试题偶尔会要求你解释这一步别到时候露怯。回归任务用L2损失但L2对离群点异常敏感一个脏标注就能把模型拉偏。所以工程里常改用Smooth L1它在误差较小时保持L2的平滑误差较大时退化成L1对离群点更鲁棒。问到这个的时候如果能顺口说出“目标检测边框回归里Smooth L1是标配”很加分。优化器这块当时几乎必问“Adam和SGD有什么区别你选哪个”。常规答法是Adam自适应学习率、收敛快、适合调参初期SGDMomentum虽然收敛慢但配合合适的学习率往往能收敛到更好的极值点泛化性更优。面试官想听到的不只是“Adam快”而是你对“什么时候该用谁”的判断。我的经验是小数据集、快速验证用Adam正式训练大模型、追求精度时换成SGDMomentum配warmup和cosine decay学习率。这个技能不是笔试能考出来的但提前准备好面试环节很加分。3. 图像算法题从拉普拉斯锐化到直方图均衡化A卷的第二大板块是传统图像处理这部分和直播业务结合得很紧。拉普拉斯锐化、直方图均衡化、边缘检测都是图像增强里的基础操作放到直播间里直接对应清晰度提升、光影调节、人像轮廓增强这些功能。题目不难但考察得非常细。3.1 拉普拉斯算子为什么能锐化图像拉普拉斯算子是一个二阶微分算子。图像里边缘区域的像素变化剧烈一阶导在边缘处取得极值二阶导在边缘两侧会出现“零交叉”——从正变负或从负变正。把二阶导的信息叠加回原图就能让边缘两侧的对比更强视觉上就是变清晰了这就是锐化的原理。离散情况下拉普拉斯模板一般有两种。四邻域模板 0 1 0 1 -4 1 0 1 0八邻域模板 1 1 1 1 -8 1 1 1 1用四邻域模板时锐化公式是g(x, y) f(x, y) - ∇²f也就是原图减去拉普拉斯结果。但这里有个特别容易踩的符号坑如果你用的模板中心是正数比如0 -1 0 / -1 4 -1 / 0 -1 0公式就要改成原图加上拉普拉斯结果。好多人背公式时没注意模板符号写出来的代码效果完全不对。Python实现很直接import cv2 import numpy as np img cv2.imread(input.jpg, cv2.IMREAD_GRAYSCALE).astype(np.float32) # 四邻域拉普拉斯核中心为负 kernel np.array([[0, 1, 0], [1, -4, 1], [0, 1, 0]]) lap cv2.filter2D(img, -1, kernel) sharp cv2.subtract(img, lap) # 原图减拉普拉斯 sharp np.clip(sharp, 0, 255).astype(np.uint8)注意filter2D的输出可能包含负值所以后面要用clip裁剪到0~255或者用cv2.subtract来截断否则显示出来会是黑一块白一块的噪点图。笔试如果考到拉普拉斯往往会追加一问“它有什么缺点”。答案是二阶导对噪声非常敏感一张有轻微噪点的图锐化后噪点会被明显放大。所以在美颜场景里拉普拉斯很少单独用而是配合保边滤波一起使用或者用高反差保留即原图减去低频图来提取细节层再按强度叠加回去。这个思路在直播美颜的磨皮和细节增强里很常见。3.2 直方图均衡化公式、步骤与实现直方图均衡化的目标是把灰度分布从集中在某个区间扩展到整个灰度范围提升对比度。直播场景里光线不好的时候人像发灰均衡化能让画面干净通透一些是很多实时视频前处理链路里的常驻模块。标准步骤分四步。第一步统计每个灰度级的像素数得到直方图。第二步把直方图除以总像素数得到概率密度PDF。第三步从低灰度到高灰度逐级累加得到累积分布CDF。第四步用CDF乘以255再取整得到映射表然后把原图像素值逐一代入映射。代码核心逻辑如下def hist_equalize(img): h, w img.shape total h * w # 统计直方图 hist np.bincount(img.ravel(), minlength256).astype(np.float32) # 计算概率密度和累积分布 pdf hist / total cdf np.cumsum(pdf) # 映射表 map_table np.round(cdf * 255).astype(np.uint8) # 查表映射 return map_table[img]这里有一个不容易注意到的细节如果直方图里0和255两个端点有大量像素均衡化后灰度会被拉伸得特别夸张反而导致图像发白发灰甚至出现伪轮廓。工程上很少用全局均衡化更多用CLAHE也就是限制对比度自适应直方图均衡化。它先把图像分成若干小块分别做均衡化再对局部直方图的高度做裁剪把超出阈值的部分重新分配能有效抑制噪声放大和过度增强。笔试问到“直方图均衡化有什么不足怎么改进”把CLAHE的机制说清楚是个不错的加分点。3.3 边缘检测和CNN卷积核的关系边缘检测在直播和短视频里是很多后续处理的基础。Sobel算子是经典的一阶梯度算子用两个3×3卷积核分别计算水平方向和垂直方向的梯度再合成为梯度幅值。Canny则是更完整的边缘检测流程先高斯模糊降噪再算梯度幅值和方向然后做非极大值抑制把边缘细化成单像素宽最后用双阈值滞后连接来消除断裂。这一节里面试官最喜欢的追问是“那你觉得传统边缘检测算子和CNN里学到的卷积核有什么关系”这个问题我当年没答好后来研究模型可视化了才彻底想明白。CNN第一层卷积核可视化之后你会发现它们很多都在学习边缘、纹理、颜色块和Sobel、Gabor这些手工设计的滤波器长得非常像。区别在于CNN的卷积核是数据驱动学出来的能做到“针对任务定制”而不只是通用的边缘提取。这个理解在直播人像分割、高清人像增强任务里很关键当你需要的是“人脸边缘”而不是“所有物体边缘”时CNN自上而下的语义信息比单纯的梯度计算有效得多。4. 经典网络结构题手推VGG参数量讲清ResNet动机2018年校招笔试网络结构题基本是必然出现的板块。A卷在这一块不仅考“你认不认识这些网络”更考“你能不能动手算参数、讲清设计动机”。过了这么几年模型结构迭代了很多但LeNet到ResNet这条演进线里的思想仍然是面试官考察网络理解能力的试金石。4.1 从LeNet到ResNet的演进逻辑LeNet5是1998年的网络手写数字识别5层结构奠定了“卷积池化全连接”的基本范式。AlexNet在2012年拿到ImageNet冠军带来了三个核心改进ReLU加速收敛、Dropout缓解过拟合、GPU并行训练让模型能做得更大。VGG的贡献是把大卷积核替换成小卷积核堆叠网络更深结构更规整。GoogLeNet用Inception模块在同一个stage里用不同尺度的卷积并行提取特征同时用1×1卷积做维度升降来控制计算量。ResNet则在2015年引入了残差连接彻底解决了深层网络训练困难的问题。如果考试让你“简述卷积神经网络的发展”不要把这些点孤立罗列而要挨个说清“它解决了什么问题、代价是什么”。比如VGG用3×3堆叠好处是参数少、非线性强代价是计算量仍然很大256层的VGG根本训练不动。正是这些代价推动GoogLeNet和ResNet的出现。4.2 手算VGG16参数量算一遍就忘不掉VGG16在笔试里出现频率极高因为它结构规整、参数好算非常适合拿来考察网络基本功。VGG16包含13个卷积层和3个全连接层。带bias参数的计算方式每次卷积都会加上输出通道数个偏置但为了方便记忆和手算通常先忽略bias最后再统一说明。各层参数大致如下层卷积核输入通道输出通道参数量conv1_13×33641728conv1_23×3646436864conv2_13×36412873728conv2_23×3128128147456conv3_13×3128256294912conv3_23×3256256589824conv3_33×3256256589824conv4_13×32565121179648conv4_23×35125122359296conv4_33×35125122359296conv5_13×35125122359296conv5_23×35125122359296conv5_33×35125122359296卷积层累加大约是1471万参数真正的大头在后面的全连接层。输入224×224经过5次空间分辨率减半到最后一个卷积层输出是7×7×512拉平得到25088维所以fc1的参数量是25088×4096 ≈ 1.028亿fc2是4096×4096 ≈ 1678万fc3是4096×1000 ≈ 410万。三项加起来超过1.2亿VGG16总参数量约1.38亿其中全连接层占了80%以上。这也解释了为什么后来很多网络把全连接层换成全局平均池化参数瞬间砍掉一大截精度损失却很小。准备笔试时一定要亲手算一遍这个表算完对VGG的参数分布会有非常直观的感受面试官问“VGG哪部分参数最多”这种细节题也不会卡壳。4.3 “设计一个分类网络”这类题的答题框架A卷简答题里有一类开放题让你针对一个给定任务设计网络结构比如“为100类图像分类设计一个CNN”。这种题没有标准答案但答题逻辑是有章法的。我后来在面试别人时发现能拿高分的候选人都有一个共同点回答有框架不是东一句西一句。我的建议是按下述结构答。第一步明确任务约束输入尺寸多大、类别数多少、计算设备是什么、目标帧率多少。这些参数直接决定了网络规模的上限。第二步提出基础方案先用预训练的ResNet50做迁移学习这是绝大多数实际项目的默认起点成本低、效果好。第三步如果要求不依赖预训练或者要端上部署再设计轻量结构一个stem卷积加4个stage每个stage堆叠两个残差块通道数翻倍、分辨率减半最后全局平均池化接全连接层。第四步讲训练配置数据增强、BatchNorm、学习率warmup、Dropout。第五步给出评估指标和备选方案。这套框架答下来无论面试官出什么变体你都能从“约束—选型—设计—训练—评估”的完整链路去应对而不是卡在“选什么网络”这一步。5. 开放性方案题两小时内设计一个实时美颜系统A卷最后一道大题我记得印象非常深大意是“某直播平台需要对视频流做实时美颜处理包括磨皮、美白、瘦脸请设计一套算法方案并说明处理流程和关键技术选型。”这类题是整张卷子的压轴也是最容易拉开差距的地方。很多人在前面选择题、计算题上答得不错到了这道题就把“美颜”理解成“用一个深度学习模型输入原图输出美化图”然后就没有然后了。这种回答在真实工程里根本落不了地。5.1 读懂题目里的性能约束端上实时意味着什么开放性方案题的第一步不是上来就写模块而是先解读约束条件。这道题最关键的词是“实时视频流”。直播场景下美颜算法跑在用户的手机端视频流每秒30帧意味着单帧处理的时间预算只有约33毫秒。而这33毫秒还要留给采集、编码、网络传输真正分给美颜算法的可能只有10到20毫秒。这个约束会推翻很多“看起来很美”的方案。比如直接用GAN做端到端人像美化2018年的技术水平根本跑不到实时帧率用一个上百层的分割网络做人像分割再美化推理耗时也超标。所以真正合理的方案必须走轻量化路线人脸检测用轻量级网络磨皮美白用传统图像算子瘦脸大眼用基于关键点的局部变形而不是盲目堆深度学习。答这类题能够主动说出“单帧要在20ms内完成所以必须考虑计算量”这句话比列一堆先进模型的名字要强得多因为它说明你真的做过工程而不只是看过论文。5.2 模块拆解人脸检测、关键点、分割与美化一个可落地的实时美颜系统通常拆成四个模块。人脸检测负责找到画面里的人脸区域。2018年MTCNN是主流选择它用一个小网络级联在CPU上也能跑得动现在工程上更多人用RetinaFace或者SCRFD这类轻量级检测器精度更高。人脸关键点定位负责输出眉毛、眼睛、鼻子、嘴巴、脸部轮廓的位置瘦脸、大眼这类形变操作全靠这些关键点。磨皮美白之前最好先做皮肤分割或人脸解析生成一张只包含皮肤区域的mask这样磨皮不会把眼睛、头发、眉毛一起糊掉。最后才是美化算子本身磨皮用双边滤波或引导滤波美白用亮度曲线调整和颜色校正瘦脸大眼用图像局部仿射变形每一步处理完后通过mask做透明度混合。这个链路可以整理成一张表模块典型算法输出说明人脸检测MTCNN / RetinaFace人脸包围盒锁定处理区域关键点定位68点 / 106点 / 240点面部关键点坐标支撑瘦脸、大眼皮肤分割BiSeNet / 传统颜色空间皮肤mask限定磨皮美白区域磨皮双边滤波 / 引导滤波平滑后的人脸区域保边避免糊脸美白亮度曲线 / 色彩调整更白的肤色与磨皮叠加局部变形基于关键点的网格仿射瘦脸/大眼效果强度由用户控制答模块拆解的时候还要讲清楚“时序一致性”的问题。视频是连续的人脸关键点检测每一帧都会有轻微抖动如果拿原始坐标直接做瘦脸画面里脸型会闪来闪去。所以关键点坐标必须做时序平滑最简单的做法是对坐标序列做指数滑动平均更高级一点用卡尔曼滤波。这个细节当年很多人答不出来但恰恰是直播美颜里最影响用户体验的问题之一。5.3 面试官追问时的加分回答笔试只是第一关后面的面试还会围绕方案题追问。有几个追问方向当年我都被问过提前整理一下很有价值。追问一“为什么不用GAN做美颜”你的回答要说明GAN生成结果不可控实时性差训练不稳定在端上算力严重受限的条件下很难满足30帧要求。事实上直播美颜的核心思路是“保守”用户要的是自然好看不是风格化大变脸。后来很多轻量级生成模型出来之后端侧确实也能跑一些生成式美化效果了但工程上仍然倾向于用可解释、可调节的传统算子。追问二“低端手机上跑不动怎么办”这是性能优化问题。可以从三方面回答第一是模型轻量化用模型剪枝、通道剪枝把推理量降下去第二是量化FP32模型转成FP16、INT8推理在端上能带来几倍的加速内存占用也大幅下降。FP16、INT8这些模型压缩技术现在已经是部署标配第三是工程优化比如多线程并行、算子融合、GPU/NPU加速等。追问三“美颜强度如何让用户调节”这就要在方案里加上“美化后图像和原图做透明度混合”的步骤用户拖动滑块时改变alpha系数。这个点很细但能体现产品思维面试官会觉得你不只懂技术还理解需求。6. 复盘建议笔试不是终点是工程能力的起点前面把考点拆得差不多了最后聊点实干层面的东西。笔试这件事结果当然重要但备考的过程本身就是一次系统性的能力梳理。大多数人算法基础不差短板在于对知识的理解浮于表面会背概念不会算题会调框架不会手推。A卷这种考察风格恰恰是在逼你把基础打扎实。6.1 做题顺序与时间分配我当年拿到A卷先快速扫了一圈然后把计算题和基础简答题做掉把开放方案题留在最后。这个顺序总体是对的但有一个教训不要在计算题上恋战。卷子里有一道多层的感受野题我第一次计算时因为在“第一层stride要不要计入感受野公式”上纠结太久结果方案题的时间被压缩了答得仓促。后来才发现方案题占的分值比重更大而且更容易拿分。合理的节奏大致是前10分钟通读全卷标记题目难度然后先做会做的计算题和简答题每道题控制时间不会的果断跳过留足30分钟给方案题最后10分钟检查计算题的公式、单位、符号。这个时间分配不是万能的但可以避免“难题写不完、简单题没空做”的尴尬。6.2 不会的题怎么办笔试遇到完全不会的题最忌讳的是留白。哪怕不会写完整答案也要把你想到的相关知识点、已有条件、可能的解决思路写上去。比如不会写拉普拉斯锐化的完整代码就把卷积模板和公式写出来说明它的作用不会设计完整的实时美颜系统就把人脸检测关键点美化的链路画出来再讲讲每个模块负责什么。阅卷老师在这个过程中能看到你的分析能力而候选人之间拉开差距的往往不是知识量而是“遇到陌生问题时如何组织思路”。6.3 现在回看哪些考点已经过时哪些依然是核心2018年到今天图像算法领域变化很大。原题里很多内容已经不再是主流技术路径MTCNN换成了更轻量的检测器传统美颜算子正在被生成式模型覆盖CNN之外有了Transformer、扩散模型这些新架构。但你看这份A卷考察的能力——卷积计算、网络设计、图像处理基础、工程取舍——没有一样过时。无论模型怎么换你依然需要理解感受野、理解参数量、理解数据分布、理解性能瓶颈。现在再准备校招除了把基本功补扎实建议把模型部署这条线也补上。FP16、BF16、INT8这些数值格式的差异和选型逻辑在真实项目里非常重要。举个小例子同一个模型在FP32下显存占用是4字节FP16是2字节后者能让一个原来跑不动的batch size变得可行推理速度也更快。这类细节在2018年校招里极少出现但现在已经成了算法工程师的基本功。回看这份卷子对我来说最大的意义不是拿到offer而是它让我在入职之前就把图像算法的“地面功夫”练了一遍。如果你正在准备类似的笔试我的建议是拿一份过去的真题关掉搜索引擎给自己完整的两小时老老实实做一遍。做不出来很正常但做完之后对照解析把每一道错题背后的知识点补上这一轮下来效果比看十篇面试经验都实在。卷子会过时但底层能力不会。