腾讯游戏-视觉语言模型(VLM)算法工程师

优缺点分析

角色解读

• 可从 VLM 算法工程师向多模态大模型专家、模型训练/对齐方向技术专家发展，深耕架构、微调与推理优化
• 借助腾讯游戏与多模态搜索场景，积累大规模业务落地经验，未来可转向算法团队负责人或跨模态技术架构方向
• 持续跟踪多模态大模型前沿，有机会参与前沿算法攻关并在顶会论文、专利或核心业务项目中形成影响力
• 负责 LLaVA、Qwen-VL、InternVL 等主流视觉语言模型的架构设计、SFT 微调与前沿算法攻关
• 将 VLM 能力落地到腾讯游戏泛娱乐或多模态搜索等核心业务场景，推动模型能力转化为业务价值
• 跟踪视觉编码器、对齐机制、参数高效微调与偏好对齐等方向的最新进展，并用于模型优化
• 参与模型量化、推理加速及端侧/云端部署相关工作，提升实际落地效果
• 扎实的机器学习、计算机视觉和自然语言处理交叉理论基础，硕士及以上相关专业背景
• 熟练使用 Python、C++ 和 PyTorch，具备良好的算法数据结构与工程编码能力
• 熟悉主流 VLM 架构、CLIP/SigLIP 等视觉编码器及对齐机制，掌握 LoRA、QLoRA、PEFT、DPO 等微调与对齐技术
• 了解 DeepSpeed、Megatron-LM、FSDP 等分布式训练工具，以及模型量化、推理加速和部署优化

申请策略

• 投递前确认岗位所属团队是做游戏泛娱乐还是多模态搜索，针对性调整项目描述和业务理解
• 面试中主动询问工作地点、团队分工、训练资源、绩效目标和薪酬福利，避免仅凭岗位名称判断
• 突出 VLM/多模态大模型项目经历，写清模型架构、训练数据规模、微调方法和业务效果
• 量化呈现 SFT、LoRA/QLoRA、PEFT、DPO 等实战经验，说明你在模型对齐和效果提升中的具体贡献
• 展示 PyTorch、C++、分布式训练（DeepSpeed/Megatron-LM/FSDP）和推理加速/部署经验，突出工程落地能力
• 若有游戏、搜索、内容理解或多模态检索场景经验，应在简历中与岗位业务方向建立关联
• 系统梳理 LLaVA、Qwen-VL、InternVL 等模型的架构差异、视觉编码器和对齐机制，准备可讲述的技术细节
• 补强大规模分布式训练、显存优化、量化与推理加速的实战案例，尤其是端侧或云端部署经验

面试指南

• 项目题采用“背景-目标-方案-结果”结构，先讲业务问题，再讲模型选择、训练策略和量化指标
• 技术原理题先给结论，再对比关键模块，最后结合自己项目说明取舍和踩坑经验
• 开放设计题按“数据-模型-训练-评估-部署”链路拆解，主动说明资源限制、风险和迭代方案
• 请介绍你参与过的一个 VLM 项目，模型架构、数据、训练目标和最终效果分别是什么？
• LLaVA、Qwen-VL、InternVL 在视觉编码器、连接结构和对齐机制上有哪些差异？
• 你如何设计 SFT 数据并进行 LoRA/QLoRA 微调？如何评估微调效果并避免过拟合？
• 请说明 DPO 或其他偏好对齐方法的原理，以及你在项目中如何应用
• 如果要把 VLM 部署到云端或端侧，你会如何做量化和推理加速？