腾讯游戏-视觉语言模型(VLM)算法工程师

优缺点分析

角色解读

• 横向可向多模态大模型预训练、对齐、Agent 等更前沿方向深入，成为团队内的模型算法专家
• 纵向可走向算法负责人或技术管理路线，带小团队负责一条业务线的多模态能力建设
• 依托游戏场景的丰富数据与反馈闭环，可积累从算法研发到业务落地的完整闭环经验，在行业内具备较强可迁移性
• 围绕 LLaVA、Qwen-VL、InternVL 等主流视觉语言模型，做架构选型、SFT 微调与前沿算法攻关，持续提升多模态理解与生成效果
• 把 VLM 能力落地到游戏泛娱乐、多模态搜索等核心业务场景，与业务方一起把模型效果转化为实际产品价值
• 跟进 LoRA、PEFT、DPO 等对齐与高效微调技术，并参与量化与推理加速，推动模型在端侧或云端部署
• 扎实的机器学习基础，同时理解 CV 与 NLP 的交叉知识，能从原理层面分析多模态模型
• 熟练使用 PyTorch，具备 Python/C++ 工程能力，能驾驭 DeepSpeed、Megatron-LM、FSDP 等大规模分布式训练框架
• 对视觉编码器（CLIP、SigLIP）与对齐机制有深入理解，实操过 SFT、LoRA/QLoRA、DPO 等微调与对齐方法
• 具备模型量化、推理加速与部署经验，能把实验室效果推进到线上可用

申请策略

• 提前了解腾讯游戏在多模态方向的产品形态（如游戏内容理解、素材生成、多模态搜索），面试时能讲清技术与场景的对应关系
• 准备一两个“效果提升遇到瓶颈后如何定位并解决”的完整故事，算法岗很看重问题拆解能力
• 重点写清参与过的 VLM/多模态项目：模型选型、微调方式、数据规模与最终效果指标
• 罗列具体的微调与对齐技术栈（SFT、LoRA/QLoRA、PEFT、DPO）以及使用的模型（LLaVA、Qwen-VL、InternVL 等）
• 展示分布式训练与工程能力，如 DeepSpeed、Megatron-LM、FSDP 的实际使用场景与规模
• 如有量化、推理加速或端侧/云端部署经验，单独成段量化说明收益（延迟、显存、吞吐）
• 补齐多模态对齐机制原理，熟悉 CLIP/SigLIP 视觉编码器与投影层设计的差异
• 动手复现一次完整的 VLM 微调 + DPO 对齐流程，形成可讲述的实验记录

面试指南

• 讲项目时用「问题—方案—对比实验—结果指标—反思」的结构，突出你个人的决策点而不是团队流水账
• 讲原理时先给一句话结论，再展开关键细节和公式直觉，最后补充工程上的坑与解法
• 讲开放题时先明确约束（数据量、算力、时延预算），再给出方案取舍，体现工程判断力
• 请介绍一个你主导过的 VLM 微调项目：数据怎么构造、用了什么微调策略、效果如何评估？
• LLaVA 类模型的视觉编码器与语言模型之间是如何对齐的？如果要换一个视觉编码器需要注意什么？
• LoRA 与全参微调在效果和成本上的差异是什么？什么场景下你会选 PEFT？
• DPO 相比 RLHF 有什么优势与局限？在 VLM 上做 DPO 有哪些特殊处理？
• 如果要把一个 VLM 部署到端侧并保证时延，你会做哪些优化？