多模态理解算法工程师

优缺点分析

角色解读

• 技术专家路线：深入大模型底层技术，成为领域专家
• 技术管理路线：带领团队负责大模型项目，向技术总监发展
• 跨领域发展：结合电信业务，转向AI产品架构师或解决方案专家
• 负责多模态大模型的研发，包括模型结构设计、优化、后训练（如DPO、PPO）等
• 参与数据建设、指令微调、偏好对齐，推动长视频理解、多模态文档理解等算法的工程化落地
• 结合电信业务，优化大模型特定能力，开发视觉Agent等应用
• 探索前沿算法，保持技术领先性
• 扎实的机器学习基础，熟悉CV、NLP、RL等领域技术
• 优秀的编程能力，熟练C++/Python，有ACM等竞赛经验者优先
• 熟悉多模态大模型框架（如Qwen、Kimi）及预训练、微调技术
• 熟悉高性能推理引擎（如vLLM、SGLang）及Post-Training算法

申请策略

• 了解中国电信的AI战略和业务方向，在面试中展示结合业务的思考
• 准备一个完整的多模态项目案例，从数据处理到模型部署
• 突出多模态大模型相关项目经验，如模型训练、微调、优化等
• 强调论文发表、竞赛获奖等学术成果
• 展示对vLLM、SGLang等推理引擎的优化经验
• 体现结合业务落地的实际案例
• 深入学习多模态大模型最新论文，如Qwen-VL、LLaVA等
• 实践强化学习算法（DPO、PPO）在大模型中的应用

面试指南

• STAR法则：描述情境、任务、行动和结果，突出技术难点和解决方案
• 对比分析：比较不同技术方案的优劣，展示深度思考
• 业务导向：强调技术如何解决实际问题，创造价值
• 请介绍你参与过的多模态大模型项目，包括模型架构、训练数据和优化方法
• 如何设计一个多模态文档理解系统？
• 解释DPO和PPO的区别及适用场景
• 如何优化vLLM的推理性能？
• 如何将多模态大模型应用到电信业务中？