大模型算法工程师-VLM方向（顺丰科技）

优缺点分析

角色解读

• 技术纵深：可从算法工程师成长为细分领域（如VLM、具身智能）的技术专家或架构师
• 业务结合：深入理解物流行业后，可向AI产品经理或技术负责人方向发展，推动技术落地创造业务价值
• 前沿探索：持续跟踪AGI发展，有机会参与更通用、更具影响力的大模型研究与开发
• 针对物流场景（如包裹识别、场景分析）进行图像与视频理解相关的视觉算法研发与优化
• 负责物流垂域视觉语言大模型的持续训练工作，包括继续预训练、指令微调（SFT）和基于人类反馈的强化学习（RFT）
• 积极跟进并尝试将大模型领域的前沿架构（如MoE）和应用范式（如Agent）引入到物流业务中
• 扎实的编程和深度学习框架基础，精通Python和PyTorch，熟悉大模型训练/推理加速工具（如deepspeed, vllm）
• 深入的多模态大模型实践经验，包括完整的训练流程（数据清洗、预训练、微调）和对主流VLM模型（如LLaVA, Qwen-VL）的深刻理解
• 将算法应用于具体业务场景的能力，以及快速学习跟进AI前沿技术（如MoE, Agent）的好奇心与执行力

申请策略

• 提前了解顺丰及物流行业的业务痛点（如仓储、运输、配送中的视觉需求），思考AI可能的解决方案，在面试中展现你的业务思考
• 重点展示与多模态、大模型相关的项目经验或实习经历，详细说明你在数据、训练、调优、部署各环节的具体贡献
• 突出编程和框架能力，列举熟悉的工具链（PyTorch, deepspeed等）及在项目中如何应用它们解决实际问题
• 若有论文、开源项目贡献或相关竞赛奖项，务必清晰呈现，这是证明技术热情和学习能力的有力证据
• 深化对1-2个主流开源VLM模型（如LLaVA）的源码理解，并尝试在自有数据上进行微调实验
• 熟悉大模型训练全流程的工程细节，包括数据清洗规范、分布式训练技巧、显存优化和推理加速方法

面试指南

• 对于项目问题，采用STAR法则（情境-任务-行动-结果）结构化回答，重点突出你的技术决策、动手能力和结果量化
• 对于概念和技术方案问题，先清晰定义核心概念，再结合物流业务场景进行逻辑推演，展现你的技术应用和业务结合能力
• 请详细介绍一个你参与过的多模态或大模型项目，你在其中承担的角色、遇到的最大挑战及如何解决的？
• 你如何理解指令微调（SFT）和基于人类反馈的强化学习（RFT）？它们在提升模型能力上各有何侧重？
• 如果让你针对物流场景（例如：破损包裹识别）设计一个VLM应用，你会如何构思技术方案？
• 请谈谈你对MoE（混合专家）架构的理解，它相比稠密模型有何优势和挑战？
• 你使用过哪些大模型训练或推理加速框架（如deepspeed）？请分享一个具体的优化经验
• 系统回顾简历中的每个项目，确保能清晰、深入地阐述技术细节和个人贡献