多模态算法工程师

优缺点分析

角色解读

• 技术方向：成长为多模态领域专家，主导核心模型研发
• 管理方向：从IC转向技术Leader，带领团队攻关复杂问题
• 业务方向：深入物流供应链业务，成为AI+物流的复合型专家
• 设计和训练多模态大模型，包括架构选型、增量预训练、post-training及RLHF对齐
• 跟踪最新学术进展，将前沿技术（如空间大模型）应用到物流供应链场景
• 撰写技术专利和学术论文，沉淀技术成果
• 扎实的编程基础，精通Python或C++，熟悉深度学习框架
• 深入理解主流多模态大模型架构（如QwenVL、InterVL）及感知模型（DINO、JePRA）
• 有实际大模型训练和调优经验，了解RLHF、增量预训练等技术
• 具备空间感知模型（VGGT、Depth Anything）应用经验者更佳

申请策略

• 在简历中附上技术博客或开源贡献链接，体现技术热情
• 面试前深入了解京东物流业务痛点，思考AI如何赋能
• 突出多模态大模型项目经验，注明自己负责的模块和贡献
• 列出顶会论文或专利，展示科研能力
• 强调编程能力（Python/C++）和深度学习框架（PyTorch等）熟练度
• 如果有物流或供应链相关项目，务必强调
• 系统学习RLHF、PEFT等高效训练技术
• 补充空间大模型（如VGGT、Depth Anything）的实践

面试指南

• STAR法则：情境(Situation)、任务(Task)、行动(Action)、结果(Result)结构化回答
• 技术细节：先概览再深入，从动机、方法、实验对比到结论
• 业务思考：将技术方案与业务价值挂钩，体现落地意识
• 请详细介绍你参与过的多模态大模型项目，包括数据、模型架构和训练策略
• 如何设计增量预训练的数据混合比例？遇到过哪些问题如何解决？
• RLHF中的奖励模型如何设计？有什么经验？
• 空间大模型和2D感知模型如何结合？举一个应用场景
• 你如何看待多模态大模型在物流领域的落地挑战？