携程
多模态算法专家(MJ037150)
多模态算法专家(MJ037150)
发布于 2 小时前基层主管/组长
全职员工仅现场办公人工智能
人工智能
Clip
Deepspeed
Llava
Pytorch
Rlhf/Dpo
Sft
Vllm
分布式训练
多模态大模型
值不值得投
69综合评分
综合评分 69
前沿多模态技术攻坚岗，技术成长性极强，业务结合紧密，但WLB需自行评估。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4万
与人工智能中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 590 个在招 · 其中人工智能 5 个
市场机会
选择面较广
上海 · 人工智能 · 约 310 个在招
职位详情
关于这个职位
作为多模态算法专家，您将主导公司多模态大模型核心算法的研发，推动前沿AI技术（如图文、视频、音频理解与生成）在旅行相关业务场景中的落地应用，解决实际问题并指导团队技术成长
最低要求
计算机、人工智能、电子工程、数学等相关专业，硕士及以上学历，博士优先
年以上AI算法研发经验，其中3年以上多模态/大模型相关经验
精通深度学习与Transformer架构，熟悉主流多模态模型（CLIP、BLIP-2、LLaVA、Flamingo、Qwen-VL、InternVL等）原理与实现
深入理解多模态大模型的推理全流程，熟悉主流推理引擎的原理、适用场景与性能调优，包括但不限于 vLLM / vLLM-Omni、SGLang、TensorRT-LLM 等，并有实战经验
熟悉PyTorch/DeepSpeed/Megatron等训练框架，具备大规模分布式训练（多机多卡）调优经验
熟悉多模态数据处理、跨模态对齐、视觉-语言预训练等核心技术
具备扎实的编程能力，熟悉CUDA/算子优化者优先
具备优秀的逻辑思维与问题拆解能力
良好的跨团队沟通与协作能力
对AI前沿技术有强烈热情与持续学习能力
工作职责
多模态大模型研发：主导图文、视频、音频、3D等多模态大模型的核心算法研发，包括但不限于多模态预训练、跨模态对齐、多模态理解与生成
训练与对齐：负责多模态数据的清洗、配比与训练策略制定，主导SFT、RLHF/DPO等多模态对齐工作，提升模型的理解、推理与生成能力
前沿技术跟踪与落地：跟踪CVPR/ICCV/NeurIPS/ICML/ACL等顶会前沿进展，推动LMM（如GPT-4V、Gemini、Qwen-VL、InternVL、LLaVA等）相关技术在业务场景中的落地
业务场景赋能：与产品、工程团队协作，将多模态能力应用于图文问答、视频理解、文档解析、AIGC、智能体等场景，解决实际业务问题
团队建设与指导：指导中初级算法工程师，参与技术路线规划、专利与论文撰写，提升团队整体技术影响力
优先资格
在CVPR/ICCV/ECCV/NeurIPS/ICML/ACL等顶会发表过相关论文，或有影响力的开源项目、专利成果
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与多模态大模型等AI最前沿领域的研发，技术成长天花板高
- 业务结合紧密：技术能直接赋能旅行等实际业务场景，有明确的落地价值和成就感
- 平台与资源：依托大型互联网平台，有大规模数据和算力资源支持算法研发与验证
- 团队影响力：有机会指导团队，参与技术规划，对技术方向有较大话语权
- 更新速度快：AI领域技术日新月异，需要持续高强度学习以跟踪最新进展（如顶会论文、新模型）并快速应用
- 适合对AI前沿技术充满热情、拥有扎实多模态/大模型研发经验、追求技术深度与业务落地结合的资深算法工程师或研究员
缺点 / 挑战
- 技术挑战巨大：多模态大模型研发复杂度高，涉及数据、训练、推理、对齐多个环节，需要解决大量工程与算法难题
- 跨团队协作压力：需与产品、工程等多个团队紧密协作，将技术能力转化为业务成果，对沟通协调能力要求高
角色解读
- 技术专家路径：深耕多模态技术，成为公司或行业在该领域的顶尖技术权威，影响技术战略
- 技术管理路径：凭借技术深度与团队指导经验，向技术经理、总监等管理岗位发展，负责更大范围的技术团队与业务
- 行业影响力路径：通过高质量论文、开源项目或专利，在学术界和产业界建立个人品牌
- 主导多模态大模型（如图文、视频理解与生成）的核心算法设计与研发
- 负责从数据准备、模型训练到对齐（如RLHF/DPO）的全流程技术攻关
- 将前沿的多模态技术（如LLaVA、Qwen-VL等）落地到具体的业务场景，如智能问答、AIGC等
- 指导团队初中级工程师，并参与技术规划与学术产出（论文/专利）
- 深厚的多模态与大模型技术功底，精通主流模型（CLIP, LLaVA等）原理与实现
- 大规模分布式训练与优化能力，熟悉PyTorch/DeepSpeed等框架及vLLM等推理引擎
- 扎实的编程与工程能力，了解CUDA/算子优化，能将算法高效落地
- 强大的逻辑分析与跨团队协作能力，能将技术转化为业务价值
申请策略
- 深入研究携程的业务特点（如旅行内容、商品、行程），在面试中可以探讨多模态技术如何具体赋能这些场景（如旅行攻略图文理解、视频行程回顾）
- 准备一个清晰的技术分享，阐述你过去在多模态或大模型领域的核心技术工作与思考，展示技术深度
- 重点突出3年以上多模态/大模型相关的项目经验，详细描述在模型预训练、对齐（SFT/RLHF）、推理优化等具体环节的贡献与成果
- 强调在CVPR/ICCV/NeurIPS等顶会的论文发表，或有影响力的开源项目、专利，这是重要的加分项
- 展示大规模分布式训练（多机多卡）的实战经验，以及使用PyTorch/DeepSpeed/Megatron/vLLM等工具链解决问题的能力
- 通过项目经历体现将前沿算法技术应用于具体业务场景（如图文理解、视频分析）并解决实际问题的能力
- 持续跟踪和复现最新的多模态大模型论文与开源实现（如LLaVA、Qwen-VL、InternVL等），保持技术敏感度
- 深入学习和实践大规模模型训练与部署的工程化细节，如混合精度训练、张量并行、流水线并行、算子优化等
面试指南
- STAR法则：针对项目经验问题，用“情境(Situation)-任务(Task)-行动(Action)-结果(Result)”结构清晰描述，突出你的个人贡献和技术决策
- 问题拆解法：面对开放设计题，先明确目标和约束条件，再从数据、模型、系统、评估等多维度拆解问题，提出可行方案
- 对比分析法：对于技术选型或方法论问题，客观对比不同方案的原理、优缺点和适用边界，展示你的深入思考和权衡能力
- 请介绍一个你主导的多模态大模型项目，从数据、训练到最终效果优化的整体流程是怎样的？
- 在处理多模态数据（如图文、视频）时，你遇到的最大挑战是什么？是如何解决的？
- 对于多模态模型的对齐（Alignment），你如何看待SFT和RLHF/DPO的优缺点及适用场景？
- 如果让你负责将多模态能力应用于携程的‘旅行攻略’场景，你会如何设计技术方案？
- 请谈谈你对当前主流多模态大模型（如GPT-4V, LLaVA, Qwen-VL）技术路线的理解与判断
职位点评
薪资福利65
成长发展90
工作生活40
使命价值80
薪资福利
65中等
该岗位作为资深技术专家，薪资应具有市场竞争力，但JD未明确薪资与福利细节，补偿性满足度中等。
薪资信号未披露（AI估算：3千–5万/月）
成长发展
90较高
该职位要求前沿多模态大模型技术，处于技术发展最前沿，且有指导团队、规划技术路线的职责，技能成长与职业发展信号强烈。
技术前沿前沿/新兴技术
技术栈多模态大模型、Transformer、SFT、RLHF/DPO、PyTorch、DeepSpeed、vLLM、CLIP、LLaVA、分布式训练
成长机会指导中初级算法工程师、参与技术路线规划、专利与论文撰写
业务类型ambiguous
工作生活
40较低
JD未提及任何远程办公或弹性工作安排，也未提及WLB相关福利，对于注重工作生活平衡的求职者吸引力有限。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
岗位涉及用前沿AI技术赋能旅行等实际业务，解决真实问题，技术有明确的应用价值与影响力，行业前景好。
行业发展高速增长赛道
社会影响中性/一般
使命信号解决实际业务问题、提升团队整体技术影响力
创新程度积极采用新技术
携程 的其他在招职位
相似职位推荐
Watch Jobs