阿里巴巴
算法工程师-多模态方向
算法工程师-多模态方向
发布于 大约 8 小时前普通员工/个人贡献者
北京市 / 杭州市
中级经验
全职员工
仅现场办公
硕士
机器学习工程
Aigc
Nlp
Pytorch
Sft
多模态大模型
深度学习
电商
计算机视觉
预训练
AI 估算 · 22k–35k
阿里大厂，多模态前沿方向，硕士2年经验，薪资具有市场竞争力。
职位详情
关于这个职位
该职位是阿里巴巴淘天集团的多模态算法岗，专注于构建电商领域的多模态大模型，提升对商品图片、文本、视频等异构数据的理解与结构化能力
你将参与模型架构设计、预训练、下游任务优化，并探索AIGC在电商场景的创新应用
适合有计算机视觉或自然语言处理背景、热爱大模型技术的算法工程师
最低要求
计算机、数学或统计学相关专业硕士及以上学历，2年内计算机多模态/NLP/CV相关工作经验，有较强的coding能力
熟悉开源多模态大模型/文本大模型的技术原理和发展脉络，有多模态领域经验优先，有大模型的预训练、SFT等实践经验，熟悉常用的训练框架
对通用大模型和其他新技术充满热情，能够独立实现前沿模型
较强的分析和解决问题的能力，对数据敏感，能结合特定领域数据提出新问题新思路
工作职责
基于淘天海量商品数据，打造技术先进的电商多模态大模型，提升对多模态异构的商品数据(图、文、视频等)的理解能力和结构化能力，输出底层算法能力和高质量结构化数据，支撑发布、比货、导购等多种电商业务场景，并面向商家和消费者探索AIGC等创新业务应用
工作内容包括模型结构设计、训练任务设计、预训练和下游能力建设等
跟踪、探索大模型方向/多模态预训练方向的前沿技术，将各方向的SOTA能力集成到模型底座上，提升下游任务的效果，打造团队的技术先进性
优先资格
有NLP/CV/ML顶会发表经验者（ACL/EMNLP/CVPR/ICCV/NeurIPS等）优先
AI 洞察
优缺点分析
优点
- 阿里巴巴平台提供海量真实电商数据，技术落地场景丰富
- 多模态大模型是当前AI前沿方向，技术成长空间大
- 团队技术氛围浓厚，鼓励创新和顶会发表
- 竞争激烈，需要持续跟进论文和新技术
- 适合对多模态和大模型有浓厚兴趣，具备较强动手能力，希望在工业界前沿技术方向深耕的算法工程师
缺点 / 挑战
- 大模型训练资源消耗大，需应对工程和算法双重挑战
- 电商场景对模型效果要求高，业务压力可能较大
角色解读
- 纵向成长为多模态算法专家或技术Leader，主导核心模型研发
- 横向拓展至CV/NLP更广泛的AI领域，或转向AI产品/架构方向
- 在阿里内部可晋升为P7/P8高级算法工程师，带团队或做技术架构
- 设计和训练电商多模态大模型，提升对商品图像、文本、视频的理解能力
- 负责模型结构设计、预训练任务及下游能力建设，支撑比货、导购等业务
- 跟踪前沿技术，将SOTA能力集成到模型底座，探索AIGC在电商的创新应用
- 扎实的深度学习基础，熟悉多模态或大模型技术原理
- 熟练使用PyTorch等框架，具备独立实现前沿模型的能力
- 有预训练、SFT实践经验，熟悉主流训练框架
- 较强的数据敏感度和问题分析能力
申请策略
- 在简历中体现对电商业务的思考，如何用多模态技术解决实际问题
- 关注阿里巴巴达摩院和淘天技术团队的博客，了解技术方向
- 突出多模态或大模型相关项目经验，详细描述模型设计、训练过程及业务效果
- 强调顶会论文发表经历，尤其是ACL、CVPR、NeurIPS等
- 展示coding能力，如GitHub开源项目或竞赛成绩
- 熟悉主流多模态大模型（如CLIP、BLIP2、LLaVA）的原理和代码
- 掌握大模型预训练、SFT、RLHF等训练技术
- 补充电商领域知识，了解商品数据结构化等场景
面试指南
- 对于技术原理问题，先概述核心思想，再对比不同方法的优劣，最后结合电商场景说明选择
- 对于项目经验问题，采用STAR法则（情境、任务、行动、结果），突出个人贡献和量化效果
- 对于开放性问题，展现思考深度和业务理解，先定义问题，再提出可行方案
- 请介绍多模态大模型的主流架构（如CLIP、BLIP2）及其优缺点
- 如何设计预训练任务来提升模型对商品图文的对齐能力？
- 描述一次你在多模态项目中的模型训练过程，遇到问题如何解决？
- 你对AIGC在电商中的应用有哪些想法？
- 谈谈你对大模型SFT和RLHF的理解
职位点评
75
综合评分
阿里多模态算法岗，技术前沿、成长快、薪资优，但工作节奏较快，现场办公。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术前沿、希望快速成长、对薪资和WLB要求中等的算法工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展92
工作生活45
使命价值70
薪资福利
80较高
阿里巴巴薪资福利在行业内有竞争力，但JD未披露具体薪资和福利，整体处于市场偏上水平。
薪资信号未披露（AI估算：22K-35K/月）
成长发展
92较高
该职位聚焦多模态大模型前沿技术，有海量数据和丰富业务场景，技术成长空间极大，且鼓励顶会发表。
技术前沿前沿/新兴技术
技术栈多模态大模型、预训练、SFT、NLP、计算机视觉、AIGC、Transformer
业务类型profit_center
工作生活
45较低
职位要求现场办公，未提及弹性工作或WLB，北京/杭州通勤可能较长，工作节奏通常较快。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
多模态大模型提升电商体验，服务亿万消费者，有社会价值，但商业属性较强。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs