阿里巴巴
Token Foundry-多模态算法专家/高级专家（理解与生成）-未来生活实验室
Token Foundry-多模态算法专家/高级专家（理解与生成）-未来生活实验室
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Diffusion Model
Llm
Nlp
Pytorch
Rlhf
Sft
Tensorflow
多模态大模型
计算机视觉
值不值得投
80综合评分
综合评分 80
顶尖多模态大模型研发岗，技术栈前沿、成长空间广阔，但需适应互联网大厂快节奏与高压交付环境。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
7.0万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3720 个在招 · 其中人工智能 约 370 个
市场机会
选择面较广
杭州 · 人工智能 · 约 450 个在招
职位详情
关于这个职位
该职位专注于多模态大模型的核心算法研发，涵盖图文音视频的深度语义理解与高质量生成技术
主要工作包括设计统一的多模态架构、优化Diffusion与自回归模型，并推进大模型在搜广推等场景的落地应用
要求候选人具备顶尖的数理基础与顶会论文发表经验，主导复杂AI算法的独立实现与迭代
最低要求
自然语言处理、机器学习、数据挖掘、人工智能等相关专业的硕士生/博士生
熟练掌握Tensorflow、Pytorch等深度学习框架，扎实的编程基础，具备独立的算法实现能力
有LLM实操经验，参与过大模型预训练，SFT，RLHF等项目
良好的逻辑分析能力和数理基础，对算法原理及应用有较深入的理解
工作职责
多模态理解：负责图文/视频/音频理解相关的算法研发，提升模型对复杂多模态场景的语义分析和推理能力
多模态生成：开发基于 Diffusion Model 或 Autoregressive 架构的生成算法（如 Text-to-Image, Text-to-Video），优化生成的质量、多样性与可控性
统一架构：设计并研发多模态大模型理解和生成的统一架构，通过高效Transformer结构、位置编码优化等，实现对图像、视频、文本的深度语义理解与高保真内容生成
优先资格
有垂域基座模型项目经验者优先，参与过大模型结合搜广推项目者优先
在人工智能相关的各类国际顶级会议/期刊中发表过论文者优先
AI 洞察
优缺点分析
优点
- 依托头部企业算力与数据优势，可接触海量真实业务场景与顶级硬件资源
- 技术栈处于AIGC与多模态大模型最前沿，学术与工业界结合紧密，成果易发顶会
- 平台背书强，利于积累行业影响力与技术资产
- 大模型训练涉及高昂算力成本，实验周期长且调试难度大
- 业务落地要求高，需在学术创新与工程稳定性间取得平衡
- 适合具有深厚数理功底、追求技术突破、能适应高强度研发节奏的顶尖算法研究者或资深工程师
缺点 / 挑战
- 算法迭代极快，需持续追踪国际最新论文并快速复现验证，学习压力较大
角色解读
- 可向首席科学家或AI研究院技术负责人方向发展，主导公司级多模态基础模型战略
- 也可横向拓展至AIGC商业化产品架构师，或深耕自动驾驶、元宇宙等垂直领域的AI技术专家
- 负责多模态大模型底层算法的研发与架构设计，打通图文音视频的跨模态理解与生成链路
- 主导Diffusion与自回归模型的优化，提升复杂场景下的语义推理与高保真内容生成能力
- 搭建统一的多模态Transformer架构，支撑大模型在搜索、广告、推荐等业务场景的落地
- 精通PyTorch/TensorFlow等深度学习框架，具备扎实的C++/Python编程与算法独立实现能力
- 深入掌握LLM预训练、SFT及RLHF全流程，熟悉Transformer底层机制与位置编码优化
- 具备优秀的数理基础与学术科研能力，有顶会论文发表记录
申请策略
- 提前研究相关实验室近期公开的多模态技术路线，准备针对性的架构优化思路
- 面试前梳理完整的项目复盘，重点说明技术选型依据与失败迭代经验
- 关注业务方向，展现技术与商业场景的结合意识
- 突出LLM全链路项目经验，详细量化预训练/SFT/RLHF带来的性能提升指标
- 重点展示顶会论文、开源贡献及复杂多模态架构设计的专利或技术博客
- 强调独立解决算法瓶颈的工程能力与跨模态对齐经验
- 强化分布式训练与显存优化技巧，掌握Megatron-LM或DeepSpeed等大规模训练框架
- 补充多模态对齐技术（如CLIP、BLIP变体）与推理加速（vLLM、TensorRT）实战
面试指南
- 采用STAR法则结构化阐述项目背景、任务目标、行动策略与量化结果
- 技术原理题先给出数学定义与核心公式，再结合工程实践说明优化手段（如FlashAttention、KV Cache）
- 对比不同方案优劣时，明确适用边界与数据支撑
- 请详细描述你参与的大模型预训练或SFT项目，遇到的最大挑战及解决方案？
- 针对多模态统一架构，如何设计位置编码以兼顾长序列与跨模态对齐？
- Diffusion模型在生成质量与推理速度之间如何权衡优化？
- 请推导或解释Transformer中Attention机制的计算复杂度及优化思路
- 系统复习深度学习经典教材与近一年CVPR/NeurIPS/ICLR关于多模态与LLM的核心论文
职位点评
薪资福利85
成长发展92
工作生活55
使命价值78
薪资福利
85较高
阿里资深算法专家薪资包极具竞争力，配套完善的股票激励与六险一金，整体薪酬水平处于互联网行业第一梯队。
薪资信号偏高 (5.0千–9.0万/月)
成长发展
92较高
岗位直接对接多模态大模型前沿方向，提供充足的算力资源与顶级技术团队环境，学术与工程双轨成长路径清晰。
技术前沿前沿/新兴技术
技术栈多模态大模型、Diffusion Model、Autoregressive、Transformer、LLM、SFT、RLHF
业务类型profit_center
工作生活
55较低
互联网大厂核心研发团队通常面临较高的交付压力与敏捷迭代节奏，弹性办公未明确提及，通勤与加班情况需实际评估。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
78中等
致力于突破多模态AI技术边界，推动AIGC在搜索、广告、推荐等核心业务的智能化升级，具备显著的行业变革价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs