智元机器人
语义动作生成算法工程师
语义动作生成算法工程师
发布于 44 分钟前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
Diffusion
Gan
Pytorch
Smpl
Tts
Vae
Flow-Based
Humanml3D
Motiondiffusion
AI 估算 · 30k–60k
上海B轮机器人公司，算法岗需求大，硕士以上学历，薪资处于行业较高水平。
职位详情
关于这个职位
该职位负责生成与语音同步的副语言动作（口型、手势等），涉及多模态对齐与流式协同框架，需要深度学习、生成模型、动作生成及语音合成知识，适合有扎实研究背景和工程落地能力的算法工程师
最低要求
计算机、机器人学、图形学、人工智能等相关专业硕士及以上学历，博士优先，相关领域研究或开发经验
扎实的深度学习基础，精通PyTorch，有生成模型（Diffusion、VAE、GAN、Flow-based）的实际项目经验
深入了解动作生成领域，熟悉MotionGPT、HumanML3D、MotionDiffusion、PhysDiff、ASE等代表性工作
熟悉机器人运动学、计算机图形学中的角色动画基础，了解正向/逆向运动学、骨骼动画原理
具备语音合成（TTS）相关基础知识，了解声学模型、声码器、韵律建模
熟悉动作表示与处理：SMPL/SMPL-X、BVH、AMC、运动学图（Kinematic Trees）、四元数/旋转矩阵表示
工作职责
结合TTS（文本转语音）的韵律特征（音素时长、基频、能量），生成与语音同步的口型、头部姿态、手势等副语言动作
设计多模态对齐机制，确保动作生成与语音合成的节奏、停顿、情感表达精准同步
构建语音合成与动作生成的流式协同框架，支持实时对话场景下的低延迟、高同步度输出
将算法能力封装为可复用的动作生成SDK/服务，支撑多元业务场景
与机器人控制、交互系统团队紧密协作，推动技术方案的产品化落地
优先资格
顶级会议期刊论文发表
有真实机器人平台或虚拟人引擎的实际落地经验
熟悉实时动作生成管线，或有游戏/影视动画行业经验
有语音合成（TTS）或语音识别（ASR）的深入研发经验，具备多模态联合训练经验
熟悉物理驱动的动作生成、强化学习（RL）在动作控制中的应用
有开源项目贡献或相关专利
AI 洞察
优缺点分析
优点
- 聚焦前沿的多模态生成技术，技术壁垒高，积累稀缺经验
- 公司处于B轮融资阶段，发展空间大，有机会参与核心产品从0到1
- 团队背景优秀，与机器人控制、交互系统紧密协作，学习资源丰富
- 技术栈较深，需要同时掌握深度学习、图形学、语音合成等多领域知识
- 适合对多模态生成、人机交互有浓厚兴趣，且具备扎实深度学习基础的研究型工程师
缺点 / 挑战
- 实时性要求高，流式协同框架设计复杂，工程挑战大
- 机器人行业落地周期长，可能面临产品化压力
角色解读
- 成为多模态动作生成领域的专家，引领算法创新
- 向技术负责人或架构师发展，主导动作生成管线设计
- 横向扩展到机器人交互、虚拟人引擎等方向
- 分析TTS输出的韵律特征，生成与语音同步的口型、头部姿态、手势等动作
- 设计多模态对齐机制，确保动作与语音的节奏、情感精准同步
- 构建流式协同框架，支持实时对话场景下的低延迟动作生成
- 封装算法为SDK/服务，与机器人控制团队协作推动产品落地
- 精通PyTorch和生成模型（Diffusion, VAE, GAN等），有实际项目经验
- 深入理解动作生成领域，熟悉MotionGPT、HumanML3D等代表性工作
- 掌握机器人运动学、角色动画基础（IK/FK、骨骼动画）
- 具备TTS基础知识，了解声学模型、韵律建模
申请策略
- 准备一个与动作生成相关的开源项目或研究demo，展示技术深度
- 关注公司产品方向（机器人交互），在面试中体现对场景的理解
- 突出生成模型（Diffusion/VAE等）的项目经验，尤其是动作或语音相关
- 展示对MotionGPT、HumanML3D等开源工作的理解或复现经历
- 强调多模态对齐或流式推理的工程实践，例如在线服务部署
- 如有论文或专利，列出顶级会议/期刊
- 补充TTS基础知识，尤其是韵律建模和声码器
- 学习SMPL/SMPL-X、BVH等动作表示，并动手实现简单的动作生成demo
面试指南
- 对于算法原理问题，先概述核心思想，再结合具体项目细节，最后对比其他方法的优劣
- 对于系统设计问题，明确输入输出和约束条件，分模块阐述方案，并提及权衡（如延迟vs质量）
- 请解释Diffusion模型在动作生成中的应用原理
- 如何保证生成的动作与语音的节奏精准同步？
- 请描述一个你实现过的多模态对齐方案
- 在实时对话场景下，如何设计流式动作生成框架以降低延迟？
- 你如何评估生成动作的自然度和同步质量？
- 复习Diffusion、VAE等生成模型的数学基础和代码实现
职位点评
69
综合评分
前沿多模态动作生成算法岗，技术深、成长快，但工作地点固定且WLB未明确。
更适合这类人
适合追求技术成长和前沿研究，对薪资福利有一定期待，能接受现场办公和可能的高强度工作节奏的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展90
工作生活40
使命价值75
薪资福利
70中等
薪资未明确，但考虑B轮公司和岗位稀缺性，推测薪酬有竞争力；福利未提及，补偿性动机满足一般。
薪资信号未披露（AI估算：30K-60K/月）
成长发展
90较高
涉及前沿多模态生成技术，研究导向，成长空间大，有明确的技术深度要求，发展性动机满足高。
技术前沿前沿/新兴技术
技术栈Diffusion、VAE、GAN、MotionGPT、HumanML3D、TTS、SMPL
业务类型profit_center
工作生活
40较低
仅现场办公，未提及WLB或弹性工时，上海工作可能通勤较长，生活化动机满足较低。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
机器人行业属于高速增长赛道，技术推动人机交互发展，有一定社会价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs