智元机器人
语义动作生成算法工程师
语义动作生成算法工程师
发布于 大约 15 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
硕士
软件工程
Diffusion
Gan
Humanml3D
Motiongpt
Pytorch
Smpl
Tts
Vae
动作生成
AI 估算 · 30k–55k
上海B轮公司，3年以上经验算法岗，市场需求大，技术门槛高，薪资具有竞争力，中位数参考同级别公司。
职位详情
关于这个职位
该职位专注于研发语音驱动的人机交互动作生成算法，结合TTS技术生成与语音同步的口型、手势等副语言动作
你将设计多模态对齐机制并构建流式协同框架，为机器人和虚拟人提供低延迟、高同步的动作输出
适合有生成模型经验且对多模态交互感兴趣的技术人才
最低要求
计算机、机器人学、图形学、人工智能等相关专业硕士及以上学历，博士优先，3年以上相关领域研究或开发经验
扎实的深度学习基础，精通PyTorch，有生成模型（Diffusion、VAE、GAN、Flow-based）的实际项目经验
深入了解动作生成领域，熟悉MotionGPT、HumanML3D、MotionDiffusion、PhysDiff、ASE等代表性工作
熟悉机器人运动学、计算机图形学中的角色动画基础，了解正向/逆向运动学、骨骼动画原理
具备语音合成（TTS）相关基础知识，了解声学模型、声码器、韵律建模
熟悉动作表示与处理：SMPL/SMPL-X、BVH、AMC、运动学图（Kinematic Trees）、四元数/旋转矩阵表示
工作职责
结合TTS（文本转语音）的韵律特征（音素时长、基频、能量），生成与语音同步的口型、头部姿态、手势等副语言动作
设计多模态对齐机制，确保动作生成与语音合成的节奏、停顿、情感表达精准同步
构建语音合成与动作生成的流式协同框架，支持实时对话场景下的低延迟、高同步度输出
将算法能力封装为可复用的动作生成SDK/服务，支撑多元业务场景
与机器人控制、交互系统团队紧密协作，推动技术方案的产品化落地
优先资格
顶级会议期刊论文发表
有真实机器人平台或虚拟人引擎的实际落地经验
熟悉实时动作生成管线，或有游戏/影视动画行业经验
有语音合成（TTS）或语音识别（ASR）的深入研发经验，具备多模态联合训练经验
熟悉物理驱动的动作生成、强化学习（RL）在动作控制中的应用
有开源项目贡献或相关专利
AI 洞察
优缺点分析
优点
- 处于AI与机器人交叉前沿，技术栈涉及生成模型、多模态、TTS等热门方向，积累的技能极具市场价值
- 公司处于B轮融资阶段，业务快速增长，个人有较大的技术决策空间和成长机会
- 与机器人控制和交互团队紧密协作，能深入理解从算法到产品的全链路
- 实时性要求高，流式框架的优化和低延迟同步是核心难点，调试和性能调优可能耗时
- 适合对多模态交互充满热情、有扎实生成模型基础并愿意深入机器人应用场景的资深算法工程师
缺点 / 挑战
- 技术难度较高，需要同时掌握动作生成、语音合成、多模态对齐等多个领域的知识，学习曲线陡峭
- 岗位可能涉及产品化落地的压力，需要快速迭代并适应需求变化
角色解读
- 在算法深度上可发展为多模态交互领域的专家，主导核心算法研发
- 横向拓展至机器人控制或虚拟人引擎，成为全栈型AI工程师
- 随着项目落地，可向技术负责人或架构师方向晋升，带领团队解决复杂系统问题
- 负责开发语音驱动的动作生成算法，将TTS输出的韵律特征转化为同步的口型、手势等副语言动作
- 设计多模态对齐机制，确保动作与语音在时序和情感上精准匹配
- 构建流式框架以支持实时对话场景，降低延迟并保持同步度
- 封装算法为SDK/服务，并与机器人控制、交互团队协作推动产品落地
- 扎实的深度学习基础，精通PyTorch，有生成模型（如Diffusion、VAE）的实战经验
- 熟悉动作生成领域的前沿工作（MotionGPT、HumanML3D等）和动作表示（SMPL、BVH）
- 掌握机器人运动学和图形学动画基础，如正向/逆向运动学、骨骼动画
- 具备语音合成基础知识，了解声学模型和韵律建模
申请策略
- 在面试中展示对多模态同步难题的理解，提出可能的解决方案思路
- 关注公司产品方向（如机器人、虚拟人），思考自身技术如何与业务结合
- 突出生成模型（Diffusion、VAE等）的项目经验，尤其是与动作生成或语音相关的应用
- 强调对动作表示（SMPL、BVH）和运动学原理的理解，展示相关课程或项目
- 如有TTS或语音处理经验，务必列出具体技术（如声学模型、韵律建模）
- 提及任何开源贡献、论文发表或机器人平台落地经历，这些是重要加分项
- 若对动作生成领域不熟，建议快速学习MotionGPT、HumanML3D等经典论文并复现简单示例
- 补充语音合成基础知识，了解TTS的基本流程和常用模型（如Tacotron、FastSpeech）
面试指南
- 对于模型对比类问题，先阐述各自核心机制，再从生成质量、控制性、实时性等角度分析优劣
- 系统设计类问题，采用分层架构思路：语音输入→特征提取→动作生成→时序对齐→后处理，强调每一步的延迟优化
- 技术细节类问题，结合具体项目经验，如有代码实现可简要描述关键模块和遇到问题
- 请详细解释Diffusion模型在动作生成中的工作原理，并比较与其他生成模型的优劣
- 如何设计一个流式框架，实现语音与动作的低延迟同步？请描述关键模块
- 你如何表示和存储人体动作数据？SMPL和BVH的区别是什么？
- 在动作生成中，如何确保生成的姿态物理合理且不穿透？
- 你有过TTS相关经验吗？音素时长和基频如何影响动作生成？
职位点评
70
综合评分
前沿技术栈，高成长性，薪资有竞争力，但工作强度可能较大，需现场办公。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
该岗位最适合优先看重技术成长和行业前沿的求职者，若对WLB要求不高且愿意接受现场办公，将获得极佳的发展机会。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展90
工作生活40
使命价值75
薪资福利
70中等
薪资处于市场中等偏上水平，B轮公司有一定的现金和期权激励，但福利未明确说明，补偿性动机满足程度中等偏上。
薪资信号未披露（AI估算：30K-55K/月）
成长发展
90较高
该岗位涉及前沿技术（生成模型、多模态对齐、TTS），团队协作和产品落地机会丰富，成长路径清晰，发展性动机满足度高。
技术前沿前沿/新兴技术
技术栈TTS、Diffusion、VAE、GAN、MotionGPT、SMPL、运动学、多模态对齐
业务类型ambiguous
工作生活
40较低
明确要求仅现场办公，上海核心地段可能性大，但JD未提及弹性工作或WLB，可能面临高强度开发节奏，生活化动机满足度较低。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
机器人交互属于前沿科技领域，有较强的社会影响力，但JD未明确强调使命感，意义感动机满足度中等偏上。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
智元机器人 的其他在招职位
相似职位推荐
Watch Jobs