腾讯
腾讯游戏-多模态大模型算法研究员-动作生成方向
腾讯游戏-多模态大模型算法研究员-动作生成方向
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
3D骨骼动画
Pytorch
Scaling Law
动作生成
多模态大模型
强化学习
值不值得投
84综合评分
综合评分 84
前沿AI算法岗，技术栈顶尖、发展上限极高、薪资丰厚，适合学术与工程能力兼备的硕博人才。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
6万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2040 个在招 · 其中机器学习工程 33 个
市场机会
选择面较广
深圳 · 机器学习工程 · 78 个在招
职位详情
关于这个职位
该职位负责构建和优化面向动作生成的多模态大模型架构，探索文本、视觉、3D动作等多模态融合
你将研究3D动作数据的Tokenization方法及Scaling Law，研发动捕精修大模型及环境感知的交互动画生成技术，致力于实现自然、合理的角色动画交互
最低要求
计算机、人工智能等相关专业硕士或博士学位，在深度学习领域有扎实的理论功底
深入理解主流多模态融合架构（例如 Single-stream、Double-stream 等），能够针对不同模态特征进行灵活的 Transformer 模块设计
熟悉端到端预训练、SFT、RL 微调等流程
熟练使用 Python，熟练使用 PyTorch 框架
工作职责
负责构建和优化面向动作生成的多模态大模型架构，探索文本、视觉信号、3D 动作序列等模态的深度融合与对齐
负责研究多模态场景下，高维、连续3D动作数据的Tokenization 方法
负责探索多模态动作大模型 Scaling Law，包括数据量、参数量级、计算量等，通过模型规模化提升生成能力
负责探索多模态对齐大模型，支持语音、文本、动作等多模态对齐，未来进一步支持多模态实时输出
负责探索任意角色动画生成，可对任意角色与骨架均能生成自然的动画
负责探索、研发动捕精修大模型，可对动捕过程各类噪声自动去除，达到精修品质
负责探索环境感知的交互动画生成，支持角色与物体、场景、其他角色的交互，确保生成交互动作的合理性
优先资格
具备 3D 骨骼动画或人体运动学（IK/FK, SMPL 等人体参数化模型）相关经验者优先
具备人体物理仿真（如 PhysX, Isaac Gym, MuJoCo）或基于强化学习的动作控制经验者优先
在 CVPR、ICCV、ECCV、SIGGRAPH 等顶会发表过高质量论文，或在相关开源项目、算法竞赛中获得优异成绩者优先
具备极强的论文复现与改进能力，能够敏锐捕捉大语言模型、视频生成领域的最新技术并将其迁移至动作生成领域
AI 洞察
优缺点分析
优点
- 依托丰富的业务场景和算力资源，能接触到业界最前沿的多模态大模型技术
- 岗位技术壁垒高，顶会论文和开源项目经验能得到充分施展，个人技术影响力提升快
- 多模态大模型和3D动作生成属于前沿探索领域，技术迭代极快，需要持续阅读和复现最新论文
- 对数学、物理仿真及深度学习综合能力要求极高，研发周期长且面临较多技术不确定性
- 适合拥有计算机或AI相关专业硕博学历，在顶会发表过论文，且对3D视觉、动作生成和物理仿真有浓厚兴趣的顶尖算法人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 从算法研究员成长为多模态大模型与3D视觉领域的技术专家或首席科学家
- 带领团队攻克动作生成、物理仿真等前沿技术难题，推动技术在游戏、影视等业务的落地
- 构建和优化面向动作生成的多模态大模型架构，实现文本、视觉、3D动作等多模态融合与对齐
- 研究3D动作数据的Tokenization方法及Scaling Law，通过模型规模化提升生成能力
- 研发动捕精修大模型及环境感知的交互动画生成技术，实现自然、合理的角色动画交互
- 扎实的深度学习理论基础，精通多模态融合架构及Transformer模块设计
- 熟练使用Python和PyTorch，熟悉端到端预训练、SFT、RL微调等流程
- 具备3D骨骼动画、人体物理仿真或强化学习动作控制经验，能复现并改进顶会论文
申请策略
- 提前了解腾讯游戏在AI动作生成、动捕精修等方面的业务落地场景，准备相关的技术分享或Demo展示，以体现对游戏业务的理解
- 重点突出在多模态融合、大模型预训练及微调（SFT/RL）方面的项目经验
- 详细列出在CVPR、SIGGRAPH等顶会发表的论文，或在3D骨骼动画、物理仿真领域的开源项目与竞赛成绩
- 深入学习3D人体参数化模型（如SMPL）及物理仿真引擎（如Isaac Gym、MuJoCo）
- 关注大语言模型和视频生成领域的最新进展，思考如何将其迁移至动作生成任务
面试指南
- 采用STAR法则，结合具体项目背景、技术方案（如Transformer模块设计、RL微调策略）、遇到的技术难点及最终取得的指标提升进行回答
- 对于前沿探索问题，先阐述理论理解，再结合物理仿真或3D视觉的先验知识提出假设和验证思路
- 请详细介绍你设计过的多模态融合架构，以及如何处理不同模态特征的对齐问题？
- 在3D动作数据的Tokenization过程中，你遇到过哪些挑战，是如何解决的？
- 请分享一个你复现或改进顶会论文的经历，你是如何将其迁移到新任务中的？
- 如果要将大语言模型的技术迁移到动作生成领域，你认为核心难点在哪里？
- 复习多模态大模型、3D视觉及强化学习的经典与最新论文，特别是动作生成和物理仿真方向
- 准备好自己的论文和开源项目的技术细节，能够深入推导公式和解释代码实现
职位点评
薪资福利90
成长发展95
工作生活60
使命价值85
薪资福利
90较高
算法研究员岗位薪资极具竞争力，且福利体系完善，能充分满足补偿性动机。
薪资信号偏高 (4千–8万/月)
成长发展
95较高
岗位聚焦多模态大模型与动作生成等前沿技术，提供广阔的技术探索空间和顶会发表机会，发展性极强。
技术前沿前沿/新兴技术
技术栈多模态大模型、Transformer、PyTorch、Tokenization、Scaling Law、SFT、RL、SMPL、Isaac Gym
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式与WLB信息，但算法研究岗通常面临较高的研发压力和前沿技术探索的脑力消耗。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
岗位致力于通过科技革新带来撼动人心的改变，探索AI在动作生成等前沿领域的应用，具有较高的技术使命感。
行业发展高速增长赛道
社会影响中性/一般
使命信号带来美好的、撼动人心的改变
创新程度开拓性创新（行业首创）
Watch Jobs