字节跳动
语音/多模态大模型算法工程师（Speech/Omni/Agent方向）-火山方舟MaaS
语音/多模态大模型算法工程师（Speech/Omni/Agent方向）-火山方舟MaaS
发布于 1 天前普通员工/个人贡献者
杭州市
中级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
NLP
强化学习
LLM
语音
AI Agent
智能座舱
多模态大模型
Multi-Agent
AI 估算 · 40k–60k
大模型前沿技术岗，市场需求高，字节跳动薪资竞争力强，杭州生活成本适中，综合薪资水平较高。
职位详情
关于这个职位
该职位主要负责研发语音、语言、视觉多模态一体化大模型，以及AI Agent系统，推动技术在智能座舱、智能客服等场景落地
需要具备多模态大模型、LLM和Agent项目经验，适合追求技术前沿的算法工程师
最低要求
计算机科学、电子信息工程、自动化、人工智能等相关专业背景，硕士学位/博士学位优先
具备多模态大模型、语音语言模型或大语言模型（LLM）的研发经验和深入理解
熟悉AI Agent系统设计与工程实现，工具调用、复杂推理、任务规划、多智能体协同或基于反馈学习的Agent行为对齐方面有实际项目经验者优先
具备良好的工程实现能力，熟悉大模型训练、推理、评测与部署链路，有模型效果优化、性能优化或系统稳定性建设经验者优先
工作职责
参与研发语音、语言、视觉多模态一体化（Omni）端到端大模型，探索跨模态原生融合与低延迟实时交互体验
负责大模型在复杂企业生产场景下的任务规划、工具调用（Tool Use）、长文本/长音频处理及多智能体（Multi-Agent）协同系统的构建与架构优化
推动多模态大模型、AI Agent及语音生成/理解技术在企业级关键场景中的应用落地，如智能座舱、智能客服、生产力工具、沉浸式陪伴等，实现技术价值转化
深入调研并攻克语音、NLP、多模态、强化学习及大模型Agent等领域的前沿技术难题
优先资格
在领域国际会议或期刊发表过高水平论文者优先，如NeurIPS、ICML、ICLR、CVPR、ACL、Interspeech、ICASSP等
有开源大模型、多模态系统、Agent系统或语音智能项目核心贡献经验者优先
对企业、生产力场景中的模型能力、工程效率、成本控制与稳定性有经验者优先
AI 洞察
优缺点分析
优点
- 技术前沿：从事多模态大模型和AI Agent方向，处于AI领域最热门赛道
- 平台优势：字节跳动提供海量数据和算力资源，技术氛围浓厚
- 薪资竞争力：大模型人才稀缺，薪资水平在行业内处于高位
- 应用落地：有机会将技术直接转化为实际产品，影响力大
- 技术难度大：多模态和Agent系统复杂，需要持续学习和突破
- 适合热爱技术、追求前沿创新、抗压能力强、希望在AI大模型领域深耕的算法工程师
缺点 / 挑战
- 工作强度较高：互联网大厂技术迭代快，可能需要加班赶项目
- 竞争压力：同为顶尖人才聚集，内部晋升和绩效竞争激烈
角色解读
- 技术深耕：成为多模态大模型或AI Agent领域的专家，主导核心技术突破
- 架构升级：从算法工程师晋升为技术Leader，负责团队技术方向与项目架构
- 业务拓展：深入理解企业场景，转型为技术产品经理或解决方案架构师
- 研发语音、语言、视觉多模态一体化大模型，优化跨模态融合和实时交互体验
- 构建和优化AI Agent系统，包括任务规划、工具调用、多智能体协同等
- 将多模态大模型和Agent技术落地到智能座舱、智能客服等企业场景
- 跟踪前沿技术，攻克语音、NLP、强化学习等领域难题
- 扎实的多模态大模型、LLM或语音语言模型研发经验
- 熟悉AI Agent系统设计，包括工具调用、推理规划、多智能体协同等
- 良好的工程能力，掌握大模型训练、推理、评测与部署全链路
- 有模型效果优化、性能优化或系统稳定性建设经验
申请策略
- 申请时附上个人技术博客或GitHub链接，展示对技术的热情和深度
- 关注字节跳动火山方舟MaaS平台，了解其产品方向，面试中结合业务思考
- 突出多模态大模型、LLM或语音相关的项目经验，包含模型架构、训练细节和效果
- 强调AI Agent系统设计经验，如工具调用、任务规划或多智能体协同案例
- 展示工程能力：大模型部署、推理优化、性能调优等具体成果
- 如有顶会论文或开源项目贡献，务必重点列出
- 补充强化学习在Agent中的应用，如PPO、RLHF等
- 熟悉大模型训练框架（如Megatron、DeepSpeed）和推理优化（如vLLM、TensorRT）
面试指南
- STAR法则：描述情境、任务、行动和结果，突出技术难点和你的贡献
- 结构化思考：先给出总体思路，再拆解为关键模块，结合具体实例
- 对比分析：不同技术方案优劣对比，体现深度思考
- 请介绍你参与过的一个多模态大模型项目，包括模型架构、训练数据和效果
- 如何设计一个AI Agent的规划与工具调用模块？请举个例子
- 大模型推理时延优化有哪些方法？针对语音多模态场景有什么特殊考虑？
- 请解释一下RLHF在语言模型中的应用，如何扩展到多模态Agent？
- 你在多智能体协同系统中遇到过哪些挑战？如何解决的？
职位点评
76
综合评分
前沿多模态大模型研发，高薪资高成长，工作强度较大，适合技术狂热者。
更适合这类人
最适合追求技术前沿、高薪资、愿意在压力下快速成长的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
字节跳动作为互联网大厂，薪资水平高，福利完善，该职位属于核心算法岗，补偿性动机得到较好满足。
薪资信号未披露（AI估算：40K-60K/月）
成长发展
90较高
该职位从事前沿的多模态大模型和AI Agent研发，技术栈新，成长空间大，发展性动机非常强。
技术前沿前沿/新兴技术
技术栈多模态大模型、语音、NLP、LLM、AI Agent、强化学习、Tool Use
业务类型ambiguous
工作生活
50较低
工作地点固定，未提及灵活办公，互联网大厂工作强度较高，生活方式支持一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
AI行业高速增长，多模态技术具有广阔应用前景，推动技术落地有较强意义感，但社会影响力中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs