字节跳动
AI算法测试开发专家-豆包手机助手
AI算法测试开发专家-豆包手机助手
发布于 大约 2 个月前普通员工/个人贡献者
北京市
专家级经验
全职员工
仅现场办公
硕士
软件工程
Prompt工程
大模型评测
自动化测试
质量保障
LLM
MLLM
RAG
RLHF
SFT
AI 估算 · 30k–60k
字节跳动大厂，AI测试专家级岗位，技术前沿，薪资竞争力强，参考资深算法工程师水平。
职位详情
关于这个职位
该职位聚焦豆包手机助手产品的AI算法质量保障，负责构建智能化测试体系，应用大模型技术（LLM/MLLM/Agent等）提升测试效率与质量
你将参与大模型评测体系建设，设计评测方案、指标，并开发自动化工具，是技术与质量的交叉前沿岗位
最低要求
硕士学位及以上，计算机、人工智能、统计等相关专业优先
熟悉Transformer、BERT、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理
熟悉LLM、MLLM模型的部署、训练或微调，熟悉大模型评测基准、评测方法
扎实的代码基础，至少掌握一门高级语言，包括Python、C/C++、Java
了解质量保障基础知识，具备良好的视野，善于学习新的知识、阅读论文、动手能力强
良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，逻辑清晰、善于分析与总结，对大模型技术有热情和探索精神
工作职责
聚焦豆包手机助手与产品形态，推动质量风险识别与问题解决，保障产品质量与用户体验
统筹质量保障智能化建设，探索并实践人工智能（AI）/大模型在质量保障领域的应用，提升研发与测试的效率及质量
跟踪大语言模型（LLM）领域最新研究成果，持续优化算法应用效果，研究方向涵盖大语言模型（LLM）、多模态大语言模型（MLLM）、提示词工程（Prompt工程）、检索增强生成（RAG）、智能代理（Agents）、监督微调（SFT）、人类反馈强化学习（RLHF）等前沿技术
大模型业务场景的评测工作与评测体系建设，包括设计、制定及完善评测方案、评测指标，开展评测数据收集与更新、评测执行工作，并输出专业评测报告
参与评测相关自动化工具的开发与维护，最大化提升评测效率
优先资格
有大模型应用建设的经验者优先
有智能化质量提效成功案例的经验者优先
有成功构建AI测试系统、开发AI测试工具或相关项目经验者优先（比如AI Risk Analyse、AI案例、AI Test、AI Code Review等）
在会议（NeurIPS/ACL/CVPR/ICML/EMNLP/IJCAI/AAAI/SIGIR等）发表过论文者优先
AI 洞察
优缺点分析
优点
- 字节跳动平台资源丰富，薪资福利有竞争力
- 工作内容融合质量与AI，独特复合技能积累
- 技术迭代快，需持续学习保持前沿
- 对综合能力要求高，需兼顾算法理解与工程实现
- 适合有AI技术背景、热爱质量保障、乐于探索前沿技术且抗压能力强的求职者
缺点 / 挑战
- 参与前沿AI大模型产品（豆包），技术挑战大，成长迅速
- 测试开发岗位可能面临较大工作压力，加班文化需适应
角色解读
- 在AI测试领域深耕，成为质量保障架构师或AI测试技术专家
- 转向AI算法研发方向，利用测试积累深入模型优化
- 在字节跳动大平台，有清晰的职级晋升通道（技术序列）
- 负责豆包手机助手AI算法的质量保障，包括风险识别、问题解决与用户体验优化
- 构建智能化质量保障体系，利用大模型（LLM/MLLM等）提升研发与测试效率
- 参与大模型评测体系建设，设计评测方案、指标，并执行评测工作
- 扎实的AI理论基础，熟悉Transformer、BERT、Diffusion等模型原理
- 掌握LLM/MLLM部署、训练或微调，了解评测基准与方法
- 熟练使用Python、C/C++、Java，具备良好编程能力
- 具备质量保障意识，善于学习新知识，有论文阅读和动手能力
申请策略
- 深入了解豆包助手产品功能，思考AI测试优化点
- 准备一个完整的AI测试案例，展现问题分析与解决能力
- 突出AI模型项目经验，尤其是LLM/MLLM相关应用或测试
- 强调质量保障与自动化测试成果，如效率提升数据
- 展示论文发表、开源贡献或竞赛获奖
- 系统学习大模型评测方法，如Helm、MMLU等基准
- 补充自动化测试框架（如pytest）和CI/CD知识
面试指南
- 采用STAR法则：情境、任务、行动、结果，突出量化成果
- 从原理到实践：先说明理论依据，再阐述具体实现与工具
- 强调流程闭环：方案设计->执行->反馈->迭代
- 如何为豆包助手设计大模型评测指标体系？
- 描述一个你成功应用AI提升测试效率的案例，并分析收益
- 你对RLHF的理解？如何测试RLHF后的模型？
- 大模型生成文本质量不稳定，你如何设计自动化评估方案？
- 当评测结果与用户反馈不一致时，你如何排查与处理？
职位点评
71
综合评分
字节跳动AI算法测试专家，前沿技术栈，薪资丰厚，但工作强度较大。
更适合这类人
最适合追求技术成长与高薪资的求职者，愿意在快节奏环境中持续学习。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展90
工作生活40
使命价值70
薪资福利
85较高
字节跳动薪资待遇在行业处于领先水平，岗位为专家级，预计年薪可观，但JD未明确福利，整体补偿性较好。
薪资信号偏高 (30K-60K/月)
成长发展
90较高
岗位聚焦前沿AI技术，涉及LLM/MLLM、Agent等，技术发展空间大，同时公司平台提供良好成长机会。
技术前沿前沿/新兴技术
技术栈LLM、MLLM、Transformer、BERT、RAG、Agents、SFT、RLHF、Prompt工程、Diffusion Models
业务类型profit_center
工作生活
40较低
北京现场办公，互联网大厂通常工作节奏较快，JD未提及弹性工作或WLB，生活化满足程度有限。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI行业高速增长，岗位直接贡献于产品体验，具有一定的技术价值，但社会影响力中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs