大模型算法评测工程师-抖音研发（北京/杭州/深圳/上海）

优缺点分析

角色解读

• 在评测领域深耕，成为大模型评测专家，主导评测体系建设
• 横向拓展到模型训练、推理优化等方向，成为全栈大模型工程师
• 向技术管理方向发展，领导评测团队或算法团队
• 设计和研发大模型（LLM/VLM）的评测体系，支持模型迭代与业务场景验证
• 构建业务域场景的评测能力，确保模型在具体应用中的效果和可靠性
• 开发分布式评测框架与平台，实现大规模、高效率的评测流程
• 可视化评测结果，为团队提供数据驱动的决策支持
• 扎实的计算机基础，精通Python等编程语言，熟悉分布式系统
• 深入理解大模型原理，掌握主流评测框架如Bigbench、Harness、OpenCompass
• 具备业务理解能力，能将技术评测与业务需求结合
• 良好的沟通协作能力，能与算法、产品、业务等多团队配合

申请策略

• 关注字节跳动技术博客，了解其大模型战略和评测实践
• 面试前准备一个完整的评测方案案例，体现系统设计能力
• 突出大模型相关的项目经验，尤其是评测工作
• 强调使用过的评测框架（如Bigbench、Harness等）和具体成果
• 展示分布式系统开发能力，如大数据处理、高并发框架
• 量化业绩，如评测效率提升、模型性能指标改善等
• 熟悉当前主流大模型（如GPT、Llama、Qwen等）的评测方法
• 学习开源评测工具的使用和二次开发

面试指南

• 对于设计题：先明确评测目标，再选指标，然后讲数据、流程、平台，最后讨论局限性
• 对于改进题：指出当前框架不足，结合业务场景提出具体优化方案
• 对于问题定位：强调数据验证、交叉分析、A/B测试等方法
• 请设计一个大模型在对话场景下的评测方案，包括指标和流程
• 你如何理解Bigbench的评测框架？如果让你改进一个方面，你会怎么做？
• 遇到评测结果与业务反馈不一致时，如何定位问题？
• 分布式评测中如何保证数据一致性？请举例说明
• 你如何看待当前大模型评测的局限性？有什么改进想法？