大模型与Agent评测基础设施算法工程师-Commercial AI

优缺点分析

角色解读

• 在评测基础设施领域深耕，成为大模型质量保障与自动化评估的技术专家
• 横向扩展至AI Infra或模型训练平台，参与更广泛的AI系统架构设计
• 向技术管理方向发展，带领团队建设更完善的评测体系
• 设计和实现大模型与Agent的评测流水线，将评估方案转化为稳定可执行的系统
• 开发并维护Judge、Sandbox等关键组件，支持大规模实验的自动化执行与结果追溯
• 与研究员协作，拆解评估需求为任务定义和监控指标，平衡研究创新与系统稳定性
• 扎实的Python编程能力和系统设计能力，能构建高可用、可观测的后端服务
• 熟悉大模型、Agent或评测平台开发，有复杂Pipeline或仿真环境经验
• 重视代码质量与工程落地，能跨团队推动复杂项目

申请策略

• 在简历中明确体现对评测基础设施长期建设的热情，并准备相关的技术方案思考
• 了解字节跳动AI评估方向的产品（如豆包），思考其评测挑战
• 突出Python后端开发经验，尤其是大型系统或平台建设的项目
• 强调大模型、Agent或评测相关项目经历，包括开源贡献
• 展示系统设计能力，如可扩展性、稳定性、可观测性方面的实践
• 补充大模型API调用、Agent框架（如LangChain）的使用经验
• 学习任务编排系统（如Airflow、Prefect）和容器化技术（Docker、K8s）

面试指南

• 针对系统设计问题，可遵循需求分析、架构选择、关键组件（如Judge、Sandbox）、扩展性考量等步骤展开
• 对于排查问题，强调日志系统、监控指标、链路追踪的具体方法
• 对于平衡问题，可以提出解耦设计、配置化、灰度机制等策略
• 如何设计一个可扩展的大模型评测流水线？
• 如何保证评测结果的可复现性和可追溯性？
• 面对评测任务失败，排查思路是什么？
• 如何平衡研究需求与系统稳定性？
• 你参与过哪些AI相关系统的工程化落地？