服务端资深工程专家

优缺点分析

角色解读

• 在技术深度上，可以成为 Agent 评测基础设施领域的专家，主导更复杂的系统架构设计和性能优化
• 在业务广度上，可以深入理解大模型能力评估方法论，向算法评测专家或技术管理岗位发展
• 在团队影响力上，通过沉淀工程标准和平台能力，可以成长为技术负责人，带领团队构建更完善的评测体系
• 负责将 SWE、Terminal、MCP 等多种 Agent Benchmark 集成到统一的评测平台，设计标准化、可复用的接入方案，避免重复建设
• 构建评测运行的核心基础设施，包括沙盒环境、依赖管理、网络访问控制和并发调度，确保大规模评测任务在生产环境稳定、可复现地运行
• 从 Harness 和打分逻辑层面保障评测结果的准确性和可信度，并建立完善的诊断与问题归因机制
• 作为算法团队与工程团队之间的桥梁，深入理解各 Benchmark 考察的模型能力，推动评测需求高质量落地，并沉淀工程标准供多团队复用
• 精通 Python/Go/Java 等至少一门主流后端语言，具备扎实的编码和系统设计能力
• 深入理解容器化（如 Docker、Kubernetes）、沙盒隔离、分布式系统、任务调度与并发控制，有大规模任务编排或性能优化实战经验
• 熟悉网络通信与代理机制，能够处理外部接口访问和系统稳定性问题
• 了解大模型与 Agent 基本原理，熟悉主流 Agent Benchmark 的 Harness 与打分逻辑，能与算法团队进行深度技术对话

申请策略

• 在申请材料中，可以表达对 Agent 评测领域技术挑战的深入思考，展现对该方向的热情和见解
• 了解小米小爱同学的业务方向和技术布局，在面试中展示你如何将自身经验与团队目标结合
• 突出主导或深度参与的中大型平台/系统设计与落地项目，重点描述系统架构、技术选型和解决的工程难题
• 详细展示在容器化、沙盒隔离、分布式调度、性能优化等方面的具体实践经验，最好有量化数据支撑
• 如果有构建评测平台、实验平台或类似基础设施的经验，务必作为核心亮点呈现
• 提及对大模型和 Agent 技术的理解，以及熟悉的主流 Benchmark，展现技术前瞻性
• 系统学习主流 Agent Benchmark（如 SWE-bench、Terminal-Bench）的 Harness 和打分逻辑，理解其设计原理
• 补充学习 LLM-as-judge 等评测方法论，提升对评测体系整体认知

面试指南

• 对于系统设计类问题，可以采用 STAR 原则，先明确需求背景和约束，再阐述架构选型与权衡，最后总结效果与反思
• 对于技术理解类问题，可以结合具体 Benchmark 的 Harness 代码或论文，从设计目的、实现机制和工程化难点三个层面展开
• 对于协作类问题，可以强调你如何理解算法团队的诉求，并通过标准化、抽象化的工程手段满足其需求
• 请介绍一个你主导设计的中大型平台或系统，重点谈谈架构设计思路和遇到的挑战
• 如何设计一个支持大规模、高并发、可复现的评测任务调度系统？
• 谈谈你对 SWE-bench 或 Terminal-Bench 等 Benchmark 的理解，以及如何将它们的 Harness 工程化
• 在沙盒环境中，如何保障网络访问的安全性、隔离性和稳定性？
• 如何确保评测平台中打分结果的准确性和可观测性？你会如何设计诊断和归因机制？