混元Agent评测Infra工程师（北京/上海/深圳）

优缺点分析

角色解读

• 在AI基础设施方向深耕，成长为评测平台架构师或技术负责人，主导更大规模的系统设计
• 横向拓展到AI平台其他领域（如训练平台、推理平台），成为全栈AI基础设施专家
• 深入理解AI模型评估方法论，向算法团队过渡或成为AI评测领域的专业顾问
• 负责设计并实现大规模AI评测的底层基础设施，包括沙盒环境、任务调度和并发控制，确保评测流程稳定高效
• 从Harness和打分逻辑入手，保障评测结果的准确性和可观测性，建立问题诊断和归因机制
• 深入理解Benchmark考察的模型能力维度，作为算法与工程团队之间的桥梁，推动评测需求落地
• 精通至少一门主流后端语言（Python/Go/Java），具备中大型平台或系统的设计与落地能力
• 熟悉容器化与沙盒隔离、分布式系统、任务调度与并发控制，有大规模任务编排或性能优化经验
• 熟悉网络通信与代理机制，能处理外部接口访问与稳定性问题，具备跨团队协作和问题推进能力

申请策略

• 面试前可了解腾讯混元大模型的技术架构和评测方案，思考当前评测体系的痛点
• 准备好系统设计面试，针对评测平台场景设计高并发、高可用的架构方案
• 突出参与过的大规模平台或系统的设计与落地经历，体现系统设计和工程实现能力
• 强调容器化、任务调度、分布式系统优化等具体项目经验，最好有数据或效果对比
• 展示跨团队协作案例，说明如何推动多方需求落地
• 补充或加深对主流容器编排（Kubernetes）和任务调度框架（如Airflow、Argo）的理解
• 提前了解大模型评测常见Benchmark（如MMLU、HumanEval）和评测流程，准备相关知识

面试指南

• 对于系统设计问题，采用分层架构思路，先明确需求（功能/非功能），再划分模块（调度、沙盒、存储、监控），最后讨论关键设计（一致性、容错、扩展性）
• 对于问题排查类，使用STAR原则：情境、任务、行动、结果，突出分析过程和系统性方法
• 对于与算法协作的场景，强调主动沟通、技术翻译能力，以及将模糊需求转化为具体工程方案的能力
• 如何设计一个支持大规模并发评测任务的调度系统？
• 如何保证评测结果的可复现性和准确性？你会采取哪些措施？
• 描述一次你解决复杂分布式系统问题的经历，你是如何定位和修复的？
• 如果你需要为多个算法团队提供评测平台，你会如何设计API和资源隔离？
• 你对大模型评测有哪些了解？你觉得当前评测体系有哪些挑战？