大模型路由与评测工程师

优缺点分析

角色解读

• 技术方向：成为AI基础设施专家，负责更大规模模型编排和推理优化
• 管理方向：晋升为AI平台团队技术Leader，主导下一代模型服务架构
• 横向发展：向AI产品经理或数据科学家转型，深入业务场景
• 设计和实现智能路由策略，根据任务类型选择最合适的模型，平衡效果和成本
• 搭建模型及Agent的评测数据集和评分器，通过自动化回归测试保障模型质量
• 分析线上数据和离线实验结果，优化路由策略和模型选型决策
• 开发灰度实验和可解释性机制，确保路由结果可追踪和回滚
• 精通Python，具备扎实的数据处理和工程实现能力
• 深入理解大语言模型原理，包括Prompt、Embedding、Agent等核心概念
• 熟悉模型评测方法论，能设计科学实验并处理数据偏差
• 具备系统架构思维，能搭建可扩展的评测和路由框架

申请策略

• 在面试中强调对效果和成本平衡的理解，展示系统化思考能力
• 了解米哈游的业务方向（如游戏AI、虚拟世界），思考如何应用大模型提升体验
• 突出Python项目经验，尤其是数据处理和实验框架搭建相关
• 展示对大模型的理解，如使用过LangChain、LlamaIndex等框架完成Agent任务
• 强调评测相关经验，如设计过测试集、对比不同模型效果、分析过模型偏差
• 如果有路由或推荐系统经验，务必详述
• 熟悉至少一个评测框架（如EvalScope、Langfuse），掌握其设计思路
• 动手运行一些公开评测基准（如SWE-bench、GAIA），理解评测流程

面试指南

• 对于开放设计题，先明确目标和约束（效果、成本、延迟），再分模块阐述（路由策略、评测体系、迭代机制）
• 对于问题分析题，采用假设驱动，列举可能原因，并说明如何验证（如A/B测试、错误分析）
• 对于经验题，使用STAR法则（背景、任务、行动、结果），突出严谨性和方法论
• 请描述你设计一个模型路由系统的思路，需要考虑哪些维度？
• 如何评估一个LLM在特定任务上的表现？你会选择哪些指标？
• 如果发现模型A在评测中得分高但线上表现差，可能是什么原因？
• 请举例说明你如何处理实验中的样本偏差问题
• 你对Agent的评测有哪些方法？如何处理长程任务的不确定性？