AI智能体/大模型评测高级工程师

优缺点分析

角色解读

• 技术专家路线：深耕AI评测领域，成为LLM与Agent质量保障的权威专家，推动行业评测标准
• 管理路线：未来可带领评测团队，从技术执行者转向团队管理，负责更大范围的产品质量
• 横向发展：积累AI全栈理解，转向AI产品经理或AI算法工程师，拓宽职业路径
• 负责腾讯自研AI产品（WorkBuddy、CodeBuddy）的质量保障与AI评测，确保模型生成效果和产品稳定性
• 设计并持续演进大语言模型及Agent系统的评测体系，包括模型能力、Agent任务和端到端功能评测，构建Benchmark
• 跟踪业界评测基准（如SWE-bench、HumanEval），结合业务场景进行适配与创新，推动评测算法和标准制定
• 精通Python编程，具备脚本开发和数据处理能力，能够高效编写评测工具
• 深入理解LLM基本原理（Transformer、预训练、微调、RLHF等），熟悉主流评测基准和方法论
• 具备Agent开发或测试经验，掌握ReAct、Function Calling、Tool Use等核心概念
• 加分项：深度学习框架经验（PyTorch/TensorFlow）、评测平台或自动化测试框架开发经验

申请策略

• 在简历和面试中展示对腾讯AI产品（如AI助手、代码助手）的理解，提出评测改进想法
• 关注腾讯技术博客或开源项目，了解公司技术文化，展现匹配度
• 突出Python编程能力和数据处理经验，展示相关项目或开源贡献
• 强调对LLM评测基准（如HumanEval、MMLU）的理解和实践，例如参与过类似评测任务
• 如果有Agent开发或测试经历，详细描述在ReAct、Function Calling等方面的具体工作
• 提及任何评测平台或自动化测试框架的开发经验，以及从评测数据中提取洞察的案例
• 深入学习业界主流评测基准的原理和实现，如SWE-bench、AgentBench，尝试复现或改进
• 掌握深度学习框架（PyTorch/TensorFlow），提升模型调试和实验能力

面试指南

• STAR法则：描述情境(Situation)、任务(Task)、行动(Action)、结果(Result)，特别是分析问题、设计评测方法和改进效果
• 技术深度结合业务：先解释核心概念（如Benchmark设计原则），再联系腾讯产品实际场景，展示落地能力
• 批判性思考：指出当前评测方法的不足，并提出创新点，体现主动性和专业性
• 如何设计一个评测方案来衡量一个LLM在代码生成任务上的表现？
• 谈谈你对SWE-bench的理解，它主要评测什么？有哪些局限性？
• 如果你发现Agent在执行任务时频繁失败，你会如何分析原因并优化评测指标？
• 请描述一个你使用Python进行数据分析和可视化的项目，重点说明从数据中得出了什么结论
• 为什么选择AI评测方向？你对这个领域的未来有什么看法？