智能体测评开发工程师-CodeBuddy/WorkBuddy

优缺点分析

角色解读

• 可向AI评测专家方向深耕，成为智能体质量保障领域的权威
• 也可转型为AI产品研发工程师，参与智能体核心功能开发
• 未来发展可向技术管理（Tech Lead）或架构师方向晋升
• 构建数据驱动的智能体评测体系，设计自动化数据流水线以生成高质量评测用例
• 研发分布式自动化评测平台，支持多模型多版本并行对比，提升评测效率
• 针对智能体核心能力（如长上下文理解、工具调用）设计评测模块和量化指标
• 通过根因分析驱动产品优化闭环，将评测指标与产品核心数据关联
• 精通Java或Go，具备扎实的数据结构和算法基础
• 有高并发分布式系统开发经验，熟悉微服务、容器化和CI/CD
• 深入理解软件全生命周期，能设计贴合实际需求的评测场景
• 对AI技术有浓厚兴趣，了解大模型、RAG、Agent等原理

申请策略

• 在简历中体现技术方案设计能力，最好附上开源项目或技术博客链接
• 了解腾讯CodeBuddy/WorkBuddy产品背景，面试时体现对业务的理解
• 突出分布式系统开发经验，尤其是高并发、微服务、容器化项目
• 强调自动化测试或质量保障平台建设经历，用量化成果体现价值
• 展示对AI技术的理解，如大模型评测、RAG或Agent相关项目经验
• 补充大模型、RAG、Agent的基础知识，了解主流评测指标（如BLEU、ROUGE）
• 熟悉CI/CD工具链（如Jenkins、GitLab CI），提升工程化能力

面试指南

• 先明确业务场景和核心目标，再拆解技术模块（数据生成、执行引擎、指标计算），最后考虑扩展性和性能
• 从工程可行性、准确性、效率三个角度分析，结合具体技术选型（如消息队列、容器编排）
• 请设计一个智能体的自动化评测方案，需要考虑哪些维度？
• 如何实现一个支持多模型并行评测的分布式调度引擎？
• 对于代码生成任务，如何设计评测指标？如何确保评测结果的可靠性？
• 在处理大规模评测数据时，如何优化数据流水线的性能？
• 你如何理解智能体能力（如工具调用、任务拆解），如何量化评估？
• 复习分布式系统设计（如一致性哈希、负载均衡）和常用中间件（Kafka、Redis）