智谱
GLM-Code Agent算法评测工程师
GLM-Code Agent算法评测工程师
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Ai Agent
CI/CD
Code Agent
Go
Llm
容器化
自动化评测
值不值得投
70综合评分
综合评分 70
前沿AI Agent评测岗，技术成长强，薪资福利与WLB需面谈确认。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.3万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 280 个在招
市场机会
选择面较广
北京 · 人工智能 · 约 700 个在招
职位详情
关于这个职位
该岗位围绕 GLM-Code Agent 框架与评测体系展开，参与 Agent 核心能力开发，设计真实开发任务与工具链基准，并搭建自动化评测平台
你会通过数据分析定位 Agent 失败模式，输出诊断与产品优化建议
最低要求
框架开发经验：具备AI Agent框架或复杂开发工具链的实际开发或深度迭代经验，熟悉其架构设计与核心模块
深度用户视角：拥有一年以上深度使用AI编程工具（如 Cursor、Copilot、Claude Code等）进行实际项目开发或大规模代码重构的经验，对其工作流与局限性有切身理解
扎实的工程能力：
熟练掌握 Python 及至少一门系统级语言（如 Go/Rust/TypeScript），具备独立负责关键模块的设计与实现能力
具备优秀的软件工程素养，熟悉设计模式、代码规范与自动化测试
评测与数据思维：具备强大的逻辑思维与数据分析能力，能够从复杂交互中抽象出可量化的指标与科学对比实验方法
工作职责
Code Agent 框架开发与迭代：参与公司自研或开源Code Agent框架的设计、开发与迭代，优化其代码理解、工具调用、多轮交互、记忆管理及任务规划等核心能力
评测体系与基准构建：面向主流Code Agent（如 Claude Code、Roo Code、Cline等）及自研框架，设计并执行系统化评测
构建覆盖真实开发任务、长程多轮交互、完整工具链（构建/测试/部署）的基准测试集
自动化评测框架研发：设计并开发高可扩展的自动化评测平台，支持多Agent并行评测、环境隔离、过程可观测、结果自动化分析与可视化报告生成
评测算法与缺陷挖掘创新：创新评测方法论，通过设计算法自动识别Agent的典型失败模式（如指令偏移、上下文遗忘、测试投机等），并产出可复现的缺陷诊断包与回归用例
深度洞察与产品驱动：基于评测数据与框架开发经验，输出深度分析报告，为Agent框架的优化与产品方向提供可落地的数据洞察与建议
（职位描述原文此处为空）
优先资格
开源经历：在AI辅助开发、开发者工具等领域有活跃的开源项目贡献或独立项目经历，GitHub有高质量公开代码
平台工程背景：具备复杂系统、效能平台或工具链开发背景，熟悉高标准的工程实践与协作流程
评测工程专长：在Benchmark设计、回归测试体系、CI/CD集成、容器化评测等方面有直接经验
产品化思维：能从终端开发者视角出发，将技术洞察转化为清晰的产品优化建议或特性需求
AI 洞察
优缺点分析
优点
- 岗位处在 Code Agent 与 AI 编程工具前沿，技术方向新、成长空间大
- 同时覆盖框架开发、评测体系、平台工程和数据分析，能力栈复合
- 可接触 GLM/Code Agent 自研框架及 Claude Code、Roo Code、Cline 等主流工具
- 开源贡献、平台工程和产品化思维都有发挥空间
- 评测体系与基准需要从0到1搭建，既要懂工程又要懂实验设计
- AI 编程工具生态迭代快，需要持续跟进新框架和新工具
- 适合有 AI Agent/开发工具链工程经验、深度使用 AI 编程工具，并喜欢做评测、数据分析和平台建设的工程师
缺点 / 挑战
- Agent 失败模式复杂，指标抽象和可复现诊断难度较高
角色解读
- 可沿 Agent 框架与评测平台方向成长为技术专家或架构师，主导评测方法论和平台建设
- 积累 LLM/Code Agent 失败模式诊断与基准设计经验，转向 AI 开发者工具产品技术负责人
- 在开源社区和平台工程方面持续输出，提升在 AI 编程工具生态中的影响力
- 参与自研或开源 Code Agent 框架的设计与迭代，优化代码理解、工具调用、多轮交互、记忆管理和任务规划等核心能力
- 面向 Claude Code、Roo Code、Cline 等主流 Agent 与自研框架设计系统化评测，构建覆盖真实开发任务、长程交互和完整工具链的基准集
- 开发可扩展的自动化评测平台，支持多 Agent 并行、环境隔离、过程可观测和结果可视化
- 通过评测算法识别指令偏移、上下文遗忘、测试投机等失败模式，产出诊断包、回归用例和产品优化建议
- 具备 AI Agent 框架或复杂开发工具链的实际开发/深度迭代经验，理解架构与核心模块
- 熟练掌握 Python，并至少掌握 Go/Rust/TypeScript 中一门系统级语言，能独立负责关键模块
- 有一年以上深度使用 Cursor、Copilot、Claude Code 等 AI 编程工具进行项目开发或大规模重构的经验
- 具备评测设计、数据分析、自动化测试和软件工程素养，能把复杂交互抽象为可量化指标
申请策略
- 提前了解智谱 GLM/Code Agent 及主流 AI 编程工具的工作流和局限，面试中展示真实使用体会
- 投递时用一页纸说明你如何设计评测闭环、定位失败模式并推动产品优化
- 突出 AI Agent 框架、工具调用、多轮交互或开发工具链相关模块的开发经历
- 展示深度使用 Cursor、Copilot、Claude Code 等工具进行项目开发或大规模重构的案例与量化收益
- 写明自动化评测平台、Benchmark、回归测试、CI/CD、容器化环境隔离等工程经验
- 附上 GitHub 开源项目、技术博客或失败模式分析报告，证明工程与洞察能力
- 补强 Go/Rust/TypeScript 中至少一门系统级语言，准备可展示的工程项目
- 练习设计 Code Agent 评测基准和失败模式分类体系，形成方法论
面试指南
- 用“问题定义—评测任务集—指标与实验设计—结果分析—回归闭环”的结构回答评测类问题
- 用 STAR 讲清项目背景、你的职责、技术选型、量化结果和复盘
- 平台类问题先讲架构分层（任务调度、环境隔离、过程记录、结果分析），再讲扩展性与取舍
- 如果让你为 Code Agent 设计一套评测基准，你会如何覆盖真实开发任务、长程多轮交互和完整工具链？
- 如何自动识别并量化指令偏移、上下文遗忘、测试投机等失败模式？
- 如何搭建支持多 Agent 并行、环境隔离、过程可观测的自动化评测平台？
- 你深度使用 Cursor/Claude Code 时遇到过哪些局限？你会如何改进？
- 请结合项目说明你如何用 Python 和 Go/Rust/TypeScript 设计可扩展的关键模块
职位点评
薪资福利60
成长发展88
工作生活55
使命价值80
薪资福利
60中等
JD未披露薪资和福利信息，补偿性满足度无法从原文直接确认；建议面试中重点确认薪酬结构和奖金福利安排。
薪资信号未披露（AI估算：3.0千–5.5万/月）
成长发展
88较高
岗位处于AI Agent与Code Agent前沿，兼具框架开发、评测平台和失败模式研究，技术成长与影响力空间较大。
技术前沿前沿/新兴技术
技术栈Python、Go、Rust、TypeScript、AI Agent、Code Agent、LLM、自动化评测、CI/CD、容器化
业务类型ambiguous
工作生活
55较低
JD未说明办公模式、弹性工时或加班情况，生活化动机相关信息不足；工作地点也未明确，需与HR确认。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
Code Agent与AI开发者工具属于高速演进方向，岗位对提升开发效率和推动Agent产品优化有明确价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
智谱 的其他在招职位
相似职位推荐
Watch Jobs