智谱
27届校招 GLM-Code Agent算法工程师
27届校招 GLM-Code Agent算法工程师
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Ai Agent
Code Agent
Llm
Swe-Bench
自动化评测
值不值得投
74综合评分
综合评分 74
前沿大模型Agent评测岗，技术成长强，薪资福利与WLB信息未披露。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较职业起点。
薪资怎么样
4.0万
比算法优化工程师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
48 个在招
市场机会
选择面较广
北京 · 算法优化工程师 · 约 360 个在招
职位详情
关于这个职位
这个岗位面向GLM Code Agent，负责设计并优化Agent Harness、搭建自动化评测框架与Benchmark，分析执行轨迹并定位问题，推动模型和产品迭代
适合对大模型Agent机制、评测实验和工程落地都有兴趣的校招生
最低要求
熟悉大语言模型及AI Agent的基本原理，理解任务规划、工具调用、上下文管理、多轮交互、记忆机制和错误恢复等机制，能够分析其对评测结果的影响
深度参与过Agent Harness、自动化评测框架、Benchmark建设或复杂Agent核心模块开发，能够独立完成评测任务接入、实验设计、执行分析及问题排查
熟练掌握Python，具备扎实的软件开发与调试能力，熟悉Linux、Git及常见构建测试工具，能够搭建和维护真实代码任务的运行与验证环境
具备较强的实验设计、数据分析和问题归因能力，能够控制实验变量，识别结果波动、环境异常及评测方法偏差，并通过实验验证判断
理解复杂任务和长程Agent的评测难点，关注任务成功判定、运行稳定性、执行成本及结果可复现性，能够设计具有区分度的任务和指标
熟悉AI编程工具或CLI Agent的使用与运行方式，能够结合执行轨迹、工具接口及上下文组织方式分析问题
具备超出日常工具使用层面的开发或评测实践
工作职责
设计与优化分层Harness
根据评测目标，搭建用于观察模型基础能力的极简Harness，以及面向Coding等复杂任务、集成工具链与环境反馈的完整Harness，评估不同配置对任务表现的影响
建设自动化评测框架
支持多模型、多Harness、多Benchmark的统一接入与对比，完善任务调度、环境隔离、执行记录、结果汇总及失败重试等能力，提升评测的稳定性与可复现性
接入与构建评测基准
接入SWE-bench、Terminal-Bench等内外部Benchmark，并结合真实开发需求构建代码理解、缺陷修复、功能开发、构建测试及长程任务等评测场景
设计评测指标与判定方法
围绕任务完成质量、执行效率、工具使用、指令遵循及运行稳定性等维度，结合可执行测试、规则校验和必要的人工复核，提升评测结果的可信度
开展执行轨迹分析与问题归因
定位规划失败、工具误用、上下文遗忘、指令偏移及异常恢复失败等问题，通过对照与消融实验，区分模型能力、Harness设计、工具接口、运行环境及任务数据的影响
推动评测结果形成优化闭环
围绕自研类Copilot CLI产品，验证上下文管理、工具配置、记忆机制、执行策略等改进效果，沉淀回归用例、高质量轨迹及训练数据，为模型训练、数据优化和产品迭代提供依据
优先资格
熟悉SWE-bench、Terminal-Bench、OSWorld、WebArena等Agent Benchmark，有任务构建、评测适配、结果复现或基准质量改进经验
熟悉Agent Runtime、沙箱、容器化执行、并发调度、权限管理、状态恢复或执行过程监控，有自动化评测基础设施建设经验
深度参与过Code Agent、AI编程工具、Browser/GUI Agent、Deep Research Agent或通用工作Agent的核心开发，具备真实复杂任务优化经验
具备大模型后训练、Agent强化学习、工具调用训练或轨迹数据构造经验，能够将评测发现转化为训练与数据优化方案
有Agent Harness、评测框架、Benchmark、开发者工具等相关开源项目、论文或产品落地经历
AI 洞察
优缺点分析
优点
- 直接参与GLM Code Agent前沿方向，技术栈覆盖LLM、Agent、评测框架与真实软件工程场景
- 岗位同时涉及Harness设计、自动化评测、轨迹归因和产品闭环，能力积累复合度高
- 需要同时理解模型能力、Agent机制和工程环境，问题归因链条长、排查成本高
- 评测体系建设依赖细致实验与工程落地，工作可能涉及大量调试、复现和数据处理
- JD未披露薪资福利与WLB信息，实际体验需面试确认
- 适合对LLM Agent、Code Agent和评测工程有强烈兴趣，愿意做深入实验与工程闭环的校招候选人
缺点 / 挑战
- 校招即接触核心模型与产品迭代，成长密度和项目可见度较高
角色解读
- 可沿大模型Agent算法/评测专家方向发展，深入Harness、Benchmark与Agent Runtime
- 也可转向Code Agent产品算法、模型后训练与强化学习、开发者工具等方向，成长路径较宽
- 围绕GLM Code Agent，设计极简与完整Harness，用于观察模型基础能力和复杂Coding任务表现
- 搭建自动化评测框架，接入多模型、多Benchmark，并维护任务调度、环境隔离、执行记录与失败重试
- 分析Agent执行轨迹，定位规划失败、工具误用、上下文遗忘等问题，并通过对照/消融实验做归因
- 把评测结论沉淀为回归用例、高质量轨迹和训练数据，推动模型、Harness及Copilot CLI产品迭代
- 理解LLM与AI Agent原理，包括任务规划、工具调用、上下文管理、记忆机制和错误恢复
- 具备Agent Harness、自动化评测框架或Benchmark建设的实际经验，能独立做实验设计和问题排查
- 熟练掌握Python，熟悉Linux、Git及构建测试工具，能搭建真实代码任务的运行验证环境
- 具备实验设计、数据分析和归因能力，能控制变量并识别评测偏差
申请策略
- 关注智谱GLM与Code Agent产品动态，面试中能结合具体产品谈评测与优化思路
- 投递时注明27届校招身份，并准备实习/项目中的Agent评测案例
- 突出LLM/AI Agent相关项目，说明你理解的规划、工具调用、上下文管理和错误恢复机制
- 写清Agent Harness、评测框架或Benchmark建设经历，量化任务规模、指标设计和复现效果
- 展示Python工程能力与Linux/Git/构建测试经验，最好有真实代码任务运行验证环境
- 如有SWE-bench、Terminal-Bench、OSWorld等评测经验，或开源项目/论文，务必单独列出
- 补强Agent评测实验设计：变量控制、消融实验、执行轨迹分析和失败归因方法
- 熟悉容器/沙箱、并发调度和可复现实验环境，提升评测基础设施落地能力
面试指南
- 用“目标-方案-实验-结果”结构回答：先明确评测目标和变量，再说明Harness/框架设计，最后用数据证明效果
- 归因类问题可按“模型-工具-上下文-环境-数据”分层排查，强调对照实验和可复现记录
- 项目题突出个人贡献、技术难点、量化指标和复盘改进
- 如何设计一个分层Harness来评测Code Agent的基础能力和复杂任务能力？
- 搭建多模型、多Benchmark自动化评测框架时，你会如何保证稳定性与可复现性？
- Code Agent执行失败时，如何区分是模型能力、Harness设计、工具接口还是环境问题？
- 你如何设计评测指标，避免任务成功判定偏差？
- 介绍一个你参与过的Agent/评测/开源项目，说明你的具体贡献和优化效果
职位点评
薪资福利58
成长发展90
工作生活60
使命价值85
薪资福利
58较低
JD未披露薪资和福利，补偿性动机只能待offer确认；北京校招算法岗的吸引力需结合最终薪酬包判断。
薪资信号未披露（AI估算：3.0千–5.0万/月）
成长发展
90较高
岗位处于LLM Agent与Code Agent前沿，覆盖Harness、评测框架、轨迹归因和产品闭环，技术成长密度高。
技术前沿前沿/新兴技术
技术栈LLM、AI Agent、Code Agent、Harness、Benchmark、SWE-bench、Terminal-Bench、Python、Linux、Git、沙箱、容器化、强化学习
业务类型ambiguous
工作生活
60中等
JD未提及办公模式、弹性或加班安排，通勤与WLB信息不足，需在面试中确认。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
Code Agent与自动化评测是大模型应用前沿，工作能直接推动模型和开发者工具进步，行业前景明确。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs