月之暗面
Harness 研究工程师
Harness 研究工程师
发布于 大约 14 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
学历未注明
研究与开发 (研发)
LLM
Trace Analysis
Eval
Multi-Agent
Reward Modeling
AI 估算 · 35k–65k
前沿AI研究岗，技术难度高，市场稀缺，薪资竞争力强。
职位详情
关于这个职位
这个职位专注于探索模型与 Harness（Agent 执行系统）的共同进化，你将亲手构建面向研究的实验平台，打通 Harness 与模型训练之间的反馈链路，并跟踪复现前沿 Agent 研究
适合兼具强研究品味和工程实践能力，深度使用过各类 Agent 产品的顶级黑客
最低要求
兼具强研究品味和工程实践能力：能从复杂、嘈杂、非结构化的 Agent 失败中抽象出可验证假设，设计实验，控制变量，分析结果，并判断某个机制是模型能力问题、harness 设计问题、数据问题还是评测问题
能亲手搭实验系统、写 harness prototype、跑 benchmark、分析 trace、构造 eval、接入工具环境，而不是只停留在论文阅读或概念讨论
熟悉 LLM、harness 以及 eval 的核心概念，包括 Agent Loop、Tool Use、Context Engineering、Memory、Multi-Agent、Evals、Graders、reward modeling、trace analysis 等
是顶级的 Agent Hacker：深度使用过 Claude Code、Codex、Devin、Cursor、Pi 等 Agent / Assistant 产品，擅长通过工程与 Prompt Engineer 的手段深入研究其实现方式，并获得一手的洞察
工作职责
研究 Model-Harness co-evolution：探索模型能力如何反过来改变 harness 设计，例如模型自生成工具、自动选择上下文、动态规划子任务、主动请求观测、学习错误恢复策略，以及在多轮任务中形成稳定的工作习惯
构建面向研究的 harness 实验平台：围绕 prompt、tool schema、memory、context policy、planner / executor、multi-agent、reflection、self-debugging、human feedback 等变量做系统化 ablation，衡量它们对长程任务完成率、稳定性、可恢复性和成本的影响
打通 harness 与模型训练 / post-training 的反馈链路：从 Kimi Work / Kimi Agent 的真实任务中提炼失败模式、偏好信号、工具使用轨迹、环境交互数据、grader / reward 信号，转化为可用于模型改进的数据、eval 和研究假设
跟踪并复现前沿 Agent 研究与系统：包括 autoharness， meta-harness，dynamic workflow 等，将其中真正有效的机制转化为 Kimi Agent 与 Kimi Work 的实验原型和产品化路径
优先资格
在开源社区有 Agent research、eval harness 或自动化实验平台相关作品，或发表过相关论文 / 技术报告
AI 洞察
优缺点分析
优点
- 站在AI Agent技术最前沿，参与定义人机协作的新范式
- 公司（月之暗面）处于快速成长期，技术氛围浓厚，资源支持充足
- 工作内容兼具研究深度和工程落地，技能积累价值高
- 有机会将研究成果直接转化为Kimi产品能力，影响力大
- 需要同时具备顶尖的研究思维和工程能力，门槛极高
- Agent领域尚未成熟，问题非结构化，需要很强的自主探索和容错能力
- 工作强度可能较大，研发节奏快，需在不确定中持续迭代
缺点 / 挑战
- 适合对AI Agent有极致热情，喜欢挑战复杂问题，既能在论文中汲取灵感又能动手写代码的研究型工程师
角色解读
- 从Harness研究员成长为Agent系统架构师，领导下一代Agent基础设施设计
- 深入模型训练与评估闭环，转向AI研究科学家或AI工程VP方向
- 在开源社区建立影响力，成为Agent领域技术KOL
- 探索模型能力如何改进Harness设计，实现自生成工具、动态规划等
- 构建实验平台，系统化消融分析prompt、tool schema、memory等变量对长程任务的影响
- 从真实Agent任务中提炼失败模式、偏好信号，转化为模型改进数据
- 跟踪并复现前沿Agent研究，将有效机制产品化
- 强研究品味：能从复杂失败中抽象假设并设计实验验证
- 工程实践能力：亲手搭建实验系统、写prototype、跑benchmark、分析trace
- 熟悉LLM、Agent核心概念：Agent Loop、Tool Use、Context Engineering、Memory、Multi-Agent、Eval等
- 深度使用过主流Agent产品（Claude Code、Codex、Devin等），擅长通过prompt engineering研究其实现
申请策略
- 在申请材料中展示你对Model-Harness co-evolution的独特见解，提出一个具体的改进方向
- 关注月之暗面的技术博客和Kimi产品动态，面试中展现你对其现有Agent系统的理解
- 突出在Agent、LLM或自动机器学习领域的研究项目或工程成果
- 展示你如何设计实验、控制变量、从失败中提炼洞察的具体案例
- 如果参与过开源Agent项目（如AutoGPT、LangChain等），请附上链接
- 强调你对主流Agent产品的深度使用经历和独特发现
- 深入学习Agent相关论文（ReAct、Reflexion、Toolformer等），并动手复现核心机制
- 熟悉至少一个实验性Agent框架（如LangGraph、CrewAI），尝试构建自定义Harness
面试指南
- STAR法则：阐明情境、任务、行动和结果，突出你的分析和实验设计能力
- 对比分析：在回答技术问题时，展示你对不同方法的理解（例如对比几种memory机制）
- 数据驱动：用具体的实验结果、指标或案例支撑你的观点，避免空泛
- 请描述一次你从Agent失败中抽象出可验证假设并设计实验的经历
- 如何设计一个消融实验来比较不同context policy对长程任务完成率的影响？
- 谈谈你对Model-Harness co-evolution的理解，以及你认为最重要的一个研究方向
- 你如何评估一个Agent系统的稳定性？请给出具体指标
- 你深度使用过哪些Agent产品？它们的设计有何优缺点？
匹配度报告
71
综合匹配度
顶尖AI Agent研究岗，前沿技术栈、发展空间巨大，但WLB存疑，适合技术狂人。
适合人群
最适合追求极致技术成长和前沿研究挑战的求职者，愿意为突破性机会接受一定的工作强度。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利70
成长发展95
工作生活40
使命价值80
薪资福利匹配
70中等
该职位薪资竞争力强（B轮AI公司高级岗位），但未明确披露具体福利，部分满足补偿性动机。
薪资信号未披露（AI估算：35K-65K/月）
成长发展匹配
95较高
该职位处于AI Agent前沿，研究内容极具挑战性，技能成长空间巨大，且有机会参与产品化，发展性动机得到高度满足。
技术前沿前沿/新兴技术
技术栈LLM、Agent、Harness、Eval、Tool Use、Context Engineering、Memory、Multi-Agent、Reward Modeling、Trace Analysis
业务类型ambiguous
工作生活匹配
40较低
职位描述未提及工作模式或WLB，且AI创业公司通常强度较大，生活化动机满足程度较低。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值匹配
80较高
AI Agent领域处于高速增长赛道，工作内容具有技术创新和社会影响力，但具体使命描述不多，意义感动机满足度较高。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs