字节跳动
LLM Agent基础架构工程师-TRAE
LLM Agent基础架构工程师-TRAE
发布于 大约 6 小时前普通员工/个人贡献者
杭州市
中级经验
全职员工
仅现场办公
本科
分布式系统
基础设施
LLM
Ide
代码补全
大模型调度
AI 估算 · 25k–40k
大厂核心AI产品，技术难度高，薪资竞争力强，参考字节跳动同级市场水平。
职位详情
关于这个职位
这是一个在字节跳动旗下AI编程产品TRAE团队的核心后端及基础架构岗位
你将负责构建支撑代码补全、生成、测试等AI场景的后端系统，并建设大模型接入与调度基础设施，深度参与Coding Agent的工程化落地，解决高并发、低延迟等挑战
适合对AI Agent和开发者工具有热情、追求技术前沿的工程师
最低要求
本科及以上学历，计算机相关专业，3年以上后端研发、基础架构研发或平台系统研发经验
具备扎实的软件开发基本功，熟练掌握Golang、Java、Python、C++中至少一种编程语言
具备优秀的后端架构设计和工程交付能力，能够独立设计并落地高可用、高并发、可扩展的平台型系统，熟悉缓存、队列、异步任务、限流、熔断、降级、灰度发布、可观测性、成本治理等基础能力
深入理解LLM应用研发技术栈，熟悉主流大模型及API的能力边界和工程化特点，了解模型路由、流式输出、工具调用、Prompt Caching、Rate Limit、上下文窗口、Token计费、结构化输出等机制
具备Agent应用开发或优化经验，理解Agent Loop、任务分解、多轮工具调用、上下文构造、状态管理、失败恢复、结果验证、Tracing、实验评估等核心机制，能够端到端分析和优化Agent应用效果
熟悉AI IDE/Coding Agent相关场景，对代码补全、代码生成、代码检索、测试执行、PR生成、开发者工作流等场景有实践经验或深入理解
能够针对低延迟高频请求和长任务Agent请求设计差异化的系统架构与优化策略
工作职责
负责TRAE IDE/Coding Agent核心后端系统研发，支撑代码补全、代码理解、代码生成、测试生成、任务执行等AI编程场景，持续提升开发者在IDE内的端到端AI体验
建设大模型接入与调度基础设施，负责多模型接入、模型能力抽象、模型路由、Streaming、Function Calling/Tool Calling、长上下文、降级容灾、限流治理、成本优化等能力，支持不同AI IDE场景下的差异化模型调用策略
建设Coding Agent所需的工程基础设施，包括Agent Runtime、Harness Engineering、Context Engineering、Prompt管理、实验平台、AB测试与Tracing体系，支撑Agent的任务编排、工具调用、上下文构造、执行链路追踪、效果评估和持续优化
面向Agent范式下的特殊流量模式进行系统优化，重点解决代码补全等低延迟高频请求，以及Chat/Agent长任务中的高并发模型调用、流式响应、多轮工具调用、请求取消/重试、模型限流排队、Token成本和商业化计费等问题
优先资格
有AI IDE、Coding Agent、LLM Gateway、Agent Runtime、Prompt管理平台、LLM Tracing、实验平台、代码补全、商业化计费等系统建设经验
对相关产品或框架有深入使用和工程理解
AI 洞察
优缺点分析
优点
- 参与业界领先的AI编程产品，技术前沿性强，可深度接触LLM、Agent等热门领域
- 字节跳动大厂平台，资源丰富，技术氛围浓厚，成长空间大
- 薪资待遇优厚，且核心产品团队影响力大，职业履历含金量高
- 工作强度可能较大，需应对快速迭代和高频需求
- 技术栈更新快，需要持续学习AI领域最新进展
- 系统复杂度高，需要同时兼顾性能、成本和稳定性
缺点 / 挑战
- 解决高并发、低延迟等复杂工程问题，技术挑战极大，能快速提升架构能力
- 适合对AI编程和Agent技术有浓厚兴趣、技术功底扎实、追求高难度挑战的后端工程师
角色解读
- 成为AI基础设施领域专家，主导大规模分布式系统设计与优化
- 转向AI产品架构师，从技术层面定义下一代AI编程工具形态
- 向技术管理方向发展，带领团队攻克工程难题并推动技术迭代
- 负责TRAE AI编程产品的核心后端系统设计，支撑代码补全、生成、测试等AI场景
- 建设大模型接入与调度基础设施，优化多模型调用策略、成本及延迟
- 开发Agent Runtime、Context Engineering、Prompt管理等工程平台，支撑Agent任务编排与效果评估
- 针对高频低延迟和长任务Agent请求设计差异化系统架构，解决并发、流式响应、限流等挑战
- 精通Golang、Java、Python或C++，具备高并发、高可用系统设计能力
- 深入理解LLM应用技术栈，熟悉模型路由、流式输出、工具调用等机制
- 有Agent应用开发经验，掌握Agent Loop、多轮调用、状态管理等核心概念
- 熟悉AI IDE/Coding Agent场景，理解代码补全、代码生成等开发工作流
申请策略
- 了解TRAE产品功能与竞品差异，面试时展示对AI编程场景的深入思考
- 准备一个端到端的Agent系统设计案例，体现从需求到架构的完整思路
- 突出后端大规模系统设计经验，特别是高并发、低延迟场景
- 重点展示LLM应用研发经验，如模型接入、流式处理、Agent框架等
- 若有AI IDE或Coding Agent相关项目经验，务必详细描述
- 强调性能优化、成本治理、容灾降级等基础设施能力
- 深入学习主流LLM API与Agent框架（如LangChain、AutoGPT等）
- 动手实践Coding Agent工具（如GitHub Copilot、Cursor、TRAE本身），理解其工作原理
面试指南
- 对于系统设计题，采用“需求分析-核心模块-关键技术-扩展性”的结构，先明确场景和约束，再提出分层或微服务方案
- 对于优化类问题，从瓶颈识别、缓存、异步、并行、降级等角度展开，结合具体数据量衡量效果
- 对于概念理解题，先给出定义，再结合实际工程实践说明权衡点
- 请设计一个支持多模型接入的LLM Gateway，需要考虑路由、限流、降级、计费等功能
- 如何优化代码补全场景下的端到端延迟？请从模型调用、网络传输、缓存等角度分析
- 描述Agent Loop的工作原理，如何处理多轮工具调用中的状态持久化与失败恢复？
- 在大规模Agent应用中，如何评估和优化Token成本？请设计方案
- 针对高并发长任务请求，如何设计异步任务架构并保证可靠性？
匹配度报告
71
综合匹配度
大厂AI核心岗位，前沿技术栈，高薪资高挑战，但工作节奏较快且需现场办公。
适合人群
最适合重视技术成长与挑战、对AI前沿有热情、能接受一定工作强度的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利85
成长发展90
工作生活40
使命价值70
薪资福利匹配
85较高
大厂核心产品，薪资处于行业高位，福利完善，但JD未明确具体福利项。
薪资信号偏高 (25K-40K/月)
成长发展匹配
90较高
岗位涉及AI前沿技术栈（LLM、Agent、IDE），技术挑战大，成长空间广阔。
技术前沿前沿/新兴技术
技术栈LLM、Agent、IDE、大模型调度、Streaming、Function Calling、分布式系统
业务类型profit_center
工作生活匹配
40较低
杭州办公，要求现场办公，且字节跳动普遍工作节奏较快，JD未提及弹性或WLB。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值匹配
70中等
AI编程产品致力于提升开发者效率，具有正向的社会影响力，行业处于高速增长期。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs