哔哩哔哩
大模型应用平台研发工程师
大模型应用平台研发工程师
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公平台工程
平台工程
Agent框架
Ai平台
Maas
Rag
分布式系统
大模型应用
模型网关
高并发
值不值得投
82综合评分
综合评分 82
前沿技术平台岗，技术成长性极佳，薪资有竞争力，但对WLB无明确承诺。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4万
比平台工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 610 个在招
市场机会
选择适中
上海 · 平台工程 · 35 个在招
职位详情
关于这个职位
该职位负责哔哩哔哩大模型应用平台的核心研发工作
你需要构建和维护统一的模型即服务（MaaS）与模型网关，并研发Agent应用框架及运行时环境，为内部业务团队提供稳定、可扩展的大模型基础设施，推动AI能力在视频、社区等场景中的规模化落地
最低要求
～8 年研发经验，计算机、软件工程或相关专业背景
熟练掌握 Python，具备良好的编码习惯、代码质量意识和模块化设计能力
熟悉大模型应用开发相关技术栈，具备模型网关、模型服务化、AI 平台或开发者平台相关实践经验
熟悉 Agent 相关技术，包括 LLM 应用、Tool Use／Function Calling、RAG、任务编排和上下文管理，并具备实际项目落地经验
具备扎实的分布式系统设计与开发能力，有高并发、高可用在线服务的建设经验
能够独立完成需求分析、技术方案设计、研发、上线及持续迭代
具备线上问题排查和性能优化经验
工作职责
负责大模型应用平台的设计、研发与持续演进，提供模型即服务（Model as a Service，MaaS）能力
建设并维护统一模型网关，支持多模型接入、服务路由、鉴权、限流、配额、灰度发布及服务治理
负责 Agent 应用框架及运行时的研发与工程化落地，包括工具调用、任务规划、上下文管理、知识检索、多 Agent 编排，以及与业务系统的集成
建设 Agent 应用的开发、调试、评测和可观测能力，持续提升应用效果、运行稳定性和问题定位效率
负责模型训练与评测数据链路建设，包括标注平台及工具研发、标注流程管理、标注规范制定和质量控制
建立“数据标注—模型训练与评测—线上效果反馈”的闭环机制，基于数据和评测结果持续推动模型及应用迭代
与算法、产品及业务团队紧密协作，沉淀标准化、可复用的平台能力，推动大模型在各业务场景中的规模化落地
优先资格
有大模型网关建设经验，熟悉多租户隔离、配额管理、Token 计量、限流、智能路由和灰度发布等核心能力
有 Agent 平台、Agent Runtime、长任务调度或多 Agent 系统的研发经验
有数据标注平台、数据处理工具链、SFT／RLHF 数据处理或模型评测体系建设经验
有 LangChain、Dify、LangGraph、LlamaIndex 等开源框架的二次开发或生产环境使用经验
熟悉 Kubernetes、Ray、vLLM、KServe、Triton等模型部署、推理服务或云原生技术
有模型及 Agent 的成本、延迟、Token 消耗、调用质量和全链路可观测体系建设经验
有大模型应用平台从 0 到 1 建设或大规模生产环境落地经验
AI 洞察
优缺点分析
优点
- 技术栈前沿，深入参与大模型与Agent平台的研发，处于AI技术浪潮核心
- 平台化工作，你的成果将赋能公司多个业务线，产生广泛的技术影响力
- 在超大型企业实践大规模AI应用落地，能积累宝贵的工程化经验
- 技术复杂度高，需要同时兼顾平台稳定性、性能、易用性和业务需求，对架构设计能力要求极高
- 项目涉及多团队协作与标准化推进，对沟通协调能力有一定要求
- 适合具备扎实分布式系统背景、对构建大规模AI应用平台有浓厚兴趣、并希望在AI工程化领域深耕的工程师
缺点 / 挑战
- 作为基础设施开发者，需要持续跟进快速变化的大模型技术生态，学习压力较大
角色解读
- 技术深耕路线：成为大模型平台架构师或AI Infra技术专家，专注于解决超大规模、高性能的AI计算与服务平台挑战
- 管理路线：在带领小团队完成平台建设后，可向技术管理岗位发展，负责更大范围的AI基础设施规划与团队管理
- 行业影响路线：通过在业界领先的平台建设经验，可转向AI领域的技术布道、顾问或更前沿的研发角色
- 设计和构建公司内部的大模型服务基础设施，包括统一的模型网关和模型即服务平台
- 研发Agent应用框架，使其能够稳定、高效地集成到各个业务线中，处理复杂的工具调用和多步骤任务
- 打通数据标注、模型训练、评测和线上效果反馈的完整链路，形成持续优化的闭环
- 精通Python编程，具备高质量、模块化的编码能力
- 深入理解大模型应用技术栈，特别是Agent框架、RAG、模型服务化等实战经验
- 拥有扎实的分布式系统架构与开发经验，能设计和维护高并发、高可用的在线服务
- 具备独立负责项目从技术方案到落地的全流程能力
申请策略
- 在面试中，可以准备一个关于如何设计一个高可用、可扩展的模型网关的思路
- 思考并准备一些关于如何构建“数据-模型-应用”闭环以持续优化AI应用效果的实际案例
- 突出设计和开发模型服务/网关、Agent框架或类似AI平台项目的核心经验与技术成果
- 详细描述在分布式系统设计、高并发服务保障、性能优化方面的具体实践和数据指标
- 如有从0到1搭建内部开发者平台或工具链的经历，务必重点阐述
- 系统学习LangChain、LlamaIndex等主流Agent框架的原理与生产级最佳实践
- 深入理解vLLM、Ray等模型部署与推理框架，以及它们在云原生环境下的应用
- 研究模型评测（Benchmark）与可观测性（Observability）在AI系统中的具体落地方法
面试指南
- 采用“问题-解决方案-技术选型-效果/经验”的结构来回答技术设计问题
- 对于架构类问题，先画出核心模块和交互流程，再解释每个部分的设计考量和权衡
- 准备一个具体项目案例，涵盖从需求分析、方案设计到上线优化的全过程
- 请介绍一个你设计过的模型网关或MaaS平台，其核心架构和关键技术点是什么？
- 在构建Agent应用框架时，你如何解决工具调用可靠性、上下文管理和多轮对话一致性的问题？
- 如何设计一个高效的标注平台，并建立从标注到模型训练再到线上效果验证的数据闭环？
- 面对多业务线不同的模型调用需求，你会如何设计模型网关的服务路由和隔离策略？
- 在大模型应用中，如何监控和优化服务的延迟、成本和质量？
职位点评
薪资福利80
成长发展95
工作生活65
使命价值85
薪资福利
80较高
薪资水平处于市场中上，但福利体系未在JD中详细说明。
薪资信号市场水准 (3千–5万/月)
成长发展
95较高
技术栈处于大模型与平台工程的前沿，有明确的从0到1建设和大规模落地机会，成长性极高。
技术前沿前沿/新兴技术
技术栈大模型应用、MaaS、模型网关、Agent、RAG、Python、Kubernetes、vLLM、LLM
成长机会持续演进、从0到1建设、大规模生产环境落地经验
业务类型profit_center
工作生活
65中等
JD未明确工作模式与福利，但通常此类核心技术岗位需现场办公，对工作生活平衡未作承诺。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
参与构建支撑亿级用户的AI基础设施，推动大模型在内容社区等场景落地，社会价值与行业影响力较高。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号推动大模型能力规模化落地
创新程度积极采用新技术
Watch Jobs