荣耀
AI平台工程师-评测基建
AI平台工程师-评测基建
发布于 17 小时前普通员工/个人贡献者
全职员工仅现场办公平台工程
平台工程
Go
Llm
分布式系统
值不值得投
75综合评分
综合评分 75
前沿AI评测平台开发，技术挑战高、成长机会好，但WLB信息不明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.3万
比平台工程中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 200 个在招
市场机会
选择适中
深圳 · 平台工程 · 14 个在招
职位详情
关于这个职位
该职位负责设计和开发AI评测平台，构建集评测任务调度、数据管理、标注平台和结果分析于一体的一站式系统，支持大规模评测任务的并发执行
同时参与构建自动化评测数据生成引擎和基于LLM的评测模块，以及Trace链路追踪与智能归因系统，以提升AI模型的质量和稳定性
最低要求
本科及以上学历，计算机相关专业，5年以上后端或平台开发经验
精通Python/Java/Go中至少一门语言，具备扎实的API设计与数据库设计能力
熟悉分布式系统相关技术，有消息队列（Kafka/RabbitMQ等）、缓存（Redis等）、容器化部署（Docker/K8s）的实际应用经验
工作职责
负责AI评测平台的整体架构设计与核心功能开发，构建集评测任务调度、数据管理、标注平台、结果分析及可视化报表于一体的一站式评测系统
支持大规模评测任务的并发执行、异步处理和失败重试机制，保障平台稳定性
参与构建评测数据生成引擎，利用大模型/Agent能力自动化生成评测脚本、评测数据集及对抗性测试用例
建设评测数据中台，实现多模态数据集（文本、图片、音频等）的版本管理、存储与检索
参与开发基于LLM-as-a-Judge的自动化评测模块，将主观质量、安全性、逻辑一致性等软性指标转化为可配置的LLM裁判模型，并设计校验与校准机制保障评判准确性
参与建设端到端Trace链路追踪与智能归因系统，对AI请求的全链路（用户输入→意图识别→模型推理→结果生成）进行埋点与透视，开发异常检测与自动归因分析能力，精准定位质量波动根因
优先资格
对AI/大模型（LLM）有较深的开发或应用经验优先
有LLM-as-a-Judge、AI评测平台、MLOps平台建设经验者优先
能够积极敏捷的拥抱AI者优先
AI 洞察
优缺点分析
优点
- 深入参与AI评测前沿技术，如LLM-as-a-Judge，积累稀缺经验
- 在AI质量保证领域建立专业优势，行业需求增长快
- 加入知名公司平台，有机会接触复杂项目和资源
- 需要处理大规模并发任务，系统稳定性和性能要求高
- AI评测的准确性和校准是技术难点，可能需要持续优化
- 技术栈更新快，需保持学习以跟上AI领域发展
- 适合有后端开发经验、对AI技术感兴趣、喜欢解决系统架构问题的工程师，希望深入AI质量保证领域
缺点 / 挑战
- 构建大规模分布式系统，技术挑战高，有利于技能提升
角色解读
- 从平台开发工程师成长为AI基础设施专家，专注于评测和MLOps领域
- 参与更广泛的AI质量保证系统建设，向技术架构师方向发展
- 有机会领导团队或负责核心模块，向技术管理岗位晋升
- 设计和开发AI评测平台的整体架构，构建支持大规模任务调度的系统
- 参与开发自动化评测数据生成引擎，利用大模型技术创建测试用例
- 构建基于LLM-as-a-Judge的自动化评测模块，确保评测准确性
- 建设Trace链路追踪和智能归因系统，用于定位AI模型质量问题
- 精通Python/Java/Go等编程语言，具备扎实的API和数据库设计能力
- 熟悉分布式系统技术，有Kafka、Redis、Docker/K8s的实战经验
- 对AI/大模型有较深理解，能应用LLM进行评测和开发
- 具备系统架构设计能力，能处理高并发和复杂数据流程
申请策略
- 研究荣耀公司的AI战略和产品，了解评测平台在业务中的作用
- 准备系统设计案例，展示如何构建高并发、可扩展的评测系统
- 面试时强调对AI的热情和敏捷学习能力，体现积极拥抱AI的态度
- 突出后端开发项目经验，尤其是分布式系统设计和API开发
- 展示AI相关项目或学习经历，如LLM应用、评测系统开发
- 强调使用过消息队列、缓存、容器化等技术的实战案例
- 提及参与过平台或MLOps系统建设的项目
- 学习LLM评测技术和MLOps工具，如评测框架和数据管理
面试指南
- 使用STAR法则，结合具体项目经验，说明背景、任务、行动和结果
- 从系统设计角度，分层描述架构组件（如任务调度、数据管理、监控），并强调扩展性和可靠性
- 针对AI相关问题，结合技术原理（如LLM工作流程）和实际应用案例进行回答
- 如何设计一个支持大规模并发任务的AI评测平台？请描述关键组件和架构
- 你如何使用LLM-as-a-Judge进行自动化评测？有哪些校准机制？
- 在Trace链路追踪中，如何实现智能归因分析以定位质量波动根因？
- 请描述你过去构建分布式系统的经验，如何确保系统稳定性？
- 你对AI评测平台的未来发展趋势有什么看法？
职位点评
薪资福利75
成长发展85
工作生活60
使命价值80
薪资福利
75中等
该职位在知名科技公司，可能提供有竞争力的薪资和福利，但JD未披露具体信息。
薪资信号未披露（AI估算：2.5千–4万/月）
成长发展
85较高
该职位涉及前沿AI评测技术，如LLM-as-a-Judge和分布式系统开发，提供高技术成长机会。
技术前沿前沿/新兴技术
技术栈LLM、AI评测、分布式系统、Kafka、Redis、Docker、K8s
业务类型ambiguous
工作生活
60中等
JD未提及工作模式、WLB或办公灵活性信息，无法判断具体生活方式。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
AI评测是AI质量保证的关键环节，属于高速增长的AI赛道，具有技术前瞻性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs