长鑫存储
AI评测主任工程师-AI Evaluation Staff Engineer(J21420)
AI评测主任工程师-AI Evaluation Staff Engineer(J21420)
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Llamaindex
Nlp
Rag
大语言模型
数据标注
智能Agent
自动化评测
值不值得投
74综合评分
综合评分 74
聚焦大模型评测前沿技术，业务价值明确，成长空间广阔，工作强度适中偏上。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
2.8万
比人工智能中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 1900 个在招 · 其中人工智能 22 个
市场机会
选择面较广
合肥 · 人工智能 · 66 个在招
职位详情
关于这个职位
负责大语言模型、RAG及智能Agent的全维度评测体系建设，通过搭建自动化测试流水线与专项评估基准，量化评估模型能力与业务适配性
需独立编写Python脚本执行回归测试并输出分析报告，协同算法与业务团队推动模型迭代优化，助力半导体场景下的AI技术落地
最低要求
教育背景与专业知识：本科及以上学历，计算机、AI、NLP、软件工程等相关专业，熟悉大语言模型、RAG、智能Agent的基本原理，具备NLP评测基础认知，可清晰阐述评测集与基准（Benchmark）的构建逻辑，掌握知识工程、向量检索、检索召回、大模型幻觉治理的相关基础原理
专业技能：可熟练使用Python编写评测脚本，掌握LangChain、LlamaIndex等主流框架，可独立完成RAG全流程评测任务，具备评测数据集标注、样本构建的实践经验
工作经验：三年及以上AI评测相关工作经验，有完整的RAG项目评测落地经验，可独立完成评测方案设计、实施与分析报告输出，有半导体/工业领域相关评测经验、大模型后训练/微调全流程参与经验者优先
能力要求：逻辑严谨、工作细致，可从业务场景出发拆解评估维度、设计针对性测试用例，输出可落地的评测分析报告，有Agent评测、工具调用评测、多模态评测经验者优先
工作职责
评测体系构建与管理：主导大语言模型、智能Agent的全维度评测体系搭建，对齐半导体业务场景需求，设计、标注并动态迭代多场景评测数据集，覆盖知识问答、逻辑推理、工具调用、行业知识检索等核心能力维度，可量化评估模型与Agent的能力优劣、业务适配性
RAG评测基准搭建与专项评估：面向半导体领域检索增强生成（RAG）场景，搭建行业化RAG评测基准，设计检索准确率、召回精度、答案相关性、幻觉率、事实一致性等核心评估指标，完成模型版本效果回归、缺陷定位根因分析
自动化评测流水线搭建与报告输出：设计并维护自动化评测流水线，可独立编写Python评测脚本，执行模型迭代版本的全量回归测试，定期输出结构化评测报告，精准识别模型幻觉、逻辑错误、知识偏差等问题，推动问题闭环
技术迭代与跨团队协同：跟踪业界主流Benchmark（如MMLU、GSM8K、AgentBench、RAGBench等）演进方向，持续优化评测方案、指标与工具链，协同算法、工程、产品及业务团队，将评测结论高效反馈至模型研发、后训练、微调全流程，驱动模型能力与业务效果的闭环优化
优先资格
有半导体/工业领域相关评测经验、大模型后训练/微调全流程参与经验者优先
有Agent评测、工具调用评测、多模态评测经验者优先
AI 洞察
优缺点分析
优点
- 聚焦前沿大模型与RAG技术，技术栈更新快且具备行业稀缺性
- 依托半导体头部企业背景，项目落地场景真实且业务价值高
- 可深度参与模型研发全链路，积累高质量的AI质量保障方法论
- 跨团队协同复杂，需平衡技术指标与业务交付节奏
- 适合具备扎实编程基础与NLP理论功底，追求技术深度且能接受快节奏迭代的AI测试/算法工程师
缺点 / 挑战
- 评测指标体系需高度贴合半导体垂直场景，业务理解门槛较高
- 模型迭代速度快，需持续跟进最新Benchmark与评测工具链，学习压力大
角色解读
- 可向AI模型算法专家或大模型评测架构师方向发展，深入参与模型预训练与微调策略制定
- 逐步承担技术团队负责人角色，主导企业级AI质量保障体系与标准化建设
- 负责大语言模型、RAG及智能Agent的评测体系设计与落地，搭建自动化测试流水线与行业基准
- 独立编写脚本执行全量回归测试，精准定位模型幻觉与逻辑缺陷
- 协同算法与业务团队，将评测数据反哺模型微调与后训练流程
- 精通Python编程与LangChain/LlamaIndex框架，具备扎实的NLP与大模型底层原理认知
- 熟练掌握RAG架构评估指标设计、向量检索机制及幻觉治理方法
- 拥有完整的评测数据集构建、标注与Benchmark对标经验
申请策略
- 提前研究长鑫存储的业务布局与技术栈，准备针对半导体场景的评测方案设计思路
- 面试时携带过往评测报告或开源Benchmark优化案例，直观体现专业度
- 重点突出Python自动化评测脚本开发经历及LangChain/LlamaIndex实战案例
- 详细展示RAG项目中的指标设计、数据构建与缺陷定位过程
- 量化说明评测体系对模型效果提升的具体贡献值
- 强化大模型幻觉检测、向量数据库性能调优及Prompt工程相关技能
- 补充MLOps与CI/CD流水线集成经验，提升自动化测试覆盖率
- 系统学习半导体行业知识或工业场景数据处理规范
面试指南
- 采用STAR法则（情境-任务-行动-结果）结构化回答项目背景与个人贡献
- 针对技术问题，先阐明评估维度的设计逻辑，再说明工具链选型依据，最后用量化数据证明效果提升
- 强调跨部门协作中的沟通机制与问题闭环流程
- 请详细描述你设计过的一个完整RAG评测体系，包含哪些核心指标？
- 遇到模型幻觉问题时，你是如何通过数据或代码定位根因的？
- 如何平衡自动化评测效率与人工标注的准确性？
- 面对快速迭代的模型版本，你的回归测试流水线是如何保证稳定性的？
- 复习LangChain核心组件、向量检索原理及常见Benchmark（如MMLU、RAGAS）的评估逻辑
职位点评
薪资福利75
成长发展85
工作生活60
使命价值70
薪资福利
75中等
合肥地区AI技术岗薪资处于市场中上水平，结合半导体行业特性与岗位要求，薪酬福利体系较为完善。
薪资信号未披露（AI估算：2.0千–3.5万/月）
成长发展
85较高
岗位直接对接大模型与RAG前沿技术，提供完整的评测体系搭建与模型迭代参与机会，技术成长路径清晰。
技术前沿前沿/新兴技术
技术栈Python、LangChain、LlamaIndex、RAG、大语言模型、智能Agent、NLP
业务类型ambiguous
工作生活
60中等
JD未明确提及办公模式与加班政策，实际工作节奏需以入职沟通为准。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
岗位致力于提升AI模型在半导体垂直领域的可靠性与安全性，具有明确的产业赋能价值与技术落地意义。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
长鑫存储 的其他在招职位
相似职位推荐
Watch Jobs