传音
大模型评测工程师(J17932)
大模型评测工程师(J17932)
发布于 6 小时前普通员工/个人贡献者
全职员工仅现场办公NLP工程
NLP工程
Asr
Nlu
Prompt Engineering
Pytorch
Tensorflow
Tts
大语言模型
自动化
评测
值不值得投
67综合评分
综合评分 67
前沿AI评测岗位，技术成长空间大，薪资福利未披露，WLB待确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
2.8万
比NLP工程中位数低
发布情况
新岗位 · 今天发布
公司情况
公司还在招多个职位
4 个在招
市场机会
选择适中
上海 · NLP工程 · 28 个在招
职位详情
关于这个职位
该职位负责大语言模型及语音识别、语音合成、自然语言理解等模块的评测体系构建，包括效果评估、功能验证和边界测试
需要设计自动化评测工具，分析模型性能瓶颈，并与团队协作推动算法优化
工作重点是通过评测驱动模型迭代，提升产品性能
最低要求
计算机、人工智能、语言学等相关专业本科及以上学历，3年以上模型评测经验
精通ASR/TTS/NLU领域评测指标（如WER、MOS、BLEU、ROUGE、意图识别准确率等）
熟悉PyTorch/TensorFlow框架，熟练使用Python及主流评测工具（如ESPnet、Fairseq）
具备全链路评测能力，包括测试方案设计、数据构造、自动化脚本开发、结果分析
良好的规划和协作能力
工作职责
负责大语言模型（LLM）及ASR（语音识别）、TTS（语音合成）、NLU（自然语言理解）等模块的评测体系构建，包括效果评估、功能验证、边界场景测试等
设计多维度评测方案，制定自动化评测工具开发策略，提升评测效率与覆盖率
深入分析模型输出结果，定位性能瓶颈并提出优化建议，推动算法迭代
与算法、产品、数据团队协作，输出可量化的评测报告，指导模型部署与应用
持续跟踪行业最新评测方法（如Prompt Engineering、红队测试等），探索创新评测范式
优先资格
有开源项目评测经验（如Whisper、VITS、BERT系列模型）
熟悉多语种/方言/领域垂类模型评测
英语能作为工作语言
AI 洞察
优缺点分析
优点
- 工作处于AI技术前沿，能接触大语言模型等最新技术栈
- 评测工作对模型性能提升有直接影响，成就感较强
- 需要跨团队协作，有助于拓宽技术视野和业务理解
- AI模型迭代快，需持续学习新评测方法和行业动态
- 评测标准多样且可能不统一，需要较强的分析和定义能力
- 性能优化涉及复杂技术，可能面临调试和定位难题
- 适合对AI技术有热情、注重细节、擅长分析问题，并希望在大模型应用领域深耕的求职者
缺点 / 挑战
暂无明显挑战项
角色解读
- 可深入成为AI评测领域专家，专注于前沿模型测试方法
- 转向算法研发或产品管理，利用评测经验推动产品优化
- 积累团队协作经验后，可能担任技术负责人或项目经理
- 构建大语言模型及语音、自然语言处理模块的评测体系，确保模型效果和功能可靠
- 设计自动化评测方案和工具，提升测试效率并覆盖更多边界场景
- 分析模型输出结果，定位性能问题并提供优化建议，推动算法迭代
- 与跨职能团队协作，输出评测报告以指导模型部署和应用
- 精通ASR、TTS、NLU等领域的评测指标和标准
- 熟练使用Python、PyTorch/TensorFlow等编程和深度学习框架
- 具备全链路评测能力，包括测试设计、数据构造、脚本开发和结果分析
- 良好的沟通协作能力和项目管理技能
申请策略
- 在简历中强调与算法、产品团队协作的实例，展示沟通和推动优化的能力
- 研究传音在AI或大模型领域的业务方向，面试时体现对公司的了解和兴趣
- 突出3年以上模型评测相关经验，特别是大语言模型或语音、NLP模块的评测项目
- 列举精通的评测指标（如WER、MOS、BLEU）和工具（如ESPnet、Fairseq）
- 展示Python编程能力和自动化脚本开发案例，体现全链路评测技能
- 提及参与开源项目评测或多语种评测的加分项
- 深入学习Prompt Engineering、红队测试等前沿评测方法，提升技术创新能力
- 加强多语种或领域垂类模型评测知识，以适应可能的业务拓展需求
面试指南
- 使用STAR法则（情境、任务、行动、结果）来结构化回答项目经验问题，突出个人贡献和成果
- 强调对评测指标和技术的深度理解，并结合实际案例说明应用效果
- 展示学习能力和创新思维，说明如何将前沿方法引入工作以提升效率
- 你如何构建一个大语言模型的评测体系？请举例说明
- 请描述一个你通过评测发现模型性能瓶颈并推动优化的案例
- 你对WER、MOS等评测指标有何深入理解？如何在实际工作中应用？
- 如果让你设计一个自动化评测工具，你会考虑哪些要素？
- 你如何跟踪和学习最新的AI评测方法，如红队测试？
职位点评
薪资福利60
成长发展85
工作生活50
使命价值75
薪资福利
60中等
JD未明确薪资和福利信息，补偿性动机满足程度有限。
薪资信号未披露（AI估算：2千–3.5万/月）
成长发展
85较高
职位涉及前沿大模型评测技术，技能成长空间大，但JD未提及明确晋升路径或培训。
技术前沿前沿/新兴技术
技术栈大语言模型、ASR、TTS、NLU、Python、PyTorch、TensorFlow、Prompt Engineering
业务类型ambiguous
工作生活
50较低
JD未提及办公模式、工作时间或WLB相关信息，生活化动机无法判断。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
AI是高速增长赛道，技术应用具有创新性，但JD未强调社会影响或公司使命。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs