快手
大模型评测工程师
大模型评测工程师
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Aigc
Nlp
Prompt工程
大模型
数据分析
评测
值不值得投
74综合评分
综合评分 74
前沿AI技术岗，技术成长空间大，薪资有竞争力，但工作强度与WLB信息未知。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
28K
比人工智能中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 2000 个在招 · 其中人工智能 6 个
市场机会
选择面较广
北京 · 人工智能 · 约 280 个在招
职位详情
关于这个职位
该职位负责快手公司各类大模型（如大语言模型、文生图、文生视频及多模态模型）的日常评测与评测体系建设
工作内容包括优化评测方案、应用Prompt工程等技术提升评测能力，并参与相关应用的迭代与效果优化，推动先进AI技术在实际项目中落地
最低要求
本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先
熟悉Transformer、DiT、CLIP、VAE、Diffusion Models等生成式AI模型基本原理，对大模型技术有热情和探索精神
具备良好的数据化思维，能够基于数据分析结果给出分析结论
良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识
具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心
工作职责
参与快手大模型（包括不限于大语言模型，文生图模型，文生视频模型和多模态大模型）日常评测工作和评测体系建设
参与评测方案的持续迭代和优化，通过Prompt工程、自训练算法模型、NLP模型等手段，建设提升大模型评测能力
参与快手大模型相关应用的迭代和效果优化，调研行业先进AI技术，并推动落地在实际项目中
与相关上下游团队密切配合，评估模型效果、给出迭代建议、明确优化方向，从评测视角持续帮助模型能力提升
优先资格
有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑
实际参与过AIGC、大模型相关的项目研发优先
熟悉常见模型评测数据集、评测方法，包括但不限于C-Eval、CMMU、MT-bench、MINT、SuperCLUE
AI 洞察
优缺点分析
优点
- 置身于AI技术浪潮前沿，直接接触最前沿的大模型技术与应用
- 在快手这样的大平台，拥有丰富的业务场景和海量数据用于技术实践与验证
- 岗位处于模型迭代的关键环节，能直接影响产品效果，工作成果可见度高
- 能与顶尖的算法、工程团队协作，快速提升个人技术视野与影响力
- 评测工作需平衡客观量化与主观体验，且需要与多个团队高效沟通协调，对综合能力要求高
- 模型效果评估复杂，有时难以用单一指标定义“好”，需要深入理解业务
- 适合对生成式AI技术原理有浓厚兴趣、具备扎实的代码与数据分析能力、注重细节与质量，并乐于通过严谨的测试与评估驱动技术进步的求职者
缺点 / 挑战
- 大模型技术迭代极快，需要持续学习跟进最新论文和方法，知识更新压力大
角色解读
- 技术专家路线：在大模型评测领域深耕，成为评测体系与方法论的专家，引领技术方向
- 算法研发路线：转向大模型的核心算法研发，从评测视角提出并实现更优的模型架构或训练策略
- 技术管理路线：带领评测团队，负责更大规模模型或多个业务线的AI质量保障与优化
- 设计并执行大模型（如LLM、文生图/视频）的评测方案，量化模型能力与缺陷
- 开发和优化评测工具与系统，包括构建评测数据集和自动化评测流水线
- 分析评测数据，与算法团队协作，为模型迭代提供具体、可执行的优化方向
- 跟踪行业前沿AI技术与评测方法，推动新技术在评测与实际业务中的落地应用
- 深入理解Transformer、Diffusion Models等主流生成式AI模型原理
- 掌握Prompt工程技巧，并能应用NLP模型或自训练算法进行评测
- 出色的数据分析能力，能从海量评测数据中提炼结论和洞见
- 严谨的工程实践能力，注重评测流程的质量与效率
申请策略
- 在申请材料或面试中，可以主动分享你对当前大模型评测方法优缺点的思考
- 关注快手在AI领域（如可灵大模型）的最新技术动态和产品发布，了解其技术特点
- 准备好阐述你认为一个好的评测体系应该包含哪些维度和指标
- 突出与AI模型评测、AIGC项目相关的任何经历，即使是个人研究项目
- 展示对至少一种主流大模型（如LLM、Stable Diffusion）评测数据集（如C-Eval、MT-bench）的了解或使用经验
- 强调数据分析能力，例如通过图表或结论展示如何利用数据驱动决策或优化
- 列出相关的技术栈，如Python、PyTorch、Prompt Engineering、NLP相关库等
- 深入学习1-2个主流大模型评测框架（如OpenCompass、AlpacaEval）的原理与使用
面试指南
- 使用STAR法则（情境-任务-行动-结果）来结构化回答项目经验问题
- 回答设计类问题时，可以从“评测目标-评测维度-具体指标-数据来源-分析方法”的框架展开
- 技术原理问题要力求准确，如果不确定可以诚实地说明并阐述自己的理解方向
- 展示你的学习能力和热情，可以提到自己主动尝试的评测实践或阅读的文献
- 请介绍一个你熟悉的模型评测指标（如Perplexity, BLEU, 或人工评估维度），并解释其优缺点
- 如果让你为快手的文生图模型设计一个评测方案，你会考虑哪些方面？如何量化评估结果？
- 你如何看待Prompt Engineering在大模型评测中的作用？请举例说明
- 描述一个你参与过的、与数据分析或模型评估相关的项目，你具体负责什么，遇到了什么挑战，如何解决的？
职位点评
薪资福利70
成长发展85
工作生活60
使命价值80
薪资福利
70中等
作为已上市科技公司的核心技术岗位，通常提供具有市场竞争力的薪酬福利包，能满足基本的经济需求与稳定性预期。
薪资信号未披露（AI估算：20K-35K/月）
成长发展
85较高
该岗位直面AI技术前沿，工作内容涉及大模型原理、评测体系构建与前沿技术落地，对技术深度和广度的提升有显著帮助。
技术前沿前沿/新兴技术
技术栈大模型、Transformer、DiT、CLIP、Diffusion Models、Prompt工程、NLP、AIGC
成长机会参与日常评测工作和评测体系建设、参与评测方案的持续迭代和优化、调研行业先进AI技术，并推动落地
业务类型ambiguous
工作生活
60中等
JD中未明确提及办公模式或Work-Life Balance相关信息，工作地点需线下办公，工作节奏可能与项目迭代周期相关。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与构建能衡量和推动顶尖AI能力的系统，工作成果能直接服务于产品优化，对推动AI技术进步和用户体验提升有直接贡献。
行业发展高速增长赛道
社会影响中性/一般
使命信号从评测视角持续帮助模型能力提升
创新程度积极采用新技术
Watch Jobs