快手
多模态训练数据质量专家-音视频方向
多模态训练数据质量专家-音视频方向
发布于 6 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Aigc评测
Clip
Llm
Lora
Pytorch
多模态
视频质量评估
评测体系
值不值得投
71综合评分
综合评分 71
技术前沿、成长性强的大厂AI质量岗位，但WLB信息不明，适合技术驱动型人才。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
35K
与人工智能中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2420 个在招 · 其中人工智能 34 个
市场机会
选择面较广
北京 · 人工智能 · 约 490 个在招
职位详情
关于这个职位
这是一个专注于大模型及AIGC生成内容（如文生视频、文生图）质量评估的岗位
你需要负责设计并落地可复现、可驱动迭代的评测体系与工具链，为模型的质量优化和上线决策提供关键的量化数据支持，工作内容深入技术前沿，具有很高的系统性要求
最低要求
学历：本科及以上学历，计算机、电子信息、人工智能、信号处理、通信工程等相关专业
基础知识与技能：深度学习框架：了解 PyTorch，能完成模型训练、微调（LoRA/SFT）与推理的基本流程
评测方法论：了解视频质量评价（VQA）、AIGC 内容质量评估的主观/客观方法体系，了解 ITU-R BT.500 等主观实验标准者加分
多模态理解：了解视觉-语言模型（VLM）的基本原理与评测方法，对多模态特征编码（CLIP/BLIP 等）有认知
工程化能力：了解 Docker容器化部署、vLLM 推理加速，能基于 FastAPI/Flask 搭建简单服务者优先
工作职责
评测体系设计：设计生成/增强内容（视频、图像）的多维度主观/客观质量评价框架，涵盖技术质量、语义一致性、运动合理性、安全性等维度
制定评测指标体系（PLCC/SRCC/KROCC、BLEU/ROUGE、人工评分维度与量表等），建立可横向对比的基准线
参与主观评测实验流程设计（评测员招募与培训、维度解释与对齐、过程质控、数据清洗），确保主观数据的可靠性
评测数据与工具链建设：协助构建和维护标准化评测数据集，覆盖多场景、多模型、多维度的标注样本
参与开发自动化客观评测模型（基于多模态特征编码 + LLM 评分的评测算法），实现模型输出的规模化评估
参与搭建评测平台（批量推理 → 自动评分 → 结果聚合 → 可视化看板），支撑日常评测和版本对比
模型效果评估与迭代驱动：对内部/外部大模型进行系统性质量评测，输出结构化评测报告与模型对比结论
建立"评测 → 归因 → 反馈 → 迭代"闭环，将评测结论转化为可执行的模型优化建议
安全性与合规评测：参与设计生成式模型的安全评测方案，覆盖内容安全、幻觉检测、对抗性输入等维度
参与大模型备案/合规评测相关数据准备与报告输出
前沿评测方法研究：跟踪 AIGV/AIGC 质量评价、大模型评测领域的最新学术进展与开源工具
探索基于 LLM-as-Judge、主动学习、成对比较等新范式的高效评测方法，降低人工标注成本
优先资格
在 VQA/AIGC 质量评价领域有学术论文发表（CVPR/ICME/ACM MM/Displays 等）
有 AIGC 模型评测竞赛获奖经历（如 NTIRE、CVPR Workshop 等）
熟悉 RAG 评测框架（Ragas、LangSmith）或 Agent 效果评估方法
有大规模主观评测实验（评测员组织、数据采集与清洗）的参与经验
了解大模型安全评测与合规备案基本流程
有相关实习经历或国家级重点研发项目参与经验
AI 洞察
优缺点分析
优点
- 直接参与前沿AIGC技术的质量保障，技术方向热门且重要
- 在大平台负责核心质量体系，能接触到大规模数据和模型，视野开阔
- 需要平衡主观评测的人力成本与客观评测的技术实现，工作复杂度高
- 作为“裁判”角色，需要与模型团队紧密沟通并提供有说服力的结论，对软技能有一定要求
- 适合对AI质量评估有浓厚兴趣、具备扎实深度学习基础、并希望建立系统化方法论的技术型求职者
缺点 / 挑战
- 工作具有很强的系统性设计和技术挑战，对个人能力提升有显著帮助
- AIGC技术发展极快，评测方法需要持续跟进和创新，学习压力较大
角色解读
- 技术专家路线：深耕AIGC评测领域，成为质量评估方法论与体系建设的权威
- 技术管理路线：带领评测团队，负责更大范围的质量保障与数据驱动的AI产品体系建设
- 转向模型研发：凭借对模型质量的深刻理解，可能转向模型算法优化或AIGC产品开发
- 为大模型和AIGC生成内容建立科学、系统的质量评测体系，量化评估模型输出质量
- 开发自动化评测工具和平台，提升评测效率与规模，支持模型快速迭代
- 通过深度评测分析，定位模型问题，并输出可执行的优化建议，驱动模型效果提升
- 扎实的深度学习基础，熟练使用PyTorch等框架进行模型理解和实验
- 了解视频/图像质量评价方法及多模态模型（如CLIP）的基本原理
- 具备一定的工程化能力，能够将评测算法部署为服务
- 具备系统性思维，能设计覆盖多维度的评测框架和闭环流程
申请策略
- 研究快手在AIGC和短视频质量方面的公开技术博客或论文，了解其技术栈和关注点
- 准备一个关于如何设计一个AIGC视频生成模型评测体系的思路或方案，面试中可能会深入探讨
- 突出与视频/图像处理、多模态模型、质量评价相关的项目或研究经验
- 强调使用PyTorch进行模型训练、评测或部署的工程实践能力
- 如果有参与过主观评测实验或构建评测流程的经验，务必详细描述
- 系统学习视频质量评价（VQA）的主流方法和标准
- 深入理解CLIP、BLIP等多模态模型的工作原理和评测方式
- 实践使用vLLM、FastAPI等工具链，提升模型部署与服务化能力
面试指南
- 回答评测体系设计问题时，采用“技术指标+主观感知+安全性”的多维度框架来组织思路
- 对于工程问题，按“数据层-算法层-服务层-可视化层”的分层架构来阐述解决方案
- 回答主观评测问题时，强调流程的标准化、评测员管理和数据清洗的重要性
- 请描述你会如何设计一个文生视频模型的质量评测体系？需要考虑哪些维度？
- 如何处理主观评测中评测员之间评分不一致的问题？有哪些质控方法？
- 你了解哪些多模态特征编码方法？它们如何用于内容质量评估？
- 如果让你从零搭建一个模型效果的自动化评测平台，你会考虑哪些模块和选型？
- 谈谈你对LLM-as-Judge（使用大语言模型作为评测器）这种方法的理解和潜在挑战
职位点评
薪资福利70
成长发展90
工作生活45
使命价值75
薪资福利
70中等
职位本身在大型科技公司，且技术要求较高，通常薪资具备市场竞争力，但JD未提供具体薪资信息。
薪资信号未披露（AI估算：2.5–4.5万/月）
成长发展
90较高
岗位直面AIGC、大模型评测等前沿技术领域，技能要求具体且有深度，能提供极佳的技术成长空间。
技术前沿前沿/新兴技术
技术栈PyTorch、LoRA、多模态、CLIP、AIGC评测、LLM、Docker、vLLM
业务类型ambiguous
工作生活
45较低
JD未提及任何关于工作时间、远程办公或WLB的描述，无法判断具体工作节奏和灵活性。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
AIGC是当前科技行业的高速增长赛道，该岗位工作对保障产品质量、推动技术进步有直接价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs