阿里巴巴
千问事业部-大模型内容安全算法高级专家-北京
千问事业部-大模型内容安全算法高级专家-北京
发布于 大约 20 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Deepspeed
Llm
Megatron
Pytorch
Rlhf
Sft
内容安全
大模型安全
对抗样本
值不值得投
74综合评分
综合评分 74
大模型安全前沿岗位，技术成长快，但工作强度大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
75K
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2140 个在招 · 其中人工智能 约 160 个
市场机会
选择面较广
北京 · 人工智能 · 约 170 个在招
职位详情
关于这个职位
该职位负责阿里巴巴千问事业部大模型内容安全体系的架构设计与落地，聚焦安全后训练技术路线，通过SFT、RLHF等对齐方法提升模型在风险内容识别、越狱攻击防御等场景的效果
你将主导安全后训练全链路研发，构建自动化风险挖掘与红队测试体系，并跟踪顶会最新进展，确保业务零重大安全事故
适合具备大模型后训练经验、对内容安全有深入理解的技术专家
最低要求
计算机、人工智能、数学等相关专业硕士及以上学历，5年以上算法研发经验
深入理解内容安全、风险建模或审核场景者优先
深入理解大模型后训练全链路，具备SFT、RLHF等后训练与对齐算法的实际落地经验，有从数据处理、奖励模型训练到对齐策略调优的完整项目经验
熟悉CoT、模型蒸馏、参数高效微调（PEFT）等优化方法
具备LLM或VLM的实际研发经验，深入理解训练数据处理、训练与对齐
精通Python，熟练使用PyTorch等深度学习框架及DeepSpeed、Megatron等分布式训练工具
有大模型内容安全、风控、红队测试、对抗样本攻防等相关经验者优先
熟悉越狱攻击、提示词注入、有害输出等安全风险及其防御方法
有通过快速迭代模型或策略解决线上紧急安全问题的实际案例者优先
在NeurIPS、ICML、ICLR、CVPR、ACL、AAAI等顶会/期刊发表过论文，或在Kaggle、ACM等权威竞赛中取得优异成绩者优先
或在业界大模型核心项目中担任核心研发角色者优先
责任心强，抗压能力强，具备优秀的沟通协作与跨部门推动能力
能在高压环境下快速定位问题并输出方案，具备从研究到产品的端到端落地能力
工作职责
负责大模型内容安全防控体系的架构设计与落地，覆盖模型训练、服务上线到内容生成与传播的全链路风险管控
聚焦安全后训练技术路线，通过SFT、RLHF等对齐方法改进安全模型在内容安全场景下的效果，包括大规模数据合成、训练策略优化、自适应推理及可扩展知识注入等
主导大模型安全后训练全链路研发与优化，包括：安全对齐训练数据的设计、合成与质量评估
奖励模型的构建与迭代
SFT/PPO/DPO/GRPO等后训练策略的设计与调优
安全对齐评测体系搭建
通过系统化后训练Pipeline，持续提升模型在风险内容识别、越狱攻击防御、有害意图判别、多轮对话安全等场景的对齐与泛化能力
构建基于大模型能力的自动化风险挖掘与红队测试体系
利用LLM/VLM自动生成对抗样本、合成长尾风险场景，通过自我博弈与持续进化主动发现线上安全盲区与新型攻击模式，实现从“被动拦截”到“主动治理”的转变
搭建分钟/小时级闭环的自动迭代机制，覆盖新增风险的快速响应与模型热更新
建立高危风险内容的快速识别与拦截机制，针对突发舆情或新型攻击，小时级完成策略迭代与模型热更新，确保业务零重大安全事故
保障大语言模型产品、多模态AI应用、搜索推荐等核心业务的内容安全与应用安全
跟踪NeurIPS、ICML、ICLR、CVPR、ACL等顶会在大模型安全对齐、后训练、红队测试等方向的最新进展，持续迭代算法策略，保持技术领先
在团队中发挥技术领军作用，指导核心研发，推动跨团队协作与技术标准化
优先资格
深入理解内容安全、风险建模或审核场景者优先
有大模型内容安全、风控、红队测试、对抗样本攻防等相关经验者优先
在NeurIPS、ICML、ICLR、CVPR、ACL、AAAI等顶会/期刊发表过论文，或在Kaggle、ACM等权威竞赛中取得优异成绩者优先
或在业界大模型核心项目中担任核心研发角色者优先
AI 洞察
优缺点分析
优点
- 阿里巴巴平台资源丰富，技术影响力大
- 薪资待遇优厚，福利完善
- 有机会参与顶会论文发表，提升学术影响力
- 工作强度大，需应对突发安全事件，抗压能力要求高
- 技术难度高，需要持续学习最新研究
- 跨部门协作复杂，需要较强的沟通能力
- 适合对AI安全有浓厚兴趣，具备大模型研发经验，能承受高压，追求技术深度的资深算法工程师
缺点 / 挑战
- 处于AI安全前沿领域，技术挑战大，成长空间广阔
角色解读
- 技术专家路线：深耕大模型安全领域，成为行业权威
- 管理路线：带领团队，负责更大范围的安全体系
- 跨领域发展：向AI安全研究、政策制定等方向发展
- 负责大模型内容安全体系架构设计与落地，覆盖全链路风险管控
- 主导安全后训练全链路研发，包括数据合成、奖励模型、对齐策略调优
- 构建自动化风险挖掘与红队测试体系，实现主动安全治理
- 建立高危风险快速识别与拦截机制，保障业务安全
- 深入理解大模型后训练算法，如SFT、RLHF、PPO、DPO等
- 精通Python和PyTorch，熟悉DeepSpeed、Megatron等分布式训练工具
- 具备LLM/VLM研发经验，熟悉数据处理和模型对齐
- 熟悉内容安全、风控、红队测试、对抗样本攻防等技术
申请策略
- 了解阿里巴巴AI安全团队的业务方向
- 准备展示端到端项目能力的案例
- 突出大模型安全项目经验，如安全对齐、红队测试等
- 强调SFT、RLHF等算法的实际落地案例
- 展示顶会论文或竞赛成绩
- 体现处理紧急安全事件的案例
- 深入学习最新安全对齐技术，如DPO、GRPO
- 熟悉大模型分布式训练优化
面试指南
- 回答时突出项目成果、技术细节和解决问题的能力
- 请介绍你在大模型安全对齐方面的项目经验
- 如何设计一个红队测试体系来发现模型漏洞？
- 面对突发安全事件，如何快速迭代模型？
- 你如何评估安全对齐的效果？
- 谈谈你对大模型安全未来趋势的看法
- 复习大模型安全相关论文
- 准备项目案例，展示端到端落地能力
职位点评
薪资福利80
成长发展95
工作生活40
使命价值70
薪资福利
80较高
该职位薪资水平较高，但JD未提及具体福利，补偿性动机满足度较好。
薪资信号未披露（AI估算：60K-90K/月）
成长发展
95较高
职位处于大模型安全前沿，技术成长空间大，且公司提供顶会跟踪机会，发展性动机满足度高。
技术前沿前沿/新兴技术
技术栈SFT、RLHF、PPO、DPO、GRPO、PyTorch、DeepSpeed、Megatron、LLM、VLM
成长机会跟踪顶会最新进展、技术领军作用
业务类型profit_center
工作生活
40较低
JD未提及工作模式，但岗位要求抗压能力强，可能工作强度大，生活化动机满足有限。
工作模式未明确
办公地点未明确
加班情况JD含高强度暗示词
使命价值
70中等
内容安全具有社会价值，但JD未明确提及使命，意义感动机中等。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs