集团安全部-安全大模型评测与增强算法专家-北京&杭州

优缺点分析

角色解读

• 在安全大模型评测领域深耕，成为该领域的专家，主导评测体系建设和开源社区影响力
• 向大模型安全方向的技术管理岗位发展，带领团队负责安全模型的全链路优化
• 横向拓展至大模型训练、数据合成等相邻领域，成为复合型AI安全专家
• 构建安全场景的大模型评测体系，包括通用能力评测和安全业务定制评测，确保评测的全面性和可靠性
• 建设基于真实攻防场景的Agentic评测环境，提升大模型在安全长程任务中的Agentic能力
• 跟踪业界安全大模型评测方法和Benchmark动态，持续优化内部评测体系，并发布开源评测集
• 参与模型迭代的评测驱动优化闭环，通过评测归因分析发现知识短板，驱动训练数据生产和模型增强
• 精通大模型基本原理与训练方法，熟悉常见攻击手法、防御机制、日志分析或漏洞原理
• 熟悉安全主流Benchmark与评测框架，具备Rubrics评测、Arena对战评测等实践经验
• 具备优秀的结构化思维和数据分析能力，能够从评测数据中提炼模型短板、定位根因
• 动手能力强，具备优秀的工程落地实现能力，熟悉Agentic评测沙箱搭建

申请策略

• 了解阿里巴巴安全业务场景，思考大模型在安全领域的应用挑战
• 关注阿里安全部在开源社区和顶会的动态，展示对行业的热情
• 突出大模型研发经验，特别是模型训练、微调、评测相关项目
• 强调安全领域知识，如攻防、漏洞分析、日志分析等，如有安全业务经验务必突出
• 展示评测方法实践经验，如Rubrics评测、Arena对战评测、LLM-as-Judge等
• 如有顶会论文发表，务必在简历中显著位置列出
• 补充学习安全领域知识，了解常见攻击手法和防御机制
• 熟悉主流安全Benchmark和评测框架，动手实践Agentic评测沙箱搭建

面试指南

• 采用STAR法则回答项目经验问题，突出你在项目中的角色、技术选型和成果
• 对于设计类问题，先阐述目标，再分步骤说明方案，最后总结权衡
• 对于趋势类问题，结合业界最新动态和个人见解，展现思考深度
• 请介绍你在大模型评测方面的项目经验，如何设计评测指标和流程？
• 如何构建一个面向安全场景的Agentic评测环境？
• 你如何从评测结果中定位模型短板并驱动优化？
• 谈谈你对安全大模型评测领域未来趋势的看法
• 你如何平衡评测的全面性和效率？