得物
内容安全机审策略
内容安全机审策略
发布于 大约 3 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
信息技术与基础设施
机器学习
SQL
RAG
LLM
内容安全
大模型
Prompt Engineering
AI Agent
AI 估算 · 30k–45k
3-5年经验+大模型稀缺技能，上海互联网大厂水平，月薪3-4.5万合理。
职位详情
关于这个职位
该职位负责得物全平台的内容安全机审策略，通过数据挖掘、机器学习和大模型技术构建自动化风控体系，平衡漏放与误杀率
你将深入分析亿级文本/图文/视频数据，制定并优化拦截规则，同时主导AI Agent的搭建，利用LLM提升审核效率
适合具备算法基础和大模型实战经验的数据安全人才
最低要求
学历与背景：本科及以上学历，计算机、数学、统计学、人工智能等相关专业
具备3-5年以上安全风控、内容审核策略、或数据挖掘相关工作经验
扎实的数据分析与算法底座：
精通SQL和Python，具备海量数据处理能力
深刻理解并能熟练应用传统机器学习算法，能够独立通过分类、聚类、时序分析、特征分布对比等手段，从无标签或弱标签数据中提炼有效的业务规则
AI大模型实操能力（核心必备）：
熟悉主流大模型（如GPT-4、Claude、通义千问、Kimi等）的能力边界与调用逻辑
精通Prompt Engineering（提示词工程），能够通过CoT（思维链）解决复杂的逻辑判别问题
具备AI Agent的实际搭建经验，了解大模型工具调用（Function Calling）、记忆机制与RAG（检索增强生成）原理
业务Sense与自驱力：对数据极度敏感，具备优秀的逻辑推导能力
能够将模糊的业务安全痛点，转化为清晰的数学问题或Agent任务流
具备极强的跨部门沟通协同能力
工作职责
机审策略构建与迭代：负责全平台内容安全（涉黄、涉政、暴恐、违禁、黑产引流等）的机器审核策略
通过分析海量业务数据，制定、部署并优化风控拦截规则，平衡漏放率与误杀率
数据挖掘与特征工程：基于亿级文本/图文/视频数据，熟练运用分类算法、聚类分析、特征分布检验等统计机器学习方法，深度挖掘坏样本的变异特征与作弊模式
AI Agent搭建与落地：探索并主导大模型（LLM）在内容审核场景的深度应用
利用现有框架（如LangChain、Dify、Coze等）设计并搭建自动化风控Agent工作流（例如：自动化抽检Agent、复杂长文本意图判别Agent、基于RAG的安全知识库问答Agent等）
大模型赋能规则挖掘：建设基于大模型的“策略推荐Copilot”，利用AI辅助分析每日高危Bad Case，自动聚类异常模式，并一键生成或推荐业务拦截规则代码
攻防体系与指标监控：持续追踪黑灰产对抗手法，建立完善的策略监控大盘和预警机制
对线上机审规则进行A/B测试及效果评估
优先资格
有内容安全体系从0到1建设经验，或熟知各平台（图文/短视频/直播）审核对抗策略者优先
了解或使用过开源大模型（如Llama 3、Qwen）进行微调（SFT / LoRA）经验者优先
熟悉多模态大模型（VLM，如GPT-4V），在图像或视频机审领域有落地经验者优先
AI 洞察
优缺点分析
优点
- 掌握LLM+Agent等前沿技术，市场稀缺性强，薪资竞争力高
- 内容安全是平台刚需，岗位稳定且受重视
- 需要同时掌握传统机器学习和大模型，技术栈要求高
- 与黑灰产持续对抗，工作强度可能较大
- 适合具备算法背景、对安全风控感兴趣、喜欢用AI解决实际问题的技术人才
缺点 / 挑战
- 得物作为大型电商平台，数据量巨大，项目挑战大，成长快
- 策略调优需要极高的准确率和耐心，误杀漏放压力大
角色解读
- 深耕内容安全领域，成为风控策略专家或安全架构师
- 向AI安全方向拓展，主导大模型在风控中的创新应用
- 横向扩展至反欺诈、业务安全等更广泛的安全领域
- 分析海量内容数据，构建和优化机审策略规则，平衡漏放与误杀
- 利用机器学习和统计方法挖掘黑产变异特征与作弊模式
- 基于大模型搭建AI Agent（如自动化抽检、意图判别、RAG知识库）辅助风控决策
- 监控策略效果，进行A/B测试，持续对抗黑灰产攻击
- 扎实的SQL和Python功底，能处理亿级数据
- 熟练应用分类、聚类等传统机器学习算法
- 精通Prompt Engineering，熟悉LLM调用与Agent框架（LangChain等）
- 对数据敏感，能将业务痛点转化为数学或Agent任务
申请策略
- 在求职信中表达对AI安全结合的热情，体现业务理解
- 可以准备一个自己设计的Agent方案，展示解决问题的能力
- 突出数据挖掘项目经验，特别是海量数据处理和分类聚类应用
- 详细描述大模型相关项目，如Prompt工程、Agent搭建、RAG等
- 展示安全风控或策略优化成果，用数据量化（如拦截率、误杀率）
- 提前学习LangChain、Dify等Agent框架，实践搭建一个简单Agent
- 熟悉主流LLM的API调用和提示词技巧，尤其是CoT
- 补充内容安全领域的常见违规类型（涉黄、涉政等）和对抗手法
面试指南
- 先明确问题目标，再拆解为可量化指标，提出多种方案并权衡
- 给出具体例子，按背景、行动、结果的结构回答
- 强调数据驱动和A/B测试验证，体现严谨性
- 如何设计一个策略来拦截新的文本变种违规内容？
- 请举例说明你如何用Prompt Engineering解决一个复杂逻辑判断问题
- 你如何评估机审策略的效果？有哪些指标？
- 描述你搭建一个AI Agent的过程，包括框架选择和难点
- 如果误杀率过高，你会如何诊断和优化？
职位点评
66
综合评分
前沿AI安全技术岗，高成长但现场办公，薪资有竞争力。
更适合这类人
该职位最适合追求技术前沿和快速成长、对WLB要求不高的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活40
使命价值60
薪资福利
75中等
薪资未明确但结合稀缺技能和大型企业，预期市场水准偏上，福利未提及但五险一金等基础应有。
薪资信号未披露（AI估算：30K-45K/月）
成长发展
90较高
职位涉及LLM、AI Agent等前沿技术，技能成长空间大，但JD未明确晋升通道。
技术前沿前沿/新兴技术
技术栈LLM、AI Agent、LangChain、RAG、Prompt Engineering、机器学习、分类算法、聚类分析
业务类型ambiguous
工作生活
40较低
仅现场办公，未提及弹性或远程，上海通勤压力较大，WLB信号为空。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
60中等
内容安全对社会有正向价值，但JD未强调使命感；行业为稳定电商，创新性强。
行业发展稳定成熟行业
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs