
得物
内容安全机审策略(词库运营方向)
内容安全机审策略(词库运营方向)
发布于 大约 15 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
信息安全
Ai大模型
Sql
内容安全
数据敏感度
机审策略
正则表达式
风控策略
词库治理
AI 估算 · 20k–35k
上海大型电商,3年经验内容安全策略岗,薪资有竞争力
职位详情
关于这个职位
该职位负责得物平台内容安全机审策略,核心工作是违禁词库治理、算法调优和运营闭环
你将通过SQL和正则进行大数据分析,优化词库和模型,并运用AI大模型(如Dify、Agent)提升审核效率
适合有内容安全或风控经验,对数据敏感且熟悉AI应用的同学
最低要求
学历专业:本科及以上学历,计算机/统计学/信息安全/数学等相关专业优先
经验年限:3年以上内容安全/风控策略/审核运营相关工作经验
SQL能力:熟练掌握 SQL,能独立完成 ODPS/Hive 大数据查询与多维度分析正则能力:熟练编写正则表达式,有文本匹配规则引擎实操经验
数据敏感度:能从海量数据中发现异常模式,具备归因分析能力
熟练应用AI大模型,能够自主建立dify、Agent,建立AI运营智能体
工作职责
一、词库治理,违禁词库建设与维护
负责全场景违禁词库的日常增删改查,覆盖内容安全色情、违法违规、公序良俗、嘲讽辱骂等风险问题
建立词库分级体系,制定差异化处置策略
绕审变体识别与对抗:建立乱序词、谐音词、拆字词、符号插入等绕审手法的检测能力,基于模型构建变体词索引,替代逐个枚举排列的粗放模式,定期巡检词库命中率,清理高误报词
正则规则引擎优化:维护正则匹配规则,针对正则覆盖不足问题,持续扩充匹配模式,建立正则规则的回归测试集,确保新增规则不引入误伤
二、算法调优,机审策略配置与调优
负责机审路由策略,优化各检测能力的权重与组合逻辑,调整转人工阈值,在拦截率与误伤率之间寻找最优平衡点
漏放分析与模型迭代,建立三维度漏放监控体系:对漏放样本做 case 级归因分析(关键词盲区/正则覆盖不足/模型误判/信号缺失),推动模型迭代,基于漏放分析结果,提炼新特征需求,协同算法团队完成模型训练与评测
AI 审核能力建设:设计并迭代大模型内容安全审核 Prompt,覆盖政治敏感、暴恐、色情、违法、未成年保护、公序良俗等风险,针对词库提取、扩展、优化、预警、分析提效
三、运营闭环,审核效率运营
监控各场景核心指标,发现异常波动及时介入,对于风险覆盖指标负责,与各个场景环节联动建立运营指标,并基于准、召等指标,定义运营优化的流程并负责落地
对问题风险负责,具备问题定位、复盘、方案优化的能力,能够快速应对各类突发问题,并及时给出应对方案,例如舆情、客诉问题
AI 洞察
优缺点分析
优点
- 得物为大型电商平台,业务规模大,内容安全场景丰富,能积累实战经验
- 接触前沿 AI 大模型在内容审核中的应用,技能成长快
- 职位涉及策略、算法、运营多方面,综合能力提升明显
- 上海核心地段办公,互联网氛围浓厚
- 需在拦截率与误伤率之间反复调优,对数据敏感度和耐心要求高
- 涉及大量绕审对抗,需要持续跟踪新型违规手法
缺点 / 挑战
- 内容安全领域工作压力较大,需快速响应舆情和突发风险
- 适合对内容安全或风控有热情,喜欢数据分析和策略优化,并能接受一定工作压力的技术型运营人才
角色解读
- 可向内容安全策略专家或算法工程师方向发展,深入模型优化和特征工程
- 有机会晋升为团队 Leader,管理内容安全策略团队
- 积累合规与风控经验,未来可转型至更广泛的业务风控或数据安全领域
- 负责违禁词库的日常维护与分级治理,通过正则表达式和模型识别绕审变体,优化词库命中率
- 配置机审策略路由,调整检测权重与转人工阈值,平衡拦截与误伤
- 对漏放样本进行归因分析,推动模型迭代,并设计大模型审核 Prompt 提升 AI 审核能力
- 监控核心指标,处理突发风险事件,联动各场景优化运营流程
- 精通 SQL,能独立进行大数据查询和多维度分析
- 熟练编写正则表达式,有文本匹配规则引擎实操经验
- 具备数据敏感度和归因分析能力,能从海量数据中发现异常
- 熟悉 AI 大模型应用,能搭建 Dify、Agent 等智能体工具
申请策略
- 面试前了解得物的业务特点和内容审核机制,准备针对其平台风险的建议
- 关注内容安全行业动态,如最新法规和 AI 审核趋势
- 突出内容安全或风控策略相关工作经验,附上具体案例和指标(如拦截率、误伤率优化)
- 强调 SQL 和正则表达式能力,可列出常用函数或复杂查询场景
- 如有 AI 大模型应用经验,说明使用 Dify、Agent 等工具的具体成果
- 展示数据敏感度,例如通过数据分析发现异常模式并推动改进的实例
- 系统学习正则表达式高级用法,如零宽断言、回溯引用等
- 了解常见内容安全风险类型(色情、政治、暴恐等)和应对策略
面试指南
- 结构化回答:先定义问题,再拆解原因,最后给出优化方案和预期效果
- 数据驱动:强调用指标(如拦截率、误伤率、召回率)来量化问题,并展示分析过程
- 案例结合:用 STAR 法则(情境、任务、行动、结果)讲述过往项目
- 如何设计一个违禁词库的分级体系?请举例说明
- 当发现词库误伤率过高时,你会如何排查和优化?
- 如何利用 SQL 分析漏放样本?请描述你的分析思路
- 你如何使用 AI 大模型辅助内容审核?请分享具体实践
- 遇到突发的舆情事件(如某商品被骂上热搜),你会如何快速应对?
职位点评
65
综合评分
上海大型电商内容安全策略岗,前沿AI技术,薪资市场水准但未披露,WLB未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估,方便横向比较。
更适合这类人
适合追求技术成长、对内容安全有热情,能接受现场办公和一定工作强度的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利65
成长发展78
工作生活45
使命价值70
薪资福利
65中等
薪资未明确,但得物作为大型电商,薪资通常有竞争力,且上海地区整体薪资水平较高。福利未提及,需面试确认。
薪资信号未披露(AI估算:20K-35K/月)
成长发展
78中等
职位涉及前沿 AI 大模型应用(Dify、Agent),技术栈先进,能接触到内容安全领域的核心策略。但未明确提及晋升通道或培训体系。
技术前沿前沿/新兴技术
技术栈AI大模型、Dify、Agent、SQL、正则表达式
业务类型cost_center
工作生活
45较低
仅现场办公,未提及远程或弹性工作。上海核心地段办公,但互联网公司加班文化普遍,JD 未提及 WLB,推测工作强度较大。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及(无法判断)
使命价值
70中等
内容安全对社会有正向价值,保护平台用户;得物为高速增长电商,行业前景好。职位采用前沿技术,创新性强。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
得物 的其他在招职位
相似职位推荐
Watch Jobs