字节跳动
多模态算法工程师-抖音评论
多模态算法工程师-抖音评论
发布于 大约 11 小时前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
学历未注明
研究与开发 (研发)
深度学习
PyTorch
LLM
推荐系统
内容安全
VLM
CV
MLLM
AI 估算 · 30k–55k
高级多模态算法岗，字节跳动薪资竞争力强，技术难度高，市场稀缺，月薪3-5.5万较为合理。
职位详情
关于这个职位
作为字节跳动抖音评论团队的多模态算法工程师，你将专注于评论、弹幕等互动内容的安全、体验与增长
工作涉及视频、直播、图文等多体裁，利用大模型技术解决对抗表达、隐晦语义等挑战，优化排序分发策略，并探索智能总结等创新产品形态
这是一个技术驱动、充满挑战的前沿岗位
最低要求
具有扎实的人工智能方面的基础知识，对CV、VLM、MLLM等技术有深入的理解，数学功底扎实，学习能力强
有扎实的编码能力，熟悉主流的深度学习训练框架、工程框架等
在CV、VLM、MLLM领域有成熟的项目落地经验，在短视频、图文、直播算法领域有经验者优先
在计算机科学高水平会议和期刊如NIPS、ICML、CVPR、ICCV、ECCV、IJCAI、AAAI、KDD、SIGIR、WWW、ACL、PAMI、IJCV等论文发表或有竞赛经验者优先
具有独立的分析问题和解决问题的能力，对解决具有挑战性问题充满激情
对技术有热情，追求极致，自驱力强
有良好的团队合作意识、沟通表达能力
工作职责
负责抖音系产品中视频、直播、图文等不同体裁下评论（文评、图评、音评等）、弹幕等互动内容的安全、体验、增长、创新工作
面向互动内容中存在的对抗表达、隐晦表达、知识依赖等语义挑战，时序性、多模态、交互性等结构挑战，研发大模型驱动的机审系统，提升互动内容的安全、画风、生态的治理能力，有效降低互动内容的潜在风险
分析和挖掘互动内容中蕴含的用户真实意图，探索基于大模型增强的统一内容理解技术，优化排序和分发策略以调控互动体验，提升平台口碑与用户粘性，支持在推荐、搜索、推送、广告、精选等场景中的应用
探索技术驱动的创新互动内容产品形态，如智能总结、主播助理等，促进互动效率提升与用户增长
基础技术方面持续探索LLM/MLLM等通用大模型在内容安全和理解领域的适配，从Pre-Train、Post-Train（SFT、RL）等方面优化，增强模型的感知和推理能力
同时探索围绕大模型相关的应用技术能力，如Auto-prompt Engineering、Embedding、Incontext learning、RAG等
AI 洞察
优缺点分析
优点
- 字节跳动对技术投入大，薪资待遇和福利在行业内极具竞争力
- 团队技术氛围浓厚，有机会与顶尖AI人才合作，参与前沿研究落地
- 大模型+内容安全是风口方向，经验积累后职业选择面广
- 内容安全领域敏感且复杂，对抗性攻击持续演化，要求算法持续更新
- 技术栈深度要求高，需同时具备CV、NLP、大模型等多方面知识，学习曲线陡峭
缺点 / 挑战
- 顶级流量平台，数据量大且场景丰富，技术挑战性强，成长空间极大
- 工作强度较高，字节跳动节奏快，需要较强的抗压能力和快速迭代能力
- 适合技术背景扎实、对多模态和大模型有浓厚兴趣，喜欢挑战复杂问题、追求技术极致的算法工程师
角色解读
- 技术深耕：从算法工程师成长为技术专家，主导大模型在内容理解领域的创新突破
- 架构转型：过渡到系统架构师，设计大规模机审和推荐系统架构
- 管理方向：晋升为技术负责人，带领团队攻克互动内容相关的算法难题
- 负责抖音评论、弹幕等互动内容的安全治理，研发大模型驱动的机审系统以识别和过滤有害信息
- 深入分析用户意图，优化排序和分发策略，提升互动体验和平台口碑
- 探索智能总结、主播助理等创新产品形态，促进互动效率与用户增长
- 持续优化LLM/MLLM模型在内容理解领域的适配，包括预训练、微调、强化学习等
- 扎实的CV、VLM、MLLM理论基础和项目落地经验，能独立解决复杂语义和结构问题
- 熟练使用主流深度学习框架（如PyTorch）和工程化部署能力
- 具备大模型训练和优化经验，熟悉Pre-Train、SFT、RL等流程
- 对内容安全、推荐系统有了解，具备分布式数据处理能力
申请策略
- 提前了解抖音评论和互动产品的特性，思考现有挑战和优化方向
- 在简历和面试中突出技术热情和自驱力，字节跳动很看重这一特质
- 突出CV/VLM/MLLM相关的项目落地经验，量化解决的具体问题和业务收益
- 强调论文发表或竞赛成绩，特别是顶会论文或权威竞赛获奖
- 展示大模型训练和优化经验，如SFT、RL、Prompt Engineering等具体实践
- 体现对内容安全、推荐系统的理解，以及分布式系统处理能力
- 深入理解MLLM（如LLaVA、Qwen-VL等）的架构和微调方法
- 补充内容安全领域知识，了解对抗样本、多模态检测等前沿技术
面试指南
- STAR法则：描述项目背景、任务、行动和结果，突出个人贡献和技术难点
- 系统设计：从数据流、模型架构、部署优化到评估指标，结构清晰
- 对比分析：比较不同方法优劣，展现对模型原理的深入理解
- 请介绍一下你参与过的一个多模态项目，包括技术选型、模型架构和最终效果
- 如何设计一个基于大模型的机审系统，检测评论中的恶意文本和图片？
- LLM与MLLM在内容理解上有什么区别？如何优化模型对隐晦表达的识别？
- 你如何看待大模型在推荐系统中的应用？请举例说明
- 在训练大模型时，如何处理数据的噪声和样本不均衡问题？
职位点评
72
综合评分
字节跳动高级多模态算法岗，前沿技术栈，高薪资高挑战，但WLB较差。
更适合这类人
最适合追求技术成长和薪资回报，愿意接受高强度工作的算法工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展92
工作生活40
使命价值70
薪资福利
85较高
字节跳动薪资优厚，福利完善，上市大厂稳定性高，但未明确披露薪资细节。
薪资信号未披露（AI估算：30K-55K/月）
成长发展
92较高
职位涉及前沿多模态大模型技术，项目挑战大，有论文发表机会，成长空间广阔。
技术前沿前沿/新兴技术
技术栈CV、VLM、MLLM、LLM、深度学习、内容安全、推荐系统、Transformer、PyTorch
业务类型profit_center
工作生活
40较低
字节跳动工作强度大，未提及弹性办公，上海办公地点可能在科技园，WLB一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
内容安全具有社会价值，但更多是商业驱动；互动体验优化能提升用户满意度。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs