【快Star】多模态搜索算法工程师

优缺点分析

角色解读

• 技术深耕：成为多模态搜索领域的算法专家，主导核心算法突破
• 横向扩展：向大模型训练优化、多模态预训练、Agentic Search 等前沿方向延伸
• 管理路线：带团队负责搜索相关性方向，逐步晋升为技术 leader
• 负责快手搜索的多模态相关性建模，设计 Query 与视频内容的细粒度对齐方案，优化搜索排序效果
• 构建多模态内容理解特征体系，融合视觉、文本、音频等多源信息，提升鲁棒性
• 将大模型应用于搜索相关性打分，并实施推理优化（蒸馏、量化、稀疏化等）以满足线上延迟要求
• 探索强化学习（RLHF、DPO 等）在相关性优化中的应用，形成端到端的闭环
• 扎实的工程实现能力，熟练使用 Python/C++，熟悉 TensorFlow/PyTorch 等框架
• 深入理解大模型训练和推理，掌握 SFT、强化学习后训练技术
• 熟悉多模态表示学习、对比学习、跨模态对齐等方向
• 了解搜素排序体系，有相关性建模或推荐系统经验更佳

申请策略

• 准备时关注快手搜索的产品形态（短视频、直播等），思考如何应用所学优化搜索体验
• 在面试中展示对业务目标的理解，而不仅仅是算法本身
• 突出大模型或搜索相关项目经验，尤其是端到端落地案例
• 强调多模态或强化学习实践，注明使用的框架和技术细节
• 列出顶级会议论文或竞赛成绩（如 ACM-ICPC/NOI），作为加分项
• 深入掌握一种大模型训练框架（如 DeepSpeed/Megatron），了解 SFT/RLHF 实现
• 实践多模态项目，例如使用 CLIP 做图文检索，或复现 LLaVA 等多模态模型
• 学习搜索排序基础知识，了解 QPS、延迟等工程指标

面试指南

• 针对设计类问题：先明确目标（如提升相关性），再介绍现有方法优缺点，然后提出自己的改进并阐述理由
• 针对优化类问题：从问题定义、约束条件（延迟、吞吐）、可选方案选型、实验验证等环节展开
• 如何设计多模态相关性模型？请给出具体架构和损失函数
• 大模型在搜索排序中如何部署？请说明推理优化方案（如蒸馏、量化、推测解码）
• RLHF 如何用于相关性建模？与传统的点云/列表学习有何异同？
• 如何评估搜索相关性？请设计离线指标与在线 A/B 实验方案
• 面对低质量视频文本，如何构建鲁棒的 content understanding 特征？
• 准备 1-2 个完整的大模型或搜索相关项目，梳理技术选型、难点和最终效果