小红书
基础模型算法工程师
基础模型算法工程师
发布于 大约 15 小时前普通员工/个人贡献者
北京市 / 上海市
专家级经验
全职员工
仅现场办公
学历未注明
机器学习工程
Llm
Megatron-Lm
Moe
Pre-Training
Pytorch
Rlhf
Sft
Vllm
Knowledge Distillation
AI 估算 · 50k–80k
职位详情
关于这个职位
作为小红书基础模型算法工程师，你将专注于研发经济高效的LLM（大语言模型），从模型架构、训练方法到推理效率多层面降低训练与推理成本，提升单位算力的智能密度
你将参与模型底层技术研发，并直接看到模型被部署到AI Agent、AI搜索、搜索、推荐、广告等真实业务场景，服务海量C端用户
该岗位涉及预训练、模型压缩、后训练与蒸馏等前沿技术，适合对大模型底层技术有深厚兴趣和经验的算法专家
最低要求
有大模型 Pre-training / Mid-training 经验，熟悉训练数据、模型结构、训练稳定性及大规模分布式训练
有 Knowledge Distillation / Pre-training Distillation / Model Compression / Pruning 等相关经验
有 SFT / RL / RLHF / OPD / Reward Modeling 等 Post-training 经验
有 MoE、Attention、Long Context、Speculative Decoding、并行解码或其他模型效率优化方向研究经验
熟悉 PyTorch，以及 Megatron-LM、DeepSpeed、FSDP、vLLM、SGLang 等训练或推理框架中的一种或多种
具备优秀的问题拆解、工程实现和快速实验迭代能力，能够在复杂真实业务场景中独立推动算法效果落地
工作职责
高效率模型架构探索： 面向核心业务能力需求和主流 GPU 架构，探索更高效的模型结构、参数规模与解码范式
Pre-training 与模型压缩： 研究预训练、Mid-training、剪枝、Pre-training Distillation 等技术，提升单位参数与单位算力的模型能力
Post-training 与能力蒸馏： 研究 SFT、RL、OPD 等后训练与蒸馏技术，在更小模型规模下最大化能力保持
业务落地与规模化应用： 将高效率模型应用于小红书 Agent、AI 搜索、传统搜索、推荐、广告等真实用户场景，并持续优化效果与成本
AI 洞察
优缺点分析
优点
- 技术前沿性：直接参与大模型底层技术研发，涉及预训练、蒸馏、压缩等前沿领域，技术成长快
- 业务影响力：模型直接应用于小红书核心业务场景，能快速看到技术对业务的实际价值
- 平台资源：小红书作为超大型互联网公司，拥有丰富的算力资源和数据资源，为技术研发提供良好支撑
- 薪资竞争力：大模型算法工程师属于高薪岗位，薪资水平在行业内具有竞争力
- 工作强度大：互联网大厂算法岗位通常工作节奏快，项目周期紧，可能需要应对高强度工作
- 竞争激烈：大模型领域人才竞争激烈，需要持续学习和创新才能保持优势
缺点 / 挑战
- 技术难度高：大模型训练和优化涉及复杂的技术栈和工程挑战，对算法和工程能力要求极高
- 适合对大模型底层技术有浓厚兴趣，具备扎实算法功底和工程能力，追求技术挑战和快速成长的算法工程师
角色解读
- 技术专家路线：在模型效率优化领域深耕，成为该细分领域的专家，主导核心算法方向
- 技术管理路线：从算法工程师成长为技术Leader，带领团队负责模型研发与业务落地
- 横向发展：可转向AI平台架构、AI产品化等方向，拓展技术视野和业务影响力
- 专注于研发高效、低成本的LLM，从模型架构、训练方法、推理效率等层面优化，降低训练和推理成本
- 研究并应用预训练、模型压缩、蒸馏、后训练等技术，提升模型在单位算力下的智能密度
- 将高效模型落地到小红书核心业务场景（如AI搜索、推荐、广告），并持续优化效果与成本
- 参与大规模分布式训练，处理训练稳定性、数据质量等工程挑战
- 扎实的大模型预训练、后训练经验，熟悉训练数据、模型结构、训练稳定性及大规模分布式训练
- 精通模型压缩、蒸馏、剪枝、MoE、Attention优化等技术，有实际落地经验
- 熟练使用PyTorch及至少一种主流训练/推理框架（如Megatron-LM、DeepSpeed、vLLM等）
- 具备优秀的问题拆解、工程实现和快速实验迭代能力，能独立推动算法效果落地
申请策略
- 在简历中明确表达对高效LLM研发的热情，并展示对小红书业务场景的理解
- 准备一个关于模型效率优化的技术分享或项目案例，展示你的技术深度和思考
- 重点突出大模型预训练、后训练或模型压缩相关的项目经验，量化模型效果提升（如推理速度、成本降低、性能提升等）
- 强调对主流训练/推理框架（如Megatron-LM、DeepSpeed、vLLM）的实际使用经验，并说明在分布式训练中的具体贡献
- 展示在模型效率优化方面的技术深度，如MoE、Attention优化、Speculative Decoding等，并附上相关论文或开源项目
- 突出独立解决复杂技术问题的能力，以及将算法落地到实际业务场景的案例
- 深入理解模型压缩、蒸馏、剪枝等前沿技术，并尝试在小模型上实践
- 熟悉主流大模型训练框架的源码，了解其底层实现原理
面试指南
- 回答技术问题时，采用STAR法则（情境、任务、行动、结果），清晰描述项目背景、你的具体贡献、技术方案和量化成果
- 对于开放性问题，先阐述核心原理，再结合具体案例说明，最后总结经验和启示
- 展示对技术细节的深入理解，并强调你的工程实现能力和问题解决思路
- 请详细描述你在大模型预训练或蒸馏项目中的具体工作，如何评估和优化模型效率？
- 在模型压缩或蒸馏过程中，你如何平衡模型性能与推理成本？请举例说明
- 你如何设计一个高效的模型架构来适配特定GPU集群？
- 在分布式训练中，你如何处理训练不稳定或性能瓶颈问题？
- 请谈谈你对LLM推理成本优化的理解，以及未来技术趋势的看法
职位点评
77
综合评分
前沿技术栈、高薪、高成长，但工作强度大，WLB一般
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
该职位最适合追求技术前沿、渴望快速成长、对薪资和职业发展有高期望的算法工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
该职位为超大型互联网公司核心算法岗位，薪资水平高，福利待遇优厚，对补偿性动机满足程度高。
薪资信号未披露（AI估算：50K-80K/月）
成长发展
95较高
该职位处于大模型技术最前沿，涉及预训练、蒸馏、压缩等核心方向，技术挑战大，成长空间广阔，对发展性动机满足程度极高。
技术前沿前沿/新兴技术
技术栈LLM、Pre-training、Knowledge Distillation、Model Compression、SFT、RLHF、MoE、PyTorch、Megatron-LM、vLLM
业务类型profit_center
工作生活
40较低
该岗位为现场办公，且大模型研发通常工作强度大，对生活化动机满足程度有限。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
该职位致力于降低大模型成本，推动AI普惠，具有较高的社会价值，对意义感动机满足程度较高。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号推动大模型实现 Free Serving 亿级 C 端用户
创新程度开拓性创新（行业首创）
Watch Jobs