阿里巴巴
机器学习系统研发工程师-大模型训练
机器学习系统研发工程师-大模型训练
发布于 1 天前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Cuda
Pytorch
Tensorrt-Llm
Vllm
大模型
推理加速
机器学习
高性能计算
值不值得投
74综合评分
综合评分 74
前沿AI技术实习，成长性强，薪资中等，办公模式未明。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
8K
比机器学习工程中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 2250 个在招 · 其中机器学习工程 约 150 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 430 个在招
职位详情
关于这个职位
该职位是阿里巴巴的机器学习系统研发工程师实习生，专注于大模型训练和推理加速
你将参与下一代AI应用场景的优化，包括LLM、Diffusion模型的推理技术探索和高性能推理引擎的工程实践，在导师指导下挑战业界高价值课题
最低要求
技术能力：
a. 具备良好的C++/Python编程基础和代码实践能力
b. 熟悉PyTorch
c. 对底层技术有浓厚兴趣，渴望深入了解GPU架构与高性能计算
综合素质：
a. 具备强烈的求知欲、好奇心和主动性，能快速学习新知识、新工具
b. 良好的逻辑思维能力和解决问题的热情
c. 积极的沟通态度和团队协作精神
实习时间要求（必须满足）：能保证连续实习4个月及以上
工作职责
下一代生成模型推理技术探索:
a. LLM/MLLM: 探索针对AR的生成特点，探索超高倍投机采样、模型压缩、efficient attention、蒸馏等技术
b. Diffusion: 探索sparse attention、cache、采样步数消减等技术
c. 软硬结合的优化技术：探索极低比特量化、稀疏计算等硬件依赖的前沿加速技术
极致性能的推理引擎工程实践:
a. 深入分析与优化现有推理框架（如vLLM, TensorRT-LLM等）的性能瓶颈，进行从算子到系统层面的全栈优化
b. 精通CUDA/CUTLASS/Triton等底层编程技术，针对新型Transformer架构变种，手写高性能算子，压榨硬件的每一分潜力
c. 设计和实现高效的KV Cache管理与压缩方案，优化请求调度与批处理策略，最大化系统吞吐并降低延迟
优先资格
有相关领域（机器学习、高性能计算、体系结构等）的论文发表
熟悉GPU编程（CUDA），并有相关的项目或实践经验
有开源社区贡献经验（例如vLLM, PyTorch, Triton等）
AI 洞察
优缺点分析
优点
- 接触前沿AI大模型和推理加速技术，学习资源丰富
- 有导师指导和团队支持，能快速提升技术能力
- 参与高价值课题，成果可能对业界产生影响
- 公司平台大，实习经历对职业发展有较好背书
- 实习时间要求较长（4个月以上），可能需要投入较多精力
- 竞争激烈，需要持续跟进技术更新以保持竞争力
- 适合对机器学习系统优化有热情、喜欢探索底层技术、具备较强自学能力的计算机相关专业学生
缺点 / 挑战
- 技术难度较高，需要深入底层优化和高性能计算，学习曲线陡峭
角色解读
- 从实习工程师成长为正式研发工程师，深耕AI系统优化领域
- 未来可向算法专家或系统架构师方向发展，负责核心AI基础设施建设
- 积累行业经验后，有机会参与更前沿的研究项目或技术创新
- 研究并实现大模型推理加速技术，如投机采样、模型压缩和高效注意力机制
- 优化推理引擎性能，分析框架瓶颈并手写CUDA算子以提升硬件利用率
- 设计KV Cache管理和调度策略，降低延迟并提高系统吞吐量
- 在导师指导下参与前沿AI技术探索，解决实际工业落地挑战
- 扎实的编程基础，熟练使用C++和Python进行开发
- 熟悉PyTorch框架，了解机器学习模型训练和推理流程
- 对GPU架构和高性能计算有浓厚兴趣，愿意深入学习底层技术
- 良好的逻辑思维和快速学习能力，能主动探索新工具和技术
申请策略
- 研究阿里巴巴在AI推理加速领域的公开成果和业务方向，面试时展示针对性了解
- 准备项目经历时，详细描述遇到的问题、采取的优化方案和取得的效果
- 突出C++/Python编程项目和PyTorch使用经验，展示代码实践能力
- 如果有GPU编程（CUDA）或高性能计算相关项目或论文，重点强调
- 提及开源社区贡献或技术竞赛经历，体现主动学习和协作精神
- 针对实习时间要求，在简历中明确可连续实习4个月以上
- 提前学习CUDA编程基础和推理框架如vLLM/TensorRT-LLM，通过实践项目积累经验
- 阅读相关论文（如投机采样、模型压缩），了解最新技术动态
面试指南
- 使用STAR法则（情境、任务、行动、结果）组织项目经历回答，突出技术细节和成果
- 对于技术问题，先解释原理，再结合实际案例说明如何应用和优化
- 展示主动学习和解决问题的热情，强调团队协作和沟通能力
- 你对LLM推理优化有哪些了解？请举例说明一种技术
- 如何优化一个推理引擎的性能？请从系统层面分析可能的方法
- 描述一个你使用CUDA或其他底层技术优化算子的经验
- 为什么对这个实习岗位感兴趣？你期望从中学到什么？
- 如果让你设计一个KV Cache压缩方案，你会考虑哪些因素？
职位点评
薪资福利70
成长发展90
工作生活50
使命价值80
薪资福利
70中等
实习津贴在市场中等水平，但公司平台较大，可能提供一定的稳定性。
薪资信号未披露（AI估算：5K-10K/月）
成长发展
90较高
该岗位专注于前沿AI技术探索和工程实践，提供导师指导和高价值课题，技能成长空间大。
技术前沿前沿/新兴技术
技术栈LLM、Diffusion、CUDA、vLLM、TensorRT-LLM、PyTorch、高效注意力
成长机会导师的指导
业务类型ambiguous
工作生活
50较低
JD未明确办公模式和工作时间安排，可能需现场办公，生活化动机满足程度有限。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
身处AI高速增长赛道，致力于推动技术落地，行业前景好，有较强的社会影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs