阿里巴巴
大模型推理阶段Prefill-Attention-FFN分离场景下类GPU硬件架构-算法优化机制研究-阿里星/A Star
大模型推理阶段Prefill-Attention-FFN分离场景下类GPU硬件架构-算法优化机制研究-阿里星/A Star
发布于 大约 9 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Cuda
Flashattention
Gem5
Gpu
Hip
Llvm
Moe
Pagedattention
Pytorch
值不值得投
82综合评分
综合评分 82
顶尖技术岗，前沿AI芯片研究，发展空间大，但工作强度高，WLB一般。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
50K
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1950 个在招 · 其中人工智能 约 140 个
市场机会
选择面较广
北京 · 人工智能 · 约 140 个在招
职位详情
关于这个职位
该职位是阿里巴巴面向2027届毕业生的顶尖研究型岗位，聚焦大模型推理阶段Prefill-Attention-FFN分离架构下的软硬件协同优化
你将深入底层，通过跨层级建模与仿真，为下一代AI算力基础设施提供理论依据与技术支撑，并有机会将研究成果转化为顶会论文和技术专利
最低要求
硬性背景
学历专业：计算机科学与技术、电子工程、微电子、自动化等相关专业，2027年毕业的应届生
基础知识：精通计算机组成原理与体系结构，深刻理解CPU/GPU/NPU的微架构设计（如流水线、缓存一致性、内存层次结构）
专业技能（多选一或多选多）
【体系结构与编译器方向】
熟悉LLVM/SGLANG等编译框架，有GPU Kernel优化、算子融合、自动调优（Auto-tuning）实战经验
熟练掌握CUDA/HIP编程模型，能深入理解Kernel执行机制与硬件资源映射关系
【硬件设计与仿真验证方向】
熟练使用Gem5、GPGPU-Sim、Verilator等模拟器进行微架构建模与性能分析
【大模型系统与算法方向】
深入理解Transformer模型结构，熟悉PyTorch/TensorFlow底层机制
对MoE（混合专家）、FlashAttention、PagedAttention等前沿优化技术有深入研究
核心素质（阿里星特质）
极强的好奇心与钻研精神：不满足于黑盒调用，喜欢追问“为什么慢”、“瓶颈在哪”，具备从现象挖掘本质问题的能力
优秀的工程落地能力：能将复杂的理论模型转化为可运行的代码或硬件描述语言，具备严谨的实验设计与数据分析能力
跨界沟通协作力：能够跨越硬件、软件、算法团队的认知鸿沟，清晰表达技术观点，推动跨领域项目进展
有强烈技术热情和好奇心，自驱力和学习力强
具备良好的分析与解决问题的能力、沟通以及团队合作能力
喜欢挑战性的技术研发工作，善于攻坚克难，有创新热情，积极乐观，坚韧抗压，结果导向，能够持续推动问题的解决和突破
掌握AI基础知识，掌握基础提示词工程，会使用AI专业工具，集成AI到个人工作流
有AI相关开发工具应用研发经验者优先，持有阿里云ACA/ACP/ACE认证证书者优先
工作职责
本岗位聚焦于大模型推理阶段PAF（Prefill-Attention-FFN）分离架构下的软硬件协同优化
将深入底层，打破传统单一硬件视角的局限，通过跨层级建模与仿真，为下一代AI算力基础设施提供理论依据与技术支撑
构建PAF全链路负载特征基准：
深入分析大模型推理中Prefill、Attention、FFN三个阶段的算子行为与数据流特征
重点针对FFN阶段（占据参数量主体），建立独立于具体硬件的Workload特征模型，量化其对带宽、存储层级及计算密度的精确需求，填补业界在异构选型需求侧的空白
异构架构跨层次白盒化评估与建模：
对比分析冯·诺依曼架构（通用/国产GPU）与新型存算一体架构（存内/近存计算）在FFN侧的性能表现
从器件物理特性→电路阵列拓扑→微架构数据通路→算法映射策略四个层次，建立统一的跨层次对标评估模型
通过晶体管级仿真等手段，确保模型的准确性，定位现有架构的效率边界与结构性瓶颈
PAF异构系统协同机制研究与落地：
研究FFN（类LPU承载）与Attention/Prefill（GPU承载）在异构执行时的数据流转路径、调度粒度及通信-计算重叠策略
量化阶段间协同开销对端到端推理性能的影响，提出最优的异构调度方案
输出系统性技术分析报告，直接指导集团AI芯片选型、系统架构演进及软硬件协同设计
前沿技术探索与生态贡献：
将研究成果转化为高质量的技术专利、学术论文（目标ISCA/MICRO/HPCA等顶会）
参与ROCm、MLIR等开源社区建设，推动阿里云在异构计算领域的标准制定与技术影响力
优先资格
加分项：
有vLLM、TensorRT-LLM等推理引擎底层优化经验者优先
有存内计算（PIM）或专用加速器（DSA）架构设计经验者优先，对服务器系统以及超节点系统熟悉者优先
有大规模分布式训练/推理系统调试经验者优先
有AI相关开发工具应用研发经验者优先，持有阿里云ACA/ACP/ACE认证证书者优先
AI 洞察
优缺点分析
优点
- 前沿技术领域，涉及大模型与硬件架构，技术含量高，成长空间大
- 阿里星计划提供顶尖资源，导师和平台优势明显
- 有机会发表顶会论文，提升学术和行业影响力
- 薪资待遇优厚，福利完善
- 工作强度大，研究难度高，需要跨学科知识
- 技术方向前沿，不确定性高，需要适应快速变化
- 适合对体系结构和AI系统有浓厚兴趣，具备扎实基础和强烈好奇心的顶尖应届生
缺点 / 挑战
- 竞争激烈，压力大，需要持续创新
角色解读
- 成为AI芯片和系统架构领域的专家，主导软硬件协同设计
- 在阿里云内部晋升为技术专家或架构师，影响集团AI基础设施演进
- 通过顶会论文和专利积累学术影响力，可转向学术界或行业领军角色
- 构建大模型推理PAF（Prefill-Attention-FFN）分离架构下的负载特征模型，分析各阶段算子行为与数据流
- 对比冯·诺依曼架构与存算一体架构的性能，建立跨层次评估模型，定位效率瓶颈
- 研究异构系统协同机制，设计最优调度方案，输出技术报告指导AI芯片选型
- 将研究成果转化为专利和学术论文，并参与ROCm、MLIR等开源社区建设
- 精通计算机体系结构，深刻理解CPU/GPU/NPU微架构
- 熟悉编译框架（LLVM/SGLANG）或硬件模拟器（Gem5/GPGPU-Sim）或大模型系统（PyTorch/TensorFlow底层）
- 掌握CUDA/HIP编程，有GPU Kernel优化经验
- 具备跨软硬件边界的系统思维和第一性原理分析能力
申请策略
- 了解阿里巴巴AI芯片和系统架构的最新动态
- 准备展示第一性原理思维的案例
- 突出GPU Kernel优化、算子融合等实战项目
- 强调对LLVM、CUDA等工具的熟练程度
- 展示在顶会或开源社区的技术贡献
- 体现跨软硬件协同设计的项目经验
- 深入学习存内计算和异构架构
- 熟悉vLLM、TensorRT-LLM等推理引擎
面试指南
- 使用STAR法则回答行为问题
- 技术问题先阐述原理，再结合项目经验
- 展示系统思维，从软硬件协同角度分析
- 如何优化大模型推理中的FFN层性能？
- 解释存内计算与传统架构的优缺点
- 如何设计一个跨层级的性能评估模型？
- 描述一次你解决复杂系统性能瓶颈的经历
- 对PAF分离架构的理解和优化思路
职位点评
薪资福利85
成长发展95
工作生活50
使命价值90
薪资福利
85较高
该职位薪资待遇优厚，福利完善，但具体薪资未披露，需面议。
薪资信号面议 (40K-60K/月)
成长发展
95较高
该职位处于AI芯片前沿领域，技术前沿，成长空间大，有顶会论文和专利机会。
技术前沿前沿/新兴技术
技术栈LLVM、CUDA、HIP、Gem5、GPGPU-Sim、PyTorch、MoE、FlashAttention、PagedAttention、vLLM、TensorRT-LLM、存内计算、异构计算
成长机会阿里星、学术论文、顶会
业务类型profit_center
工作生活
50较低
工作地点在北京/杭州/上海，需现场办公，未提及弹性工作，可能加班。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
90较高
该职位推动AI算力基础设施发展，具有较高的社会价值和行业影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号推动阿里云在异构计算领域的标准制定与技术影响力
创新程度开拓性创新（行业首创）
Watch Jobs