高通
Senior/Staff AI Model Optimization Architect (Hsinchu/Taipei)
Senior/Staff AI Model Optimization Architect (Hsinchu/Taipei)
发布于 11 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Llm
Pytorch
Torch.Compile
Vlm
值不值得投
80综合评分
综合评分 80
跨国巨头核心AI技术岗，处于大模型推理优化前沿，技术成长空间极大，薪资竞争力强。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
13万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 220 个在招
职位详情
关于这个职位
高通云AI团队正在寻找资深/Staff级AI模型优化架构师，负责在Qualcomm推理加速器上对LLM、VLM等多模态大模型进行端到端的模型转换与推理优化
你将与编译器、性能和精度团队紧密合作，通过图捕获、算子融合及分布式推理策略，平衡吞吐量、延迟、内存与模型质量，推动模型从Day0到生产部署的落地
最低要求
计算机科学、工程、信息系统或相关领域学士学位，并具有4年以上硬件工程、软件工程、系统工程或相关领域工作经验
或计算机科学、工程、信息系统或相关领域硕士学位，并具有3年以上相关工作经验
或计算机科学、工程、信息系统或相关领域博士学位，并具有2年以上相关工作经验
在PyTorch和以推理为重点的模型优化方面具备专家级专业知识
具备强大的Python工程技能
拥有使用torch.compile / TorchDynamo或相关图捕获和编译工作流的实践经验
深入理解Transformer架构、注意力机制、MoE及其性能权衡
具备KVcache行为、服务时间优化以及内存/性能权衡的实践经验
在计算机体系结构、ML加速器和分布式系统方面具有扎实的基础
具备领导跨职能技术工作和影响设计决策的成熟能力
工作职责
架构并交付模型优化策略，将PyTorch模型转换为在Qualcomm加速器上高效推理
推动使用PyTorch、ONNX和torch.compile进行图捕获和部署，包括模型重写和图级转换
使用基于DSL的方法（如Triton）设计和实现融合内核，实现融合操作和性能关键算法重写
与编译器、性能和精度团队深入合作，共同设计降级策略、内核融合、布局决策和运行时集成
针对不同批量大小、序列长度和服务模式，分析和优化LLM/VLM/diffusion推理的吞吐量和延迟
负责Transformer特定的优化，包括KVcache管理、解码行为和长上下文性能
启用并优化连续批处理（动态/迭代级调度），了解其对内存、调度和尾延迟的影响
架构并扩展跨多核和多设备系统的分布式推理策略（如分片和并行）
建立可重用的方法，将模型优化扩展到新的硬件架构，创建稳健的模式和工具
调试复杂的性能或稳定性问题，找到根本原因并推动生产就绪的解决方案
优先资格
具有使用Triton或类似DSL开发融合内核以及与ML编译器团队合作的经验
熟悉LLM服务栈和连续批处理（continuous batching）系统
具有数值方法、性能/精度权衡分析或评估框架的背景
拥有相关领域的博士学位
AI 洞察
优缺点分析
优点
- 处于大模型推理优化的核心前沿，技术壁垒高且极具稀缺性，个人技术价值难以被替代
- 依托高通在AI加速器和芯片领域的强大平台，能接触到最底层的硬件与编译器技术
- 参与Cloud AI战略，业务前景广阔，能够影响未来大规模基础模型的推理标准
- 需要同时兼顾软件算法与底层硬件架构，跨领域技术栈深，学习曲线陡峭
- 适合具备深厚AI框架底层经验、对计算机体系结构有浓厚兴趣，且渴望在软硬协同优化领域深耕的资深技术专家
缺点 / 挑战
- 大模型推理优化对性能指标要求极高，调试复杂性能问题和跨团队对齐目标的压力较大
角色解读
- 可向AI系统架构师、首席科学家或技术管理方向发展，成为软硬协同优化领域的稀缺专家
- 在端侧/云侧大模型推理优化这一核心赛道积累深厚壁垒，掌握底层硬件与编译器协同的前沿技术
- 负责将PyTorch等大模型转换为在Qualcomm加速器上高效运行的推理版本，解决图捕获与算子融合问题
- 设计并实现底层优化策略，解决Transformer架构下的内存与延迟瓶颈，优化KVcache与连续批处理
- 与编译器及硬件团队跨部门协作，推动分布式推理策略落地，确保模型从Day0到生产部署的性能达标
- 精通PyTorch及torch.compile等图捕获与编译工具链，具备强大的Python工程能力
- 深入理解Transformer、MoE等模型架构及KVcache等推理优化技术，熟悉分布式系统
- 具备扎实的计算机体系结构基础，能够使用Triton等DSL语言进行底层算子开发
申请策略
- 了解高通Cloud AI平台及最新推理加速器架构，在面试中展现对软硬协同设计的深刻理解与热情
- 突出在PyTorch/torch.compile等框架的底层优化经验及具体性能提升指标（如吞吐量/延迟改善）
- 展示在Transformer/KVcache/连续批处理等LLM推理核心技术上的实战项目与问题解决能力
- 强调跨团队（编译器/硬件）协作推动技术落地的领导力与影响力
- 深入学习Triton等DSL语言及算子融合技术，掌握底层性能调优方法
- 研究最新的LLM Serving系统（如vLLM）及分布式推理并行策略，拓宽系统级视野
面试指南
- 采用STAR法则结合具体数据：说明背景（模型规模/硬件限制）、采取的具体优化手段（图优化/算子融合/内存管理）、最终带来的性能提升（吞吐量/延迟/显存占用改善的具体百分比或倍数）
- 请详细描述你如何使用torch.compile或Triton优化某个具体模型的推理性能？
- 在LLM推理中，KVcache管理面临哪些内存和性能挑战？你是如何优化的？
- 如何设计跨多核/多设备的分布式推理策略以平衡吞吐量和延迟？
- 当遇到复杂的性能瓶颈或稳定性问题时，你的调试思路和工具链是什么？
- 复习Transformer底层计算逻辑及Attention机制的优化变体（如FlashAttention）
- 了解高通AI加速器架构特点及Cloud AI产品线的最新进展，准备相关的技术见解
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
作为跨国半导体巨头的Staff级核心AI技术岗，薪资福利在台湾市场极具竞争力，且公司上市背景提供了较高的稳定性。
薪资信号偏高 (1–16万/月)
成长发展
90较高
岗位处于大模型推理优化这一最前沿领域，能深度接触底层硬件与编译器技术，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈PyTorch、torch.compile、Triton、LLM、VLM、Transformer、KVcache、Distributed Inference
业务类型profit_center
工作生活
60中等
职位未明确提及工作模式与加班情况，但作为跨国巨头的高阶技术岗，通常具备相对规范的福利体系，但核心研发岗可能面临一定的交付压力。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
推动大规模基础模型的高效推理，对AI技术的普及和算力能效提升具有显著的行业推动作用。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
高通 的其他在招职位
相似职位推荐
Watch Jobs