英伟达
AI Computing Software Development Engineer, TensorRT-LLM
AI Computing Software Development Engineer, TensorRT-LLM
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Huggingface
Llm推理
Pytorch
Tensorrt-Llm
性能优化
值不值得投
82综合评分
综合评分 82
顶尖AI基建平台、前沿技术驱动、高薪高成长，但工作节奏快、WLB一般
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.5万
与机器学习工程中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 330 个在招 · 其中机器学习工程 16 个
市场机会
选择不多
台北 · 机器学习工程 · 7 个在招
职位详情
关于这个职位
负责基于TensorRT-LLM框架的大语言模型推理软件开发与性能优化
需掌握Python/C++及CUDA编程，深入理解LLM架构与推理技术，密切跟踪AI前沿动态并迭代框架功能，协同软硬件团队推进AI推理栈的创新
最低要求
计算机工程、计算机科学、应用数学或相关计算方向硕士及以上学历（或同等经验）
年以上相关软件开发经验
优秀的Python编程、软件设计及软件工程能力
了解最新的LLM架构和LLM推理技术进展
具备PyTorch和HuggingFace等深度学习框架使用经验
具备主动性且能独立工作
优秀的英文书面和口头沟通能力
工作职责
开发可跨多平台扩展的健壮推理软件，兼顾功能性与性能
对大语言模型（LLM）推理进行性能分析与优化
密切跟踪人工智能领域的学术与工业界发展，持续更新TensorRT-LLM功能
实现内核与运行时特性，以支持新型LLM模型及推理算法
为架构设计和硬件开发提供反馈
跨部门协作，指导深度学习推理方向，与软件、研究和产品团队合作
优先资格
有LLM推理框架（如TensorRT-LLM、SGLang、vLLM、llama.cpp、MLC-LLM等）或DL编译器在推理、部署、算法或实现方面的经验者优先
深入了解LLM推理框架底层操作或端到端工作流
具备DL/HPC/高性能应用的性能建模、分析、调试和代码优化经验
优秀的C/C++编程和软件设计能力，包括调试、性能分析和测试设计
具备CPU和GPU架构知识
有GPU编程经验（CUDA或OpenCL）
AI 洞察
优缺点分析
优点
- 身处全球AI算力核心企业，接触最前沿的LLM推理技术与顶级硬件生态
- 技术栈极具含金量，CUDA与高性能计算经验在就业市场高度稀缺且溢价高
- 扁平化创新文化，直接参与影响全球AI产业的基础设施开发
- 技术迭代极快，需持续高强度学习最新论文与框架动态
- 性能优化工作对底层原理要求极高，调试复杂度高
- 跨部门协作频繁，需在快速交付与代码质量间保持平衡
- 适合对AI底层系统充满热情、具备扎实计算机基础与强自驱力、追求技术深度并能适应快节奏研发环境的工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI基础设施架构师、深度学习编译器专家或高级研究科学家方向发展
- 随着大模型生态扩张，有机会主导核心推理引擎的技术路线规划，成为行业顶尖的AI系统工程专家
- 负责大语言模型推理引擎的核心开发与性能调优，确保软件在多平台上的高效运行
- 紧密追踪AI学术界与产业界前沿动态，持续迭代TensorRT-LLM功能
- 跨团队协作，将软件需求反馈至硬件与架构设计，推动深度学习推理栈的整体演进
- 精通Python与C/C++编程，具备扎实的软件工程与系统设计能力
- 熟练掌握PyTorch、HuggingFace等主流深度学习框架
- 深入理解LLM架构原理及推理加速技术
- 具备GPU编程（CUDA/OpenCL）及高性能计算性能分析调优经验
申请策略
- 关注NVIDIA官方开发者博客与技术会议发布的最新论文，面试前准备1-2个针对特定模型推理瓶颈的深度分析方案
- 突出LLM推理框架实战经验与性能优化案例，量化展示加速比提升或内存占用降低的具体指标
- 强调Python/C++双栈能力及CUDA并行编程项目经历
- 体现跨团队协作解决复杂系统问题的成果
- 深入研读Transformer架构与KV Cache等推理加速核心技术
- 系统学习性能剖析工具（如Nsight Systems/Compute）的使用
- 补充分布式训练与推理部署的实际项目经验
面试指南
- 采用STAR法则结构化回答：明确问题背景与目标，阐述技术选型依据与具体实施步骤，展示量化结果与复盘反思
- 对于架构对比题，从计算图编译、内存管理、并发调度三个维度展开对比分析
- 请描述你优化过的一款深度学习模型推理性能的具体过程与关键指标
- 如何设计一个支持多批次动态长度的LLM推理调度器？
- 对比TensorRT-LLM与vLLM的架构差异，你认为各自的优劣是什么？
- 请解释CUDA中Shared Memory与Global Memory的性能差异及优化策略
- 复习计算机体系结构（缓存一致性、SIMD/SIMT）与操作系统基础
- 熟悉主流LLM推理框架的源码级实现逻辑
职位点评
薪资福利85
成长发展92
工作生活60
使命价值88
薪资福利
85较高
JD明确提及提供具有竞争力的薪酬与丰厚福利包，结合该岗位对硕士学历及3年以上核心框架经验的要求，整体薪酬待遇处于行业高位，能有效满足经济回报诉求。
薪资信号偏高 (2.5千–4.5万/月)
福利待遇竞争性薪酬、丰厚的福利包
成长发展
92较高
JD显示岗位直接参与LLM推理引擎核心研发，接触前沿AI架构与高性能计算技术，技术成长空间大，职业发展空间广阔。
技术前沿前沿/新兴技术
技术栈TensorRT-LLM、LLM推理、CUDA、PyTorch、HuggingFace、性能优化
业务类型profit_center
工作生活
60中等
JD未明确提及弹性工作制或远程安排，且强调“快速交付导向”与“热爱挑战”，工作节奏可能较快，WLB存在一定压力。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
88较高
致力于推动生成式AI与大模型技术的边界突破，其开发的推理软件将广泛应用于全球AI产品线，具有显著的行业影响力与社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号推动最先进的AI和计算系统边界、帮助构建全球使用的GPU加速DL平台
创新程度积极采用新技术
英伟达 的其他在招职位
相似职位推荐
Watch Jobs