Software Engineer, LLM Inference

优缺点分析

角色解读

• 你可以沿着技术专家路径，深入GPU体系结构和AI编译器/运行时领域，成为推理引擎或系统优化的架构师
• 你也可以转向AI平台或解决方案架构师角色，利用对推理技术的深度理解，为更广泛的客户和业务提供顶层设计
• 在英伟达这样的技术驱动型公司，顶尖的工程师有机会参与定义下一代计算范式，影响力巨大
• 你将开发和优化基于NVIDIA GPU的LLM推理引擎，确保其在各类硬件和场景下高效运行
• 你需要深入分析推理性能瓶颈，进行算法和系统层面的极致调优
• 你需要追踪最前沿的AI论文和技术动态，将创新成果整合到公司的核心推理产品中
• 你需要作为技术桥梁，与研究团队、产品团队及其他软件团队紧密合作，共同定义和实现AI推理的技术路线图
• 你需要精通C/C++编程，具备深厚的系统软件设计、调试和性能剖析能力
• 你需要掌握CUDA、TensorRT等NVIDIA GPU加速库，并拥有使用PyTorch等主流深度学习框架进行开发和研究的实战经验
• 你需要对大语言模型、生成式模型等前沿AI技术有深刻理解和强烈兴趣
• 你需要具备优秀的跨团队沟通和客户支持能力，能够清晰地表达技术方案并推动协作

申请策略

• 仔细阅读职位描述，理解‘LLM Inference’与‘CPU computing engineer’描述的矛盾点，并在面试中礼貌地寻求澄清
• 研究英伟达在AI推理方面的最新技术博客和发布会（如GTC），将你的理解融入简历和面试准备中
• 重点展示在C/C++系统软件、GPU编程（CUDA/OpenCL）或深度学习框架方面的深度项目经验，特别是涉及性能分析和优化的部分
• 明确列出使用过的AI推理相关工具和库（如TensorRT, ONNX Runtime, vLLM等），以及对LLM/Transformer架构的理解
• 突出独立解决复杂技术问题的案例，以及与跨职能团队（如研究、产品）成功协作的经历
• 深入研究NVIDIA TensorRT的官方文档和源码，尝试在自定义模型上实践推理优化全流程
• 学习和实践大模型推理的关键技术，如量化（INT8/INT4）、KV Cache优化、算子融合等
• 提升技术写作和演讲能力，以便更好地在面试和未来工作中进行技术沟通

面试指南

• 对于技术优化问题，采用STAR法则（情境、任务、行动、结果）结构化回答，重点突出你的分析思路和量化结果
• 对于技术深度问题，结合具体工具（如TensorRT）和实践经验（如量化、算子融合）来阐述，展现系统性思考
• 对于软技能问题，用具体事例证明你的沟通、协作和解决问题的能力，体现与职位要求的匹配度
• 请介绍一个你优化过的性能瓶颈案例，你是如何定位问题、提出解决方案并最终实现性能提升的？
• 你如何理解大语言模型（LLM）推理过程中的主要性能挑战？请结合TensorRT或类似工具，谈谈可能的优化思路
• 你如何保持对AI和深度学习领域最新发展的跟进？最近有读到哪些让你印象深刻的论文或技术？
• 描述一次你与产品或研究团队产生技术分歧的经历，你是如何解决的？
• 为什么对英伟达的LLM推理岗位感兴趣？你认为你能为团队带来什么？