AI Computing Software Development Engineer, LLM Inference

优缺点分析

角色解读

• 技术深耕：成为AI推理领域的专家，参与下一代GPU架构设计
• 跨团队发展：向深度学习全栈方向扩展，包括训练框架、编译器、模型优化
• 技术领导力：带领小团队或项目，主导关键特性研发
• 设计和开发TensorRT LLM推理软件，实现高性能的GPU推理引擎
• 对现有推理系统进行性能分析和优化，包括内存、计算和通信瓶颈
• 跟踪最新的AI研究，特别是LLM架构和推理加速技术，并将其转化为软件改进
• 与硬件、研究和产品团队协作，推动推理技术方向的决策
• 精通C/C++编程，具备系统级软件开发和调试能力
• 深入理解深度学习框架（如PyTorch、TensorFlow）和GPU编程模型（CUDA）
• 熟悉大语言模型（LLM）的推理流程和常见优化技术（如量化、剪枝、KV缓存）
• 良好的性能分析工具使用经验（如NVIDIA Nsight、Profile等）

申请策略

• 关注NVIDIA的技术博客和GTC演讲，展示对公司的了解
• 面试中强调对性能优化的热情和系统性思维
• 突出C++项目经验，特别是性能优化和系统级开发
• 展示深度学习框架使用经验，尤其是模型部署或推理优化相关
• 如果有LLM或GPU编程经验，务必详细描述
• 强调学术背景与AI领域的相关性，如论文或开源贡献
• 复习CUDA编程和GPU内存模型，熟悉TensorRT基本用法
• 学习LLM推理优化技术（如FlashAttention、GPTQ等）

面试指南

• 使用STAR方法回答行为问题：情境、任务、行动、结果
• 技术问题：先明确问题定义，然后分步骤分析（瓶颈定位、优化方案、实验验证）
• 系统设计问题：从架构层面考虑，权衡性能与可维护性
• 如何优化一个LLM推理服务的延迟和吞吐量？
• 解释TensorRT的工作原理，以及它如何加速深度学习推理
• 你如何调试一个GPU程序的性能瓶颈？请给出具体步骤
• 描述你过去参与的一个性能优化项目，挑战和结果是什么？
• 你对LLM的最新趋势有什么了解？请举例说明