AI Computing Development Engineer, TensorRT and TensorRT-LLM AIGV

优缺点分析

角色解读

• 技术深度方向：成为GPU推理优化专家，深入底层架构，发表顶会论文
• 技术广度方向：横向扩展至整个AI软件栈（训练、部署），参与不同产品线
• 技术领导方向：逐步承担更大模块的技术所有权，成长为技术负责人或架构师
• 开发和优化NVIDIA核心推理引擎TensorRT/TensorRT-LLM，确保AI模型在GPU上高效运行
• 对深度学习推理工作负载进行性能分析、调优，并跟踪最新AI进展集成到软件中
• 与硬件、软件和研究团队协作，反馈架构改进，参与跨团队项目
• 精通Python或C/C++，具备扎实的软件设计、调试和性能分析能力
• 熟悉深度学习框架（如PyTorch）和推理库（TensorRT、vLLM等），理解生成式AI、多模态模型等前沿技术
• 具备较强的独立解决问题和跨团队协作能力，英语沟通流利

申请策略

• 在简历中清晰量化个人贡献（如降低延迟XX%、提升吞吐XX倍）
• 面试前准备一个端到端的推理优化案例，包括问题分析、优化方案和结果
• 突出深度学习推理优化经验，如使用TensorRT、ONNX Runtime等加速模型的具体项目
• 强调C++/Python高性能编程能力，如多线程、SIMD、内存优化、性能调优案例
• 展示对AI前沿技术的了解，如生成式AI、大语言模型、多模态等，体现技术热情
• 如果没有TensorRT经验，建议先学习官方文档和示例，尝试优化一个简单模型
• 提升GPU编程知识，如CUDA编程模型、GPU内存层次结构等
• 阅读NVIDIA最新技术博客和会议论文，了解推理优化趋势

面试指南

• 对于技术问题，采用STAR原则：背景、任务、行动、结果，突出量化成果
• 对于开放性问题，先说明核心思路，再逐步细化，展示系统思维
• 对于优化类问题，从宏观到微观：先分析瓶颈，再选择优化策略，最后验证
• 请解释TensorRT的优化流程，如层融合、量化、动态形状处理等
• 如何对一个PyTorch模型进行性能分析和瓶颈定位？你会使用哪些工具？
• 在C++项目中，你如何处理内存管理以避免泄漏和提高性能？
• 请描述你在深度学习推理加速中遇到的一个挑战及解决方法
• 你对生成式AI中的推理优化有哪些了解？（如KV Cache优化、连续批处理）