Ai Infra 专家

优缺点分析

角色解读

• 可向首席AI架构师或技术总监方向发展，深耕大模型基础设施领域，主导公司AI算力底座建设
• 也可转向AI芯片原厂或头部云厂商的核心引擎团队，负责下一代推理框架的研发与商业化落地
• 负责大模型推理系统的底层部署与性能调优，解决高并发场景下的首字延迟与吞吐量瓶颈
• 深入GPU/NPU硬件层进行编程与通信优化，提升算力利用率并保障线上服务SLA达标
• 跟踪并落地最新的推理加速框架与算法，完成新技术在异构硬件平台上的适配与验证
• 精通Python/C++高性能编程，熟练掌握CUDA/Triton等GPU计算框架及性能剖析工具
• 深刻理解Transformer架构及各类注意力机制优化技术，具备模型压缩与量化实战经验
• 熟悉GPU集群通信协议(NCCL/RDMA)及分布式训练/推理架构，能独立排查跨节点通信瓶颈

申请策略

• 准备详细的性能优化案例STAR法则陈述，重点说明如何定位瓶颈、设计实验及验证效果
• 提前调研该公司在AI算力服务方面的业务布局，展现技术落地与商业价值的结合思考
• 突出CUDA/Triton实际开发案例及具体的性能提升百分比数据
• 详细列出参与的大模型部署规模(参数量/并发数)及解决的关键延迟瓶颈
• 强调对开源推理框架的代码贡献、相关专利或顶会论文发表情况
• 补充NCCL/RDMA网络通信原理及实际调优经验，熟悉多机多卡互联拓扑
• 深入研究主流推理引擎(vLLM/TensorRT-LLM)源码架构与调度策略
• 了解国产AI芯片(昇腾/海光)的异构计算生态与迁移适配流程

面试指南

• 采用“背景-行动-结果”结构，量化性能提升比例与资源节省情况
• 结合硬件特性(Cache/带宽/内存带宽)解释优化原理，避免空谈理论
• 展示系统性思维，涵盖算子级、内核级到集群级的全栈优化视角
• 请分享一次你通过CUDA/Triton优化算子性能的具体案例，瓶颈在哪里？
• 如何保证大模型高并发推理下的TTFT和TPOT指标满足严格SLA？
• NCCL通信在跨节点推理中常见的性能损耗有哪些？如何优化？
• 面对显存碎片化或OOM问题，你的排查思路与解决方案是什么？
• 复习计算机体系结构基础知识(内存层次、缓存一致性、NUMA架构)