多模态算法工程师（模型优化方向）/ Multimodal Algorithm Engineer (Model Optimization)

优缺点分析

角色解读

• 在AMD可成长为多模态AI算法专家，深入参与前沿技术研发，积累全栈优化经验
• 有机会向技术专家或技术负责人发展，带领团队攻克具身智能、模型优化等难题
• 未来可跳槽至其他AI芯片公司或机器人领域，担任高级算法研究岗
• 负责多模态大模型（VLM/VLA/WAM）的训练、微调和对齐，提升模型在具身智能场景下的表现
• 设计和实现模型优化技术，如量化、剪枝、知识蒸馏和KV缓存优化，以降低延迟和提高吞吐量
• 与编译器、驱动和系统软件团队协作，将算法深度集成到AMD的软件栈和硬件平台上
• 扎实的深度学习基础，精通PyTorch，熟悉多模态和具身AI框架
• 有VLM、VLA或World Action Models的实践经验，了解机器人决策或模拟训练
• 掌握模型优化技术：量化、剪枝、知识蒸馏等，有GPU/加速器架构知识更佳
• 较强的软件工程能力，能从研究原型到生产部署全周期开发

申请策略

• 仔细研究AMD的技术博客和开源项目（如ROCm），面试时展示对AMD软件栈的理解
• 准备一个端到端的项目案例，从模型训练到部署优化，体现全栈思维
• 突出VLM/VLA/WAM相关项目经验，特别是训练、微调、量化、部署等全流程经历
• 重点展示PyTorch编程能力和模型优化成果（如加速比、压缩率等量化指标）
• 如有顶级会议论文或开源项目贡献（如OpenVLA、DROID），务必突出
• 强调与硬件优化相关的经验，如CUDA/HIP、GPU内核优化或AMD ROCm平台使用
• 如果缺少具身AI经验，可自学Isaac Gym、MuJoCo等仿真平台，练习动作生成或世界模型
• 深入掌握模型量化工具（如PyTorch的量化模块、TensorRT、ONNX Runtime），并动手实践

面试指南

• 对于项目经验问题，采用STAR法则：背景、任务、行动、结果，重点突出个人贡献和技术细节
• 对于优化技术问题，先阐述理论基础，再结合实际经验，说明权衡和选择依据
• 对于系统性能问题，从计算图、内存层次、并行性等角度分析，体现出对硬件架构的理解
• 请详细介绍你参与的一个VLM/VLA项目，包括模型架构、训练策略和遇到的挑战
• 解释PTQ和QAT的区别，并举例说明在什么场景下选择哪种量化方式
• 如何优化一个多模态模型的推理延迟？请从系统层面（算子融合、内存带宽）和算法层面（剪枝、蒸馏）分别阐述
• 你对World Action Models的理解是什么？它与传统规划方法相比有何优势？
• 在GPU上优化大规模模型时，如何分析和解决性能瓶颈？