Machine Learning and Computer Vision Algorithm Engineer

优缺点分析

角色解读

• 技术专家路线：深耕特定领域（如生成式AI端侧化、视觉算法优化），成为该领域的技术权威和架构师，主导核心技术方向
• 全栈AI平台架构师：从算法延伸到系统软件、硬件协同设计，成为连接算法、软件与芯片的桥梁型专家
• 研究科学家路线：如果对前沿理论（如自监督学习、新架构）有浓厚兴趣，可向更偏向研究与创新的角色发展
• 为联发科的移动终端、车载等设备的核心AI芯片（NPU）开发、优化并部署高性能的视觉与视频AI算法，让AI功能在硬件上高效运行
• 探索前沿的生成式AI模型（如大模型）的轻量化与端侧部署方案，解决模型在资源受限设备上的性能和效果平衡问题
• 开发和维护AI算法从训练到部署的全链路软件平台，包括设备端和数据中心的分布式计算系统
• 扎实的深度学习算法基础与工程实现能力，精通PyTorch等框架，能独立进行模型开发、训练与优化
• 精通C++/Python编程，并具备CUDA、Triton等GPU/专用加速器内核优化经验，以榨取硬件极致性能
• 熟悉移动端AI部署框架（如TFLite, ONNX）和生成式AI服务框架（如vLLM），具备从模型到产品的全栈部署能力
• 良好的软件工程素养，理解分布式系统设计，能开发高可用、高性能的训练与推理平台

申请策略

• 深入研究联发科（MediaTek）的NPU（如APU）产品线及其AI软件平台（如NeuroPilot），在面试中展示你对其技术生态的了解
• 准备一个能体现你“算法+工程+硬件”综合思维的项目案例，说明你是如何在性能、功耗、精度之间做权衡的
• 重点突出使用PyTorch/TensorFlow等框架进行深度学习模型开发、训练与优化的项目经验，最好有模型压缩、量化、部署到实际设备（手机/嵌入式）的案例
• 强调C++/Python编程能力，以及使用CUDA/Triton进行算子开发或内核优化的实践经验
• 如果涉及分布式训练/推理、AI平台开发经验，务必清晰描述架构设计和解决的具体技术挑战
• 展示对AI模型（尤其是视觉、生成式AI领域）在资源受限环境下性能优化的思考和实践
• 深入学习移动端/嵌入式AI部署框架（TFLite, ONNX Runtime, ExecuTorch），并实际部署一个模型
• 研究生成式AI模型（如Stable Diffusion, LLM）的端侧部署技术，了解LoRA、量化、蒸馏等轻量化方法

面试指南

• 遵循STAR原则（情境、任务、行动、结果），重点描述你分析和解决技术难题的过程，而不仅仅是结果
• 在回答技术问题时，先阐述核心原理，再结合具体工具（如Triton, vLLM）或实际场景进行说明，体现深度
• 当被问及协作或系统设计时，展现你的“软硬件协同设计”思维，强调理解对方领域知识的重要性
• 请介绍一个你做过最具挑战性的AI模型优化或部署项目，遇到的困难是什么？如何解决的？
• 生成式AI模型（如LLM或图像生成模型）在手机等边缘设备上运行，主要挑战有哪些？你会如何解决？
• 你如何衡量和优化一个AI模型在特定硬件上的推理性能（延迟、吞吐量、功耗）？
• 请解释一下CUDA中的线程层级和内存模型，并描述你如何使用这些知识优化一个计算内核
• 在你看来，算法工程师与芯片架构师应该如何协作，才能设计出更高效的AI系统？