MaaS模型评测高级工程师

优缺点分析

角色解读

• 在AI质量保障领域深耕，成为大模型评测专家或质量架构师
• 向模型开发或AI Infra方向转型，深度参与模型训练与优化
• 随着经验积累，可晋升为技术负责人或团队管理者，带领评测团队
• 负责腾讯云MaaS产品的质量保障和稳定性体系建设，识别全链路质量风险并推动解决
• 进行大模型的评测工作，包括构建评测体系、设计评测集，以及开发评测工具和平台
• 跟踪业界评测基准（如MMLU、AgentBench）和主流模型的发展动态，保持技术前沿
• 推动评测流程的工程化和自动化，提升效率并减少人工干预
• 精通Python编程，具备良好的编码风格和程序开发能力
• 熟悉大模型训练或评估方法，了解主流评测基准和指标
• 了解推理框架（如sglang、vllm）的部署和使用
• 具备优秀的沟通协调能力和团队协作意识，有项目管理经验更佳

申请策略

• 深入了解腾讯云MaaS产品线和AI战略，在面试中展现对业务的思考
• 准备一段关于评测体系建设的想法或改进方案，体现主动性和深度
• 突出大模型相关项目经验，包括模型训练、评估或评测工具开发
• 展示Python编程能力，可附上GitHub代码仓库或技术博客
• 如有参与过开源评测基准或框架的贡献，重点体现
• 强调对业界模型（如GPT、Llama、kimi等）的了解和使用经验
• 学习主流大模型评测方法（如MMLU、HumanEval）并动手实践
• 熟悉推理框架（如vllm）的部署和使用，了解其性能特点

面试指南

• 对于技术问题，采用“概念+方法+实践”的层次，先解释原理，再举例说明，最后结合自身经验
• 对于项目经历问题，使用STAR法则（情境、任务、行动、结果）清晰阐述
• 对于开放性问题，可从现状分析、挑战、解决方案、预期效果等方面展开
• 请介绍一下大模型评测的主要方法和常用基准？
• 如何设计一个高质量的评测集？需要注意哪些方面？
• 你如何理解MaaS产品的质量保障？与传统软件质量保障有什么区别？
• 谈谈你使用过的大模型，比较它们的优势和不足
• 如果评测流程效率低下，你会如何优化？