海尔
数据评测与性能提升高级工程师
数据评测与性能提升高级工程师
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Automl
CI/CD
Llm Agent
Pytorch
模型评测
鲁棒性测试
异构Gpu适配
值不值得投
75综合评分
综合评分 75
工业AI大模型评测核心岗，技术前沿且成长空间大，薪资具竞争力，工作强度需做好心理准备。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4万
比算法优化工程师中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 390 个在招
市场机会
选择面较广
北京 · 算法优化工程师 · 约 310 个在招
职位详情
关于这个职位
该职位负责构建工业AI大模型及视觉等方向的评测体系与Benchmark基线，设计并实施大规模自动化评测流程
你需要通过深度分析模型评测结果定位效果瓶颈，推动模型优化闭环，并参与异构GPU适配与性能监控，确保模型在真实工业场景中的高质量与高鲁棒性
最低要求
硕士及以上学历，计算机、人工智能、软件工程、数学等相关专业，211/双一流院校优先
年以上AI算法或模型评测相关经验，有华为等头部企业AI研发经验者优先
具备大规模Benchmark建设和评测流程设计经验，有1000+数据集量级自动测评实操经历
精通Python和PyTorch，熟练编写自动化训练、测试与回归脚本
熟悉LLM Agent评测方法，有Agent轨迹跟踪、自动评测、效果量化分析的实际经验
了解AutoML、模型推荐、集成学习等自动化建模方法，具备实验链路设计与数据分析能力
熟悉CI/CD流水线、Linux开发环境，具备良好的代码规范与文档输出能力
工作职责
评测体系构建与Benchmark基线制定：主导面向工业AI各方向（大模型、视觉、预测等）的评测体系设计与建设，覆盖模型效果、鲁棒性、泛化能力、响应延迟等多维度指标
制定统一的Benchmark基线标准，从公开数据集和工业实际场景收集、清洗、标准化测试数据集，构建3000+数据量级的高质量测评库
设计分层次评测方案（L1/L2/L3），覆盖基础能力、场景泛化、极限边界等不同级别的测试要求
大规模自动化评测流程建设：构建大规模自动测评流程，支持多模型批量测试、指标自动计算、性能趋势分析与问题定位
设计自动化回归脚本体系，配合CI/CD流水线实现模型版本迭代的自动回归验证，确保模型质量不退化
建立标准化测试集维护机制，包括数据集版本管理、标注一致性核查、测试用例持续扩充
模型效果分析与优化闭环：对模型评测结果进行深度分析，定位效果瓶颈（数据处理、模型选择、超参配置等环节），输出可执行的优化建议
建立Agent驱动的自动评测与实验反馈闭环，将任务理解、动作选择、确定性工具执行、实验反馈和自动评测组织为可迭代流程
跟踪模型在多任务、多场景下的性能分布，识别长尾失败模式，推动针对性优化
模型质量管控与鲁棒性验收：制定工业场景模型上线前的质量验收流程，包含准确性、稳定性、对抗鲁棒性、边界条件等多维度验收标准
设计对抗测试、压力测试、异常输入测试等鲁棒性验证方案，确保模型在真实工业环境中稳定可靠
异构GPU适配与性能监控（协同）：协同团队完成模型在异构工业级GPU（NVIDIA/Ascend等）上的适配评测，输出各平台的性能基准报告
参与模型推理性能监控体系（K8s集群监控），持续跟踪线上模型推理延迟、吞吐与资源利用率
优先资格
有OmniTableBench、GLUE、SuperGLUE、MMLU等大型Benchmark建设经验
在多模态、表格学习、时序预测等方向有模型评测和效果分析的实战经验
有跨团队协作推动评测标准落地的经验，能推动各算法团队统一评测规范
在ICLR/NeurIPS/ICML等顶会或ACM Computing Surveys级别期刊有论文发表
AI 洞察
优缺点分析
优点
- 处于工业AI与大模型落地的核心环节，能积累丰富的Benchmark构建与模型调优经验
- 需要处理海量数据集和复杂的评测指标，对代码能力和工程化思维要求极高
- 跨团队推动评测标准落地可能面临沟通与协调成本
- 具备扎实算法基础与工程化能力，对模型评测、性能优化及大模型落地有浓厚兴趣的AI研发或测试开发人才
缺点 / 挑战
- 依托丰富的工业场景，能接触到真实且复杂的工业级AI应用，技术壁垒较高
角色解读
- 可向AI评测专家、算法架构师或AI质量保障负责人方向发展，深耕工业AI落地与模型效能提升领域
- 构建工业AI大模型及视觉等方向的评测体系与Benchmark基线，设计大规模自动化评测流程
- 深度分析模型评测结果，定位效果瓶颈并推动优化闭环，同时参与异构GPU适配与线上性能监控
- 精通Python和PyTorch，具备大规模Benchmark建设和自动化评测流程设计经验
- 熟悉LLM Agent评测方法、CI/CD流水线及Linux开发环境，了解AutoML等自动化建模方法
申请策略
- 了解海尔在工业大模型和智能制造方面的业务布局，准备关于如何将通用评测标准适配到具体工业场景的思考
- 突出大规模Benchmark建设经验、自动化评测流程设计以及Python/PyTorch工程能力
- 展示在LLM Agent评测、多模态或时序预测等方向的实际项目成果与数据指标提升
- 深入学习LLM Agent的轨迹跟踪与自动评测方法，熟悉K8s集群监控与异构GPU的适配原理
面试指南
- 采用STAR法则，结合具体项目背景，详细说明评测指标设计、自动化工具链搭建、问题定位过程及最终的业务收益
- 如何设计一个针对工业大模型的L1/L2/L3分层次评测方案？
- 在构建大规模自动化评测流程时，如何保证测试集的质量与标注一致性？
- 请分享一个你通过评测结果定位模型效果瓶颈并成功优化的案例
- 如何评估LLM Agent在多任务场景下的性能分布与长尾失败模式？
- 复习主流Benchmark的设计思路，准备自己主导或参与的评测体系构建案例，了解海尔在智能制造和工业互联网平台的AI应用场景
职位点评
薪资福利75
成长发展85
工作生活60
使命价值75
薪资福利
75中等
该岗位对AI算法与评测经验要求较高，薪资水平在北京市场具有竞争力，且上市企业福利体系相对完善。
薪资信号未披露（AI估算：3千–5万/月）
成长发展
85较高
岗位涉及大模型、Agent评测及异构GPU适配等前沿技术，能深度参与工业AI核心链路，技术成长空间大。
技术前沿前沿/新兴技术
技术栈Python、PyTorch、LLM Agent、AutoML、CI/CD、K8s、NVIDIA/Ascend
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式与加班情况，但作为高级技术岗且涉及大规模自动化流程建设，可能存在一定的工作强度。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
推动工业AI大模型落地，赋能智能制造与工业场景，具有较高的产业价值与社会意义。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs