分析类规划设计高级工程师(J14551)

优缺点分析

角色解读

• 可向大数据架构师、AI 专家方向发展，负责更复杂的数据平台和算法模型
• 也可转向半导体制造领域的智能制造或工业4.0专家，成为行业数据科学家
• 在公司内部有机会晋升为技术负责人或管理岗，带领团队推动数字化转型
• 设计和定义支撑制造系统的大数据完整方案与技术路线图
• 针对具体业务场景搭建大数据应用架构，并推动先进统计、机器学习和深度学习方法的落地
• 基于数据分析平台开发生产微服务，提出创新解决方案以提高工厂自动化水平
• 扎实的编程能力，熟练使用 Java、Scala、Python 等至少一种语言在 Linux/Unix 环境下开发
• 深入理解大数据生态，特别是 Spark 及其组件（Spark Streaming、MLlib）
• 掌握统计学、机器学习、深度学习的基本原理，并能应用于实际场景

申请策略

• 在面试中准备一个完整的大数据架构案例，包括选型理由和技术细节
• 关注长江存储的技术博客或公开演讲，提前了解其数据平台现状
• 突出大数据完整方案的设计经验，最好有从0到1的架构案例
• 强调编程能力，列出 Java、Scala、Python 等语言及 Linux 开发经历
• 展示机器学习或深度学习在工业场景的应用成果，如良率预测、异常检测等
• 深入掌握 Spark MLlib 和 Spark Streaming，可学习 Structured Streaming
• 补充半导体制造领域基础知识，了解 MES、设备自动化等概念
• 实践端到端的机器学习项目，从数据采集到模型部署调优

面试指南

• 对于架构问题，采用“业务需求→技术选型→架构设计→难点及优化”的结构
• 对于算法问题，先阐述基本原理，再结合实际业务说明应用及调优经验
• 请描述一个你设计过的大数据完整解决方案架构
• Spark Streaming 如何处理实时数据，如何保证 exactly-once 语义？
• 你在工业场景中如何应用机器学习，遇到的最大挑战是什么？
• 如何选择合适的大数据存储组件（如 HDFS、HBase、Kafka）？
• 请解释梯度提升树（GBDT）的原理及其适用场景
• 复习 Spark 核心概念及调优技巧，尤其是数据倾斜和内存管理