长江存储
大数据开发工程师(J14247)
大数据开发工程师(J14247)
发布于 大约 14 小时前普通员工/个人贡献者
武汉市
高级经验
全职员工
仅现场办公
本科
软件工程
Etl
Hdfs
Numpy
Pyspark
消息队列
非结构化数据
AI 估算 · 20k–35k
5年大数据经验，武汉半导体行业，薪资中等偏上，国企稳定性好。
职位详情
关于这个职位
该职位负责搭建半导体行业的数据底座，涵盖数据采集、存储、治理等全生命周期管理，并主导非结构化大文件的解析与清洗
你将使用Python和Hadoop/Spark等技术栈开发ETL任务，保障数据质量与效率，同时参与数据规范制定和技术沉淀
适合有5年以上大数据经验、希望深入半导体行业的开发者
最低要求
本科及以上学历，计算机相关专业，5年以上大数据开发相关经验，有半导体制造行业经验优先
精通Python编程语言，熟练使用Pandas、NumPy、PySpark等数据处理库，能独立完成复杂数据解析与处理脚本开发
熟悉大数据技术栈，掌握Hadoop、HDFS、Hive、Spark、Flink、消息队列等核心组件的使用，适配大文件存储与分布式处理场景
掌握非结构化数据解析方法，有大文件分片处理、高效解析、分布式落地经验
具备问题排查与性能优化能力，能解决大数据处理中的卡顿、解析失败、数据不一致等问题，保障链路稳定性
具备良好的代码规范与文档编写能力，能沉淀技术方案、开发文档，支持团队协作与知识传承
工作职责
主导半导体行业数据底座建设，搭建数据采集、存储、治理及服务体系，支撑业务数据全生命周期管理
负责非结构化大文件的解析、清洗、结构化转化与入库，保障数据质量与解析效率
基于Python进行大数据相关开发，包括数据处理脚本、解析工具、ETL任务开发，适配半导体业务场景的数据需求
参与数据规范制定，沉淀非结构化数据解析、数据底座运维的技术方案与最佳实践
优先资格
有半导体行业数据中台落地经验
AI 洞察
优缺点分析
优点
- 半导体行业前景好，长江存储是国产存储龙头，平台稳定
- 技术栈全面，涵盖主流大数据组件，技能积累深厚
- 主导数据底座建设，有较大技术话语权
- 半导体行业数据场景复杂，业务理解成本高
- 国企氛围可能相对保守，创新节奏可能较慢
- 适合有5年以上大数据经验、技术全面、希望进入半导体行业深耕的工程师
缺点 / 挑战
- 需要处理非结构化大文件，技术挑战大，对解析效率要求高
角色解读
- 可向大数据架构师或数据平台负责人方向发展
- 在半导体行业深耕，成为行业数据专家
- 或转向AI/数据科学领域，结合大数据和机器学习
- 主导半导体行业数据底座建设，包括数据采集、存储、治理等全生命周期管理
- 负责非结构化大文件的解析、清洗和结构化转化
- 使用Python进行大数据开发，包括ETL任务和数据处理脚本
- 参与数据规范制定和技术方案沉淀
- 精通Python及Pandas、NumPy、PySpark等数据处理库
- 熟悉Hadoop、Hive、Spark、Flink等大数据技术栈
- 掌握非结构化数据解析和大文件处理
- 具备问题排查和性能优化能力
申请策略
- 准备一个完整的项目案例，展示从数据采集到治理的end-to-end方案
- 关注长江存储的技术栈和业务方向，提前了解
- 突出大数据项目经验，特别是数据底座、数据中台建设
- 强调非结构化数据处理和大文件解析的经验
- 展示Python编程能力，包括Pandas、PySpark等库的使用
- 半导体行业相关经验加分
- 深入理解Hadoop/Spark原理，尤其是分布式文件系统和计算
- 学习或巩固非结构化数据解析技术（如PDF、图像等）
面试指南
- STAR法则：情境、任务、行动、结果
- 技术问题先讲原理，再结合项目经验
- 准备细节，如数据量、性能指标
- 你在之前的工作中是如何设计数据底座架构的？
- 如何处理大文件解析？遇到过哪些性能问题，如何优化？
- 解释Spark和Flink在处理流数据时的区别？
- 如何保证数据质量和一致性？
- 你为什么对半导体行业感兴趣？
职位点评
71
综合评分
半导体行业大数据岗，技术主流，稳定国企，WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求行业前景和技术成长的求职者，对WLB要求不极端。
表现最好
使命价值
相对薄弱
工作生活
薪资福利70
成长发展75
工作生活60
使命价值85
薪资福利
70中等
薪资未明确，但国企通常有稳定福利和保障，待遇处于行业中上水平。
薪资信号未披露（AI估算：20K-35K/月）
成长发展
75中等
技术栈主流，有较大成长空间，但国企晋升路径可能较慢。
技术前沿主流现代技术
技术栈Python、Pandas、PySpark、Hadoop、Hive、Spark、Flink
业务类型ambiguous
工作生活
60中等
仅现场办公，未提及弹性工时或WLB，但国企通常工作节奏较稳定。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
半导体行业高速增长，国产替代意义重大，技术积极创新。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
长江存储 的其他在招职位
相似职位推荐
Watch Jobs