GE医疗
Large Language Model R&D Engineer
Large Language Model R&D Engineer
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Llm
Lora/Qlora
Onnx Runtime
Pytorch
Tensorrt
Vlm
智能体(Agent)
模型量化
值不值得投
79综合评分
综合评分 79
前沿多模态AI研发、外企稳定平台、医疗场景落地强，WLB预期良好但需适应合规流程
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.8万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 160 个在招
市场机会
选择面较广
上海 · 机器学习工程 · 约 380 个在招
职位详情
关于这个职位
负责基于开源基座模型微调与优化大语言模型（LLM）、视觉语言模型（VLM）及多模态模型，构建面向医疗设备与软件自动化控制的GUI识别与智能体（Agent）
不涉及大规模预训练，侧重模型轻量化部署、推理加速及在医疗场景的落地验证
最低要求
学历要求：计算机科学、人工智能、模式识别、生物医学工程或相关领域的硕士及以上学历
基础知识：深入理解Transformer架构、LLM、VLM及PyTorch
具备SFT和参数高效微调（如LoRA/QLoRA）的全流程实操经验
必备技能：熟悉VLM（如LLaVA）、GUI/截图视觉理解及自动控制任务
掌握嵌入模型、RAG及ASR模型调优
了解知识蒸馏、量化剪枝、TensorRT及ONNX Runtime
熟练使用Python和Linux，能独立完成数据集构建、模型训练评估及转换部署
工作职责
多模态微调与智能体开发：使用PEFT方法（LoRA/QLoRA、SFT、DPO）对LLM、VLM、嵌入及音频模型进行微调
为设备与软件自动化交付GUI识别、UI元素定位、指令理解、任务规划及工具调用能力
数据构建、评估与可追溯性：从软件截图、工作流、设备命令及音频交互中构建多模态数据集，完成收集、清洗、标注与增强
建立自动化评估体系监控识别准确率、指令遵循成功率、幻觉率与鲁棒性
维护版本控制与实验记录以确保研发可追溯
模型优化与部署：应用知识蒸馏、剪枝及INT4/INT8量化技术降低模型体积、内存与计算成本并保持精度
通过KV缓存、算子融合与内存复用优化推理性能
使用TensorRT和ONNX Runtime将模型转换并本地化部署以满足延迟与吞吐量目标
集成、验证与研究：与工程团队协作，将VLM界面识别、LLM规划、嵌入检索及ASR理解整合至自动化智能体循环中
支持模型验证、性能测试、技术文档编写、风险分析及边界案例测试，并持续评估新兴VLM、Agent、GUI及轻量级模型技术
优先资格
具有医疗器械、医学影像后处理软件、医疗设备AI或医疗器械软件质量体系的相关经验
具备智能体开发、工具调用及LangChain/LangGraph等编排框架的实战经验
有针对嵌入式或算力受限本地设备的模型优化经验，熟悉C++、推理SDK或向量数据库
AI 洞察
优缺点分析
优点
- 依托全球化平台，接触真实医疗临床场景与高标准合规要求
- 技术栈覆盖当前最前沿的多模态大模型与端侧部署，项目落地性强
- 企业文化注重职业培训与协作，福利体系完善
- 医疗行业监管严格，模型需满足高可靠性与可追溯性要求，迭代节奏可能受合规审批影响
- 跨部门协作涉及软硬件与质量团队，沟通成本较大
- 适合具备扎实深度学习基础、热衷AI工程化落地，且对医疗科技或端侧智能有浓厚兴趣的算法工程师
缺点 / 挑战
- 需在精度、延迟与算力成本间做精细权衡，工程落地难度较高
角色解读
- 可向多模态大模型架构师、AI算法专家或医疗AI产品技术负责人发展
- 随着端侧AI与医疗数字化融合加深，该方向在智慧医疗与边缘计算领域具有长期技术壁垒与晋升空间
- 负责开源大模型在多模态场景下的微调与优化，构建面向医疗软硬件自动化的智能体系统
- 搭建数据流水线与自动化评估体系，确保模型效果与合规性
- 通过量化剪枝与推理引擎优化实现模型在本地设备的轻量化部署
- 精通Transformer架构与PyTorch，熟练掌握LoRA/QLoRA等参数高效微调技术
- 具备VLM视觉理解、RAG检索增强及ASR语音识别调优经验
- 熟悉模型压缩（蒸馏/量化/剪枝）及TensorRT/ONNX推理部署
- 熟练使用Python/Linux进行全链路开发与调试
申请策略
- 提前研究GE医疗在医学影像后处理或手术导航领域的AI布局
- 准备1-2个端到端模型优化案例，重点说明如何平衡性能与资源限制
- 面试时展现严谨的工程规范意识与跨团队协作经验
- 突出多模态模型微调实战经历（附具体指标提升数据）
- 强调模型轻量化部署与推理加速经验（如INT8量化、TensorRT优化）
- 展示完整的数据构建、自动化评估与实验追踪闭环能力
- 补充LangChain/LangGraph等智能体编排框架的实战项目
- 学习医疗AI数据隐私保护与合规标准基础
面试指南
- 采用STAR法则（情境-任务-行动-结果）结构化回答
- 技术题先讲原理再结合具体项目数据，突出权衡思路（如精度vs延迟）
- 合规与协作类问题强调标准化流程、文档记录与主动沟通机制
- 请详细描述你使用LoRA/QLoRA微调大模型的具体流程与踩坑经验
- 如何在保证精度的前提下将模型量化至INT8并部署到本地？
- 面对医疗场景的幻觉问题，你会设计哪些评估与干预策略？
- 如何构建多模态数据集并进行自动化质量评估？
- 在跨部门协作中，如何推动模型从实验室验证走向产品合规上线？
职位点评
薪资福利80
成长发展85
工作生活70
使命价值75
薪资福利
80较高
平台提供具有市场竞争力的薪资与完善的福利体系，稳定性高，但JD未明确具体数额，整体补偿性动机满足度较好。
薪资信号市场水准 (3.5千–6.0万/月)
福利待遇salary and benefits、flexibility you need
成长发展
85较高
岗位聚焦多模态大模型微调、智能体开发与端侧部署，技术前沿且落地场景清晰，内部协作机制完善，成长路径明确。
技术前沿前沿/新兴技术
技术栈LLM、VLM、PyTorch、LoRA、QLoRA、TensorRT、ONNX Runtime、LangChain、LangGraph
成长机会career opportunities、culture that fosters care, collaboration and support
业务类型profit_center
工作生活
70中等
JD提及灵活工作安排，整体WLB预期良好，但未明确远程天数或加班政策，需以实际入职约定为准。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
工作生活平衡flexibility you need
使命价值
75中等
投身医疗科技领域，直接参与改善患者就医体验与医疗设备智能化的研发，社会价值显著，符合追求意义感的求职者偏好。
行业发展稳定成熟行业
社会影响正向社会影响力较高
使命信号create a world where healthcare has no limits、turn ideas into world-changing realities、builds a healthier world
创新程度积极采用新技术
GE医疗 的其他在招职位
相似职位推荐
Watch Jobs