熟练掌握diffusion原理,熟悉transformer结构及其变种,掌握大模型模型特性,有过大模型训练经历
熟练掌握传统模型压缩技术,包括:模型量化,模型稀疏化(如剪枝,token-merge,token-eviction),模型蒸馏,有其中一个相关的研究经历或实践经验
熟练掌握投机推理,KV-cache稀疏化,有过相关研究经历或实践经验者优化
框架要求:精通pytorch,熟练大模型并行框架的应用,包括 huggingface的accelerator,vLLM,SGLang,deepspeed,Megatron-LM
代码要求:精通python,了解CUDA或有实践经验者优先