美团【基座大模型北斗实习】大模型架构研究
实习兼职核心本地商业-基础研发平台地点:北京 | 上海状态:招聘
任职要求
1、熟悉一些常用的深度学习框架和大规模训推框架(比如megatron,verl,vllm,sglang等等),在大模型上有训练和推理算法工程优化实际经验的优先; 2、熟…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
简介:大模型架构优化探索,算法工程协同设计,涉及到训练和推理的各类算法和工程策略探索落地。参与美团基座大模型项目,包含但不限于: 1、大模型高效架构设计探索(高效attention,moe架构等)。 2、预训练 / 后训练算法工程策略。 3、投机推理算法工程策略。 4、模型轻量化策略(剪枝,量化,稀疏,蒸馏,结构搜索等) 。 5、Agentic coding系统优化策略。
包括英文材料
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
vLLM+
https://www.newline.co/@zaoyang/ultimate-guide-to-vllm--aad8b65d
vLLM is a framework designed to make large language models faster, more efficient, and better suited for production environments.
https://www.youtube.com/watch?v=Ju2FrqIrdx0
vLLM is a cutting-edge serving engine designed for large language models (LLMs), offering unparalleled performance and efficiency for AI-driven applications.
还有更多 •••