小米大模型推理引擎实习生
任职要求
1. 本科及以上学历，计算机/电子/信息/通信/自动化/软件等相关专业 2. 掌握Python、C、C++等编程语言，精通数据结构算法，具备优秀的编程习惯 3. 了解CNN、LLM、Transformer、ViT等算法原理 4. 熟悉常见深度学习或LL…
工作职责
1. 负责大模型算法在手机、平板等移动设备平台部署，打造业界领先的全平台推理引擎 2. 分析性能瓶颈，提出系统性优化方案，将算法落地到汽车、手机、小爱等集团业务线 3. 设计先进的推理引擎架构，极致优化高性能算子与推理流水线 4. 了解移动端硬件特性，分析推理性能瓶颈，提出系统性解决方案 5. 充分挖掘硬件平台异构算力，优化资源占用 6. 负责AI项目交付、算法库开发、升级优化、技术文档撰写等工作
1. 负责大模型算法在手机、平板等移动设备平台部署，打造业界领先的全平台推理引擎 2. 分析性能瓶颈，提出系统性优化方案，将算法落地到汽车、手机、小爱等集团业务线 3. 设计先进的推理引擎架构，极致优化高性能算子与推理流水线 4. 了解移动端硬件特性，分析推理性能瓶颈，提出系统性解决方案 5. 充分挖掘硬件平台异构算力，优化资源占用 6. 负责AI项目交付、算法库开发、升级优化、技术文档撰写等工作
工作职责： 1、参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架； 2、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等； 3、与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、参与海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理； 2、参与大模型推理服务的多角色、多阶段、PD分图/EP调度，KVCache centric调度，实现动态、及时、准确的扩缩容管理； 3、参与通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优调度，充分发挥大规模分布式集群算力； 4、参与大模型服务的稳定性，通过线上和线下的多系统联动，实现在多种异构资源（GPU、CPU、其他异构硬件）、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复； 5、参与多机房、多地域、多云场景的在离线任务/服务调度，实现负载的合理化分布。
