美团多模态大模型性能优化实习生
任职要求
1. 计算机相关专业本科及以上学历，有相关项目经验。 2. 熟悉LLM, Diffusion等相关模型结构和推理流程，熟悉GPU、NPU、分布式相关硬件原理。 3. 具备良好的编程能力，熟练掌握Python/C++，有优秀的代码规范意识。 4. 熟悉深度学习框架（如Pytorch, TensorRT/OnnxRuntime、VLLM/SG…
工作职责
1. 分析业务多模态模型计算性能瓶颈，资源利用率情况，制定算法或者工程方案，提高模型的计算性能、优化资源利用率。 2. 通过模型压缩蒸馏、高性能算子开发、分布式计算或虚拟化部署等方式，持续优化业务的多模态模型性能和资源利用率。 3. 将模型优化的技术沉淀为可服用的工具链或者平台，支持算法和业务自动化、高效的完成模型优化。 4. 持续调研业界前沿的多模态模型推理性能优化技术，编写清晰的技术文档，分享优化经验，支持团队技术能力的提升。
1、分布式推理架构的研发，包括多机推理架构设计，P/D分离、A/F分离、VL模型分离架构的落地； 2、推理引擎服务化，包括推理引擎如何接入线上服务平台，自动扩缩容和可观测性的适配，以及提升线上服务稳定性； 3、多模态模型的推理功能开发和性能优化，包括对Qwen-VL、Qwen-Audio、Qwen-Omni等多模态输入/输出模型的功能支持和推理性能优化； 4、分布式 KV Cache Store 的设计与研发，构建高吞吐、低延迟的全局 KV Cache 池化管理机制，实现跨计算节点（显存/内存）的高效数据传输与共享。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：Data AML是字节跳动的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、深度参与业界效果领先的生成模型Seedance/Seedream相关工作，理解模型Seed-VLM的软硬件协同优化和算法优化逻辑，构建业界领先的模型优化能力矩阵； 2、研发面向多端异构平台的量化&稀疏、MOE压缩、Token压缩、Cache复用、投机解码、KV Cache压缩等加速算法，构建Training-Free或结合Post-Training/RL-Training的加速算法能力； 3、面向分布式训练/推理场景，深度挖掘模型表示位宽、分辨率、步数、结构等维度的冗余，通过算法和工程创新加速训练和推理过程，实现降本增效； 4、探索Efficient AIGC、Efficient LLM领域最前沿的问题，包括多模态理解生成统一建模加速、结合RL训练的模型优化等方向。
1. 研发多模态商品理解模型，融合图像、文本、视频特征，优化跨模态特征对齐与检索算法； 2. 负责高质量多模态训练数据集构建，包含图像清洗、属性标注与图文匹配关系挖掘； 3. 探索多模态大模型在图像搜索领域的应用，提升模型在复杂商品数据上的泛化能力； 4. 设计多模态表征评测框架，集成自动化评估与人工审核机制，提升模型迭代效率； 5. 基于大语言模型（LLM）实现用户意图识别、生成式排序与重排及多目标优化； 6. 结合SFT、RLHF等技术实现生成式端到端推荐建模，持续优化搜推系统决策； 7. 利用奖励模型（Reward Model）与强化学习量化商业目标，构建长期生态价值体系； 8. 探索大模型推理机制，优化语义理解与认知能力，提升搜推系统的智能化水平。
1. 开展电商场景下的视频生成大模型算法研究，攻克商品一致性、多参考图、多镜头控制等核心技术难题； 2. 负责视频生成模型的训练与推理优化，解决训练与应用阶段的速度及稳定性等问题，保障研究成果具备规模化落地能力； 3. 围绕电商内容应用场景构建数据迭代机制，持续优化并提升应用场景下的核心模型指标； 4. 推动多模态视频生成研究成果在集团内容业务及商品素材等场景的端到端落地，提升消费者购物体验与商品转化率。