快手【快Star-X】多模态大模型算法工程师
任职要求
1、硕士及以上学历，有较强的代码动手开发能力，对多模态大模型基座能力提升有较高的热情； 2、熟悉计算机视觉相关的算法和技术，有自然语言处理和大模型训练经验； 3、良好的沟通协作能力，能够与团队紧密合作，共同…
工作职责
1、打造最适合短视频、直播、搜索推荐、电商、创作者玩法的多模态大模型，为快手的各项业务提供基座模型技术支持。多模态技术是通向AGI的重要方法和里程碑，期待和更多对多模态技术感兴趣的同学一起打造真正带来价值的模型算法技术； 2、深度探索多模态大模型的多阶段预训练、监督微调和RLHF等技术，打造业界第一梯队的多模态大模型，赶超GPT-4o、Gemini Pro等闭源模型的实际使用效果； 3、图片、语音、音频和视频多种模态信号的高效处理方式探索，提供对各类信号最精准的理解能力； 4、混合专家、蒸馏剪枝等兼顾模型性能和效果的技术探索。
1、了解多模态内容生成相关算法，如Diffusion Models 、 GAN 、 VAE 、 Autoregressive Models等，包括但不限文本/图像/视频生成，解决生成质量、多样性、可控性、采样效率、可编辑等问题； 2、了解端到端多模态生成式大模型的框架设计、训练与调优，构建基于生成模型的AI系统，推动多模态AIGC在快手各业务场景的产品化落地。
1、diffusion步数压缩: 探索 diffusion 模型的 one-step / few-steps 的无损蒸馏算法, 跟进学术界最前沿的 few-steps diffusion 算法, 包括但不限于 consistency modeling, shortcut, score distillation等方案, 打造实时化的极致高效可灵/可图 大模型； 2、高效attention设计: 探索新一代注意力实现机制, 包括但不限于: sparse/quant-attention, linear-attention, mamba等, 打破 attention 计算平方复杂度限制, 解决 长序列视频/图像 引起的推理挑战, 推进 可灵/可图 大模型的长序列场景下的推理极限； 3、强化反馈优化: 应用 DPO/GRPO/PPO 等强化学习的手段调优模型效果, 在模型压缩的前置条件下探索强化学习与压缩算法的化学反应, 推动 可灵/可图 大模型的效果-效率帕雷托前沿新SOTA。
1、参与多模态模型、视频生成模型等大模型的分离式推理编排、异构算力匹配、全球化计算调度； 2、参与大规模异构算力集群的算力资源池化、弹性资源混部、潮汐资源调度； 3、基于HBO、强化学习等优化算法，持续优化工业级多模态视频生成、多模态内容理解系统的耗时体验与算力消耗。
1、参与多模态模型、视频生成模型等大模型的全链路数据生产流水线搭建； 2、参与多模态数据处理所需的LLM/VLM模型推理、跨模态检索、跨模态对齐等工程系统的建设； 3、基于各类分布式数据处理以及推理优化技术，持续优化超大规模多模态数据处理的推理、存储以及检索效率。