快手多模态模型优化算法工程师
任职要求
1、硕士及以上学历，数学、计算机、自动化、电子等专业优先； 2、熟练掌握diffusion原理，具备公式推理和证明的能力，有过相关的研究经历和实践经验者优化； 3、熟悉transformer结构及其变种，熟悉attention的设计和多种变种实现，掌握triton； 4、熟练掌握线性线数、概率论、信息论、凸优化等基础知识；了解矩阵论、随机过程等； 5、有较强的自驱力和学习力，对生成式模型有强烈的兴趣。 加分项： 1、有NIPS/ICLR/ICML/CVPR等顶会发表经历者优先； 2、有强化学习的实践经历优化。
工作职责
1、diffusion步数压缩：探索diffusion模型的one-step / few-steps的无损蒸馏算法，跟进学术界最前沿的few-steps diffusion算法，包括但不限于consistency modeling、shortcut、score distillation等方案，打造实时化的极致高效可灵/可图大模型； 2、高效attention设计：探索新一代注意力实现机制，包括但不限于sparse/quant-attention、linear-attention、mamba等，打破attention计算平方复杂度限制，解决长序列视频/图像引起的推理挑战，推进可灵/可图大模型的长序列场景下的推理极限； 3、强化反馈优化：应用DPO/GRPO/PPO等强化学习的手段调优模型效果，在模型压缩的前置条件下探索强化学习与压缩算法的化学反应，推动可灵/可图大模型的效果-效率帕雷托前沿新SOTA。
1、diffusion步数压缩: 探索 diffusion 模型的 one-step / few-steps 的无损蒸馏算法, 跟进学术界最前沿的 few-steps diffusion 算法, 包括但不限于 consistency modeling, shortcut, score distillation等方案, 打造实时化的极致高效可灵/可图 大模型； 2、高效attention设计: 探索新一代注意力实现机制, 包括但不限于: sparse/quant-attention, linear-attention, mamba等, 打破 attention 计算平方复杂度限制, 解决 长序列视频/图像 引起的推理挑战, 推进 可灵/可图 大模型的长序列场景下的推理极限； 3、强化反馈优化: 应用 DPO/GRPO/PPO 等强化学习的手段调优模型效果, 在模型压缩的前置条件下探索强化学习与压缩算法的化学反应, 推动 可灵/可图 大模型的效果-效率帕雷托前沿新SOTA。
1、负责AIGC模型如StableDiffusion/LLM/VLM的轻量化结构设计和效果打磨，致力于研发效果/体积/计算量/功耗综合性能业界领先的预训练模型； 2、负责AIGC模型相关推理优化算法研究和落地，包括模型蒸馏、网络架构搜索与设计、稀疏、量化、MoE，软硬件协同设计等； 3、负责Diffusion/LLM/VLM领域高效模型研发，低成本微调，小样本训练，Prompt工程，RLHF研究和实现，侧重能够端侧部署的模型； 4、负责GAN/Diffusion/LLM/VLM领域前沿工作的研究和复现，包含数据，模型，评估，推理等方向； 5、负责面向端侧多个平台的GAN基础结构设计和效果优化，重点解决GAN的量化效果问题，落地抖音剪映等字节跳动系列产品，全面提升产品在多个平台上的算法和性能体验。
1、基于LLM/MLLM，优化抖音电商商品内容安全模型，解决假货山寨/禁限售/虚假宣传/信息违规等问题； 2、基于大模型等优化算法，持续提升电商商品安全模型/策略的主动召回能力，降低风险外露； 3、基于大模型等优化算法，在覆盖风险前提下，降低人审率提升审出率，并丰富管控手段，进行自动判罚/流量管控等； 4、基于大模型等优化算法，在覆盖风险和提升审核效率的前提下，兼顾商家体验，减少商家CPO； 5、深研LLM/MLLM模型能力，进行电商商品治理领域的大模型CPT和业务模型SFT，建立zero/few-shot风险感知和召回能力。
1、负责快手可灵/可图大模型的实时化加速需求, 包括但不限于推理步数优化, 稀疏attn, 超分等； 2、负责大模型的无损压缩微调训练, 包括但不限于实现 低精度QAT训练, LoRA/DPO微调等 ； 3、负责快手内部文本及多模态大模型的优化需求, 包括但不限于: LLM吞吐/延时优化, 长文本 KV-cache 优化, LLM 显存优化。