快手大模型预训练算法专家【商业化风控】
任职要求
1、实际做过十/百亿参数以上超大模型的预训练，且解决了实际问题； 2、对预训练模型具备大模型任务调优经验，有自己见解，且做过相应的验证； 3…
工作职责
1、负责商业化风控垂域下预训练模型工作，参与构建风控大模型基座模型建设； 2、负责预训练模型的前瞻探索，包括但不限于语言模型、多模态模型； 3、完成预训练模型在实际业务场景中的应用并实现业务目标。
1、负责快手多模态大模型预训练和对齐相关的工作，包括但不限于：多模态预训练、视觉预训练、文本预训练、多模态对齐等； 2、负责快手百亿规模多模态数据处理和清洗工作，包括图文数据、网页数据、短视频等多模态数据相关性、数据质量建设等等； 3、负责将多模态大模型落地到快手推荐、搜索、电商、商业化等应用场景，从预训练层面提升各个场景的内容理解能力； 4、负责跟进多模态大模型的前沿研究，保持部门在大模型方面的技术领先。
1、商业化LLM：负责大语言模型（LLM）的前沿技术探索和全链路研发，包括但不限于抗知识遗忘的继续预训练、指令微调、RLHF等，结合广告业务场景，研发基于大语言模型下游应用，包括但不限于营销场景下的语义理解、信息抽取、脚本生成、对话系统等，提升广告投放系统的智能化能力； 2、广告AIGC：负责以扩散模型等为代表的前沿图文/短视频的生成式AI在内容创作方面的算法研发和落地，包括但不限于text to image, text to video, image and video editting等，结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型，优化AIGC系统生成效果和广告投放效果； 3、多模态大模型for推荐：负责视频多模态大模型的最新研究进展和相关技术实现（视频理解、视频内容问答、视频caption等），提出并优化最前沿算法，将多模态等基础大模型的表征学习与广告业务相结合，提升广告分发效率。
1. 基座大模型预训练，包括但不限于不同规模、不同结构的语言模型和多模态模型的数据准备和优化、模型预训练、训练加速与框架优化等； 2. 大模型对齐技术（SFT、RLHF等）链路整体优化，包括数据探索与增强、对齐流程探索、奖励模型优化、强化学习策略迭代等，持续提升对齐效果； 3. 大模型训练和推理优化，包括但不限于高效训练技术和框架设计与实现、模型小型化技术（稀疏化、压缩、剪枝、蒸馏等）探索与落地、高效推理技术实现等； 4. 大模型相关技术前沿探索，包括但不限于Scaling Law、模型架构探索（MoE、MAMBA等）、训练范式探索、长序列技术探索、高效训推框架探索等； 5. 支撑内部应用需求，对接搜索、推荐、广告等实际业务场景，实现大模型应用落地。
1、负责基础模型和Generative AI的基础能力建设，追踪业界文本生成/翻译、图生文、deepfake等方向的最新技术，极致优化预训练、微调、领域知识注入、RLHF、RM、AI Safety等能力； 2、将AIGC相关技术在广告、电商、短视频、直播等商业产品的内容理解上落地，构建新一代基于大模型的商业化生态； 3、从事强化学习与大语言模型智能体（LLM-based Agent）相结合的交叉研究与应用落地； 4、探索大模型高效训练/推理方案。