快手【留用实习】 大模型压缩加速算法工程师
任职要求
1、硕士及以上学历,数学、计算机、自动化、电子等专业优先; 2、算法基础扎实,具有 LLM、扩散模型等生成式模型的研究或使用经验; 3、有较强的自驱力和学习力,对生成式模型有强烈的兴趣。 加分项: 1、有顶会论文发表经验(CV / NLP顶会, ICLR/ICML/NIPS均可)优先; 2、了解强化学习优先。
工作职责
1、为实现类 Sora 模型实时化无损生成研究可行方案, 包括但不限于 步数蒸馏, efficiency-attention 计算, cache-reuse 策略, QAT训练等; 2、为 LLM/MLLM 的高效推理探索前沿解决方案, 包括但不限于 efficiency architecture, sparse attention, fp8/4-tuning, data/model distillation, speculative decoding等; 3、在指导下参与视频生成大模型/多模态大模型的全链路探索。
1、参与快手音视频大模型研发,内容包括视频处理大模型/编码大模型。其整体目标是用更少的码率,转出画质更好的视频,从而为用户带来更好的体验,实现压缩即智能; 2、负责点播/直播的处理大模型开发,探索超分等处理大模型算法上限,内容包括网络架构设计和优化,大规模数据处理, Diffusion保真性优化等; 3、负责点播/直播的编码大模型开发,探索AI codec的压缩上限,内容包括压缩网络框架设计和优化,与H.265等传统算法性能评估等; 4、跟踪国内外最新的前沿AI技术,融合处理和编码大模型,为公司研发出下一代基于AI的高效视频转码系统。
1、参与大模型推理/训练优化。通过研发业界领先的AI Compiler 技术,支撑搜推场景在GPU上的训练计算性能优化;支持大模型推理优化技术在异构硬件上的落地; 2、参与各种大模型推理所需的功能性开发任务;相关编译优化功能开发,以图优化、算子融合、GPU高性能算子开发及自动Codegen等技术手段不断推高在不同卡型上的计算性能极限; 3、参与支持日常的大模型推理服务部署,参与内部日常提效工具的研发。
1、负责通过基于大语言模型及多模态大模型的微调、prompts调优、指令构建及演化技术,将大模型的生成、理解、交互能力在公司核心业务场景应用落地,包括但不限于AIGC创意生成、视频处理、智能化特效、智能对话、代码生成、音视频传输、电商场景内容理解等; 2、负责LLM及多模态大模型的应用中台及相关技术模块搭建,包括但不限于Agents 、RAG、 function call、system prompts等,探索大模型应用前沿及新兴应用场景; 3、跟踪行业及大模型技术发展,结合业界前沿技术和业务需求,打造大模型应用的最佳实践; 4、了解业务,与公司各技术团队密切配合,能与产品、运营等角色高效沟通需求和目标,发挥自己的主观能动性,设计技术解决方案,培养自己的良好的业务sense和综合素质。