快手【留用实习】大模型评测算法工程师
任职要求
1、本科及以上学历,计算机、人工智能、大数据、统计等相关专业优先; 2、算法基础扎实,熟悉 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理; 3、具备良好的数据化思维,能够基于数据分析结果给出分析结论,熟悉ACC、AUC、F1、recall等基本的模型评估指标计算方式; 4、熟悉常见的模型架构,能够训练或微调常见CV、NLP、LLM、MLLM模型; 5、良好的沟通能力和团队协作精神,严谨的工作态度与高质量意识,对大模型技术有热情和探索精神; 6、具备良好的视野,善于学习新的知识、阅读论文、动手能力强、有进取心。 加分项: 1、有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑; 2、实际参与过AIGC、大模型相关的项目研发优先; 3、了解分布式系统、调度、容器、代码管理相关领域技术,熟悉Kubernetes、Docker、Yarn等原理与应用; 4、熟悉常见模型评测数据集、评测方法,包括但不限于C-Eval、CMMU、MT-bench、MINT、SuperCLUE; 5、熟悉Bert、CLIP、BLIP、ResNet、VGG、RCNN、Yolo等常见算法原理及训练实操。
工作职责
1、以算法视角,参与快手大模型(包括不限于LLM,T2I,T2V、I2V、MLLM模型)评测工作和评测体系建设; 2、参与评测相关自动化评测工具开发及维护,最大化提高评测效率; 3、以算法手段,对基座大模型和AI Native应用进行分阶段、端到端评测; 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。
1、参与快手大模型(包括不限于大语言模型,文生图模型,文生视频模型和多模态大模型)日常评测工作和评测体系建设; 2、参与评测方案的持续迭代和优化,通过Prompt工程、自训练算法模型、NLP模型等手段,建设提升大模型评测能力; 3、参与快手大模型相关应用的迭代和效果优化,调研行业先进AI技术,并推动落地在实际项目中; 4、与相关上下游团队密切配合,评估模型效果、给出迭代建议、明确优化方向,从评测视角持续帮助模型能力提升。
1、参与大模型推理/训练优化。通过研发业界领先的AI Compiler 技术,支撑搜推场景在GPU上的训练计算性能优化;支持大模型推理优化技术在异构硬件上的落地; 2、参与各种大模型推理所需的功能性开发任务;相关编译优化功能开发,以图优化、算子融合、GPU高性能算子开发及自动Codegen等技术手段不断推高在不同卡型上的计算性能极限; 3、参与支持日常的大模型推理服务部署,参与内部日常提效工具的研发。
1、负责通过基于大语言模型及多模态大模型的微调、prompts调优、指令构建及演化技术,将大模型的生成、理解、交互能力在公司核心业务场景应用落地,包括但不限于AIGC创意生成、视频处理、智能化特效、智能对话、代码生成、音视频传输、电商场景内容理解等; 2、负责LLM及多模态大模型的应用中台及相关技术模块搭建,包括但不限于Agents 、RAG、 function call、system prompts等,探索大模型应用前沿及新兴应用场景; 3、跟踪行业及大模型技术发展,结合业界前沿技术和业务需求,打造大模型应用的最佳实践; 4、了解业务,与公司各技术团队密切配合,能与产品、运营等角色高效沟通需求和目标,发挥自己的主观能动性,设计技术解决方案,培养自己的良好的业务sense和综合素质。