腾讯混元大模型预训练算法研究员/专家研究员
任职要求
1.熟练掌握Python，熟悉Linux环境开发，精通应用深度学习框架TensorFlow或者PyTorch； 2.持续跟进前沿的深度学习技术，了解前沿的深度学习相关算法，熟悉Transf…
工作职责
1.负责生成式大模型预训练相关的工作，包括但不限于：大规模模型预训练，长文本预训练，线性模型结构探索； 2.探索与跟进前沿技术，寻求技术突破，推动机器在AIGC能力的提升和突破； 3.探索高效的模型知识嵌入方法以及模型知识在线学习更新； 4.探索文本模型预训练的scaling law，在小规模小成本下更精准地预测大规模训练后的表现。
1.跟踪业界最新的语音生成算法研究，探索下一代语音、音频生成新范式，拓展语音生成边界能力； 2.探索多模态语音大模型的前沿技术，结合文本、语音、视觉等技术提升语音交互体验； 3.负责语音大模型的技术研发工作，推动模型性能提升与创新应用。
1.从事视频世界大模型的研发，包括训练数据的设计和构造，基础模型算法的设计，针对预训练/SFT/RL相关的优化，模型能力的评测，各种下游应用场景的探索； 2.科学分析研发中的各种问题，找到模型性能的瓶颈，从第一性原理出发找到解决方案，加速世界模型的开发和迭代，确保模型的竞争力和领先性； 3.探索实现世界模型的不同范式，研究下一代的模型架构，探索世界模型的边界。
大模型具备很强的泛化及理解世界能力，在小红书内的众多生产场景遍地开花，大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上，如何能够通过高效的GPU调度策略，使大家不仅能丝滑地完成训练及部署任务，同时也能充分激发大规模GPU集群的效能，是行业公认的关键挑战。在这里，你可以聚焦LLM场景，接触到超大规模GPU集群，并使用真实负载数据进行深入分析及技术探索。欢迎加入我们，一起探索领先技术改变世界！ 工作职责： 1、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段，提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态，探索建设业界领先的资源调度策略及方法，构建下一代大规模AI资源调度系统。
1、负责快手搜推广服务的云原生管控方向，建设云上的平台化服务管控、服务调度能力； 2、结合服务场景设计相关调度策略、智能弹性伸缩能力、潮汐混部能力，提高集群硬件利用率。