腾讯微信-WeLM -多模态大模型算法研究员（深圳、上海）

参与微信大规模语言模型（WeLM）的建设，涵盖训练流程的多个环节 1.探索大规模预训练模型的结构创新、优化器策略创新，提升单位算力下的智能获取效率 2.探索更高效全面的预训练数据建设方案、预训练数据使用方案 3.建设通用 Long-Horizon LLM Agent 的训练策略 4.独立或与其他研究员合作进行前沿领域研究。

1.负责构建和优化大规模预训练框架，支持文本、语音、图像等多模态数据的联合学习与高效训练； 2.深入优化长序列场景下的分布式训练与显存利用（如context parallel、2D/环形 Attention、混合并行、激活重计算等），在百万级 token 训练中提升吞吐与性价比； 3.负责后训练（Post-training）阶段框架建设，包括强化学习（RL/RLHF）、偏好建模（Reward Model）及人类反馈优化（Alignment）等流程； 4.深入优化分布式训练框架与推理效率，提升算力利用率与模型吞吐性能； 5.跟踪前沿研究趋势，探索高效预训练策略（如Mixture of Experts、Continual Pretraining等）； 6.与算法、数据、平台团队协作，形成从数据处理到训练部署的全流程自动化解决方案。

参与微信大规模语言模型（WeLM）的建设，涵盖训练流程的多个环节 1.探索大规模预训练模型的结构创新、优化器策略创新，提升单位算力下的智能获取效率 2.探索更高效全面的预训练数据建设方案、预训练数据使用方案 3.建设通用 Long-Horizon LLM Agent 的训练策略 4.独立或与其他研究员合作进行前沿领域研究。

1.针对 Hopper / Blackwell 架构进行 Kernel 开发与优化； 2.基于 CUDA / PTX / Triton 设计和实现大模型训练中的核心算子 Kernel：； 3.结合 Hopper / Blackwell 特性，在线程组织、访存路径、寄存器/共享内存使用、Tensor Core 调度等层面做深度优化； 4.构建高性能训练算子库； 5.针对 WeLM 模型结构进行算子设计与融合，降低 Kernel 调度和访存开销； 6.参与 WeLM 内部高性能算子库的建设，与 PyTorch 及 cuBLAS、cuDNN、CUTLASS 等库进行集成或替换； 7.Kernel 性能分析与瓶颈优化； 8.使用 Nsight Compute / Nsight Systems / nvprof 等工具做 Kernel 级性能剖析； 9.分析 SM 利用率、Tensor Core 利用率、访存带宽、指令吞吐、分支发散等指标，持续迭代 Kernel 实现； 10.为上层训练框架提供关于 batch 设计、sequence length、并行策略等与性能相关的技术建议； 11.前沿技术跟踪与工程落地； 12.跟踪 GPU 新架构、新指令、新库（如最新 CUTLASS、NCCL 等）； 13.学习业界优秀实现（Megatron-LM、DeepSpeed、Deepseek 等）的 Kernel/算子方案，并在 WeLM 体系内做工程化落地。