腾讯微信-大模型后训练算法专家
任职要求
1.计算机科学、数学、人工智能等相关专业硕士及以上学历; 2.具备良好的数理基础和 NLP 技术基础,能够熟练使用 HuggingFace,Megatron,DeepSpeed,PyTorch 等框架至少一种,深入理解Transformer、GPT等模型架构; 3.在Post-training方向有一定研究基础,熟悉SFT/DPO/PPO/GRPO/Reward Model等; 4.具备良好的分析和解决问题的能力,针对具体的应用场景能合理设计…
工作职责
1.负责大语言模型(LLM)推理能力的核心技术研发,包括数学推理、逻辑推理、知识推理和通用任务(如问答、翻译等)的算法研发、优化与创新,提升大模型在复杂场景下的高阶推理能力; 2.跟踪推理领域的前沿技术,参与前沿算法研究,推动研究成果在业务场景的落地应用。
1.负责大语言模型(LLM)推理能力的核心技术研发,包括数学推理、逻辑推理、知识推理和通用任务(如问答、翻译等)的算法研发、优化与创新,提升大模型在复杂场景下的高阶推理能力; 2.跟踪推理领域的前沿技术,参与前沿算法研究,推动研究成果在业务场景的落地应用。
1.开展VLM在GUI智能体场景下的前沿研究,主导包括数据构造、仿真环境构建、模型后训练(Post-training)等全流程关键技术攻关; 2.深耕AI编程垂直领域,围绕工具调用、自动化测试与流水线优化等方向,进行模型调优与方法创新,探索更高效的智能编程范式; 3.负责上下文压缩与高效推理技术的研究,重点推进Embedding压缩、长上下文优化、多模态信息提取等方向的算法突破与技术落地; 4.追踪学术界与工业界最新进展,保持对NLP、CV、强化学习等领域的前沿敏感度,提出具有前瞻性的研究课题并推动实验验证; 5.参与研究方案设计、技术路线论证与系统架构评审,确保研究方向的合理性、系统的高效性与可扩展性; 6.推动研究成果向业务场景转化,撰写技术报告与研究论文,积极参与学术交流与技术分享。
1.基座大模型(LLM)推理能力和通用能力的核心技术研发,包括数学推理、代码、逻辑推理、知识推理、创作、多轮对话、问答、翻译等任务的算法研发、优化,突破模型智力上限; 2.提升基座大模型在复杂场景的高阶处理能力,如多轮交互(复杂指令遵循、多轮对话、角色扮演等)、Agent 能力( 融合“思考模式”与“非思考模式”,实现自主、精准的函数与工具调用); 3.跟踪前沿技术,参与前沿算法研究,如研发更高效的强化学习(RL)训练算法、探索自适应思考深度的模型优化算法、探索提升思维链的 “智能密度” 的方法等,推动研究成果在业务场景的落地应用; 4.对于探索前沿技术有很好的热情,具备独立探索前沿技术的能力,有良好的团队协作和沟通能力。
【业务介绍】 我们是小红书内稠密类模型(LLM/MLLM/SD/CV/NLP)统一的AI平台QuickSilver,负责调度公司内所有稠密类模型训练与推理资源,基于自建的训推引擎,为公司所有AI算法同学迭代业务模型提供端到端一站式AI服务;包括数据管理,模型管理,模型训练、压缩、推理、部署,服务管理,资源调度等一系列能力。 工作职责: 1、负责稠密类模型训练推理开发平台的架构设计和核心功能研发 2、设计和实现大模型训练部署流程,包括模型fine-tuning、推理服务化等 3、构建云原生架构,设计高可用、高性能的微服务体系 4、优化平台性能,提升系统稳定性和可扩展性