百度小度云平台部_大模型算法实习生(J38341)
任职要求
-本科及以上学历 -对CV、NLP、多模态等相关领域有一定的理解，在其中一个或多个方向有深入的研究经历 -优秀的工程实践能力，熟悉Pytorch/Tensorflow等深度学习框架，掌握大规模并行训练技术 -优秀的分析、解决问题能力，对新技术充满好奇，敢于挑战高难度，善于提出解决方案并快速验证 -有大模型训练经验…
工作职责
-负责小度多模态大模型的结构设计、预训练任务、模型训练和推理验证等工作，包括但不限于多模态预训练、跨模态生成与检索、多模态对话等业务应用 -跟踪多模态大模型方向前沿问题的研究 -参与建设并持续保持部门多模态技术在业界的技术先进性，保持创新的同时将业界SOTA模型在小度业务场景进行产品化落地 -负责的多模态技术涵盖视觉、语音、NLP等多个领域
-预训练和微调大语言模型，基于小度自有数据，训练更适合小度需求场景的大语言模型 -与数据工程师合作，理解和预处理数据，以准备用于深度学习模型的输入 -阅读和理解最新的研究论文，跟踪和使用业界前沿实践进行模型训练，验证并分析效果和 -监控模型训练过程，进行问题排查和调优
-负责小度个性化推荐系统的研发，构建基于用户行为和喜好的内容推荐、协同过滤和场景引擎，应用于小度用户的个性化推荐系统和业务中 -负责推荐系统在不同垂类的系统搭建和算法调优 -追踪生成大模型等最新技术在推荐场景下的落地
-负责小度个性化推荐系统的研发，构建基于用户行为和喜好的内容推荐、协同过滤和场景引擎，应用于小度用户的个性化推荐系统和业务中 -负责推荐系统在不同垂类的系统搭建和算法调优 -追踪生成大模型等最新技术在推荐场景下的落地
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。