美团基座大模型算法专家
任职要求
1. 对大模型开发流程有深入认知,熟悉预训练、指令微调、RLHF等流程与框架,具备模型预训练、对齐、训练和推理加速、模型小型化和部署等方面的经验; 2. 熟悉Transformer等模型架构,对GPT系列、LLAMA系列和MoE等模型架构有深入理解并拥有大规模训练经验; 3. 具备扎实的算法和数学理论基础及良好的编程基础,熟悉自然语言处理、生成式AI和机器学习等技术,熟悉Python、Java等至少一种编程语言,熟悉PyTorch、Tensorflow等深度学习框架,对…
工作职责
1. 基座大模型预训练,包括但不限于不同规模、不同结构的语言模型和多模态模型的数据准备和优化、模型预训练、训练加速与框架优化等; 2. 大模型对齐技术(SFT、RLHF等)链路整体优化,包括数据探索与增强、对齐流程探索、奖励模型优化、强化学习策略迭代等,持续提升对齐效果; 3. 大模型训练和推理优化,包括但不限于高效训练技术和框架设计与实现、模型小型化技术(稀疏化、压缩、剪枝、蒸馏等)探索与落地、高效推理技术实现等; 4. 大模型相关技术前沿探索,包括但不限于Scaling Law、模型架构探索(MoE、MAMBA等)、训练范式探索、长序列技术探索、高效训推框架探索等; 5. 支撑内部应用需求,对接搜索、推荐、广告等实际业务场景,实现大模型应用落地。
一、 1. 负责端侧基座大模型相关算法研究、重难点技术攻关,下游应用场景包括面向手机场景的文本、多模态内容生成和理解任务(智能手机助手、UI-Agent等)。 2. 跟进业界最新的文本、多模态预训练、强化学习、推理增强模型相关技术和方法,根据公司内重点业务场景的需求,研发行业领先的原创性算法,提供行业领先的端侧基座模型。 3. 顶会论文发表,对外技术分享,提高团队整体技术影响力。 二、
参与/负责时空大数据挖掘及时空大模型建模相关工作,包括: ● 用户画像、地理特征、人地关系挖掘; ● 利用高德时空数据、人地关系大数据的特点,通过建模方法创新,深挖数据价值,做大数据的商业价值 ● 从事预训练模型研究、训练、应用,包括但不限于多模态、对比学习、训练任务优化、下游任务迁移、知识融入更新、模型性能提升等 ● 紧跟大模型新技术,搭建自主可控的从数据处理、训练调试到推理服务的全链路平台。利用大模型技术升级改造现有产品的交互和体验,以及打造产品AIGC方面的能力,包括但不限于人地关系垂类大模型的独立训练和垂类大模型与基座大模型的对接等
负责大模型Large Language Model(LLM)技术在云计算服务领域多个业务场景落地的核心技术攻坚,尤其是阿里云服务领域的数字员工的建设和落地,以及阿里云智能客服大模型对话机器人、智能辅助Copilot、服务体验等场景的大模型落地,提升内外部用户的服务效率和服务体验。 岗位职责包括但不限于: 1. 负责基于通用基座大模型(通义千问等)结合领域数据构建云计算服务领域大模型,包括大模型落地业务场景识别、数据清洗/构造,LLM训练和调优,搜索增强RAG,LLM Agents等LLM关键技术方向攻坚 2. 探索基于大模型技术的服务新形态,包括多个场景的数字服务小二,,智能辅助Copilot等云计算服务新形态场景的大模型落地技术,打造云计算服务领域“大模型落地”的标杆 3. 深入阿里云服务内外部业务场景,结合大模型技术、搜索推荐、多模态等算法模型能力解决云服务领域实际业务痛点,并参与规划和设计未来云服务领域的大模型技术演进规划和落地