TapTapTapTap 多模态大模型算法专家
任职要求
1. 计算机科学、人工智能、电子信息、数学等相关专业; 2. 深入理解深度学习与大模型原理,具备多模态(文本/图像/视频/音频)算法训练经验; 3. 掌握主流多机多卡训练和部署经验,P/D分离技术,包括但不限于Deepspeed、llama factory、SGLang; 5. 具备良好的数学与算法基础,以及创新性问题解决能力。 加分项 - 有游戏相关的多模态内容处理经验(如视频/截图解析、UGC 内容识别、广告素材自动化生成等); - 有社区平台、短视频平台或广告平台的多模态算法落地经验; - 参与过开源多模态项目; -…
工作职责
1. 研发面向游戏平台场景的多模态大模型,包括文本、图像、视频、音频等多模态数据的理解与生成; 2. 构建与优化游戏内容理解算法,涵盖游戏玩法解析、类型识别、特色标签生成、玩家评论分析、剧情/世界观理解等; 3. 参与 TapTap 风格的视频与广告素材生成方案,支持用户增长团队等多模态素材生成的训练需求; 4. 支持游戏搜索与发现,利用多模态大模型进行精准匹配、语义搜索、跨模态检索(文本→视频、视频→游戏等); 5. 跟进并引入最新的多模态大模型研究成果,探索其在游戏行业的新应用场景; 6. 有预研的空间,进行学术研究与论文发表,推动顶会/顶刊产出,并结合业务进行技术落地; 7. 优化大模型的训练与推理性能,保障在海量游戏内容和用户数据上的高效运行。
1. 负责研发行业多模态大模型,包括但不限于快慢思考的数据收集、训练调优、架构设计、以及行业知识库的建立,探索前沿大模型训练和优化方法,提升大模型在执行各种难度任务的执行正确性以及效率,打造领先的内容安全、智驾、具身智能等行业大模型; 2. 推动多模态大模型的产品化和商业化,提升多模态大模型的感知理解、定位、快思考和慢思考决策等能力; 3. 跟踪最新的研究趋势和技术进展,评估其对当前和未来项目的影响; 4. 与高校等研究团队合作,发表高水平的学术论文,提升团队在产学界的影响力。
1、参与设计并实现 代码生成(可视化方向)、Function call、RAG等方向的大模型后训练算法。 2、结合业务数据和场景,设计Post training的高质量数据构建方案(含数据洞察、数据合成、数据质量优化等)提升模型的应用效果。 3、与工程以及产运团队协作,参与或负责大语言模型、多模态大模型等业务场景的后训练端到端效果提升及落地; 4、密切关注业界 LLM 微调算法和数据提质领域的前沿论文,并整合新技术和算法到训练引擎中,提升框架的领先性;
1. 研发面向代码开发&风险的大模型,包括但不限于代码大模型、NLP、全模态、时序分析等领域相关的大模型的应用算法研发; 2. 基于强化学习,研发全模态(代码/运维/工具调用/操作界面图像等)的推理模型 3. 搭建深度搜索/工具调用/自动操作网页和手机/各种运维平台的agent 4.系统化的风险发现和应急算法搭建
团队介绍: 高德地图机器学习研发部是公司AI核心技术引擎,聚焦多模态大模型、视频生成与理解、图像编辑与生成等前沿领域。团队深耕人工智能技术落地,支撑亿级用户产品,同时长期投入前沿探索,在NeurIPS/ICLR/CVPR/ACL等顶会发表多篇论文,多项成果入选“最有影响力论文”榜单。我们拥有海量数据与算力资源,鼓励创新突破,诚邀你与顶尖算法专家并肩,共同定义AI的未来!如果你渴望挑战多模态与生成式AI的技术巅峰,在视频、图像、大模型的交叉领域实现突破,欢迎加入我们!团队的github页面是:https://github.com/AMAP-ML/ 我们提供 • 参与亿级用户产品的AI核心算法研发,见证技术直接赋能业务; • 与学术大牛和工业界专家共事,持续提升技术视野; • 顶配算力资源+开放创新氛围,支持前沿探索与顶会论文发表。 具体职责包含但不限于: 1. 视觉理解任务的技术探索,要求对视觉基础任务有深入的理解,做好在商品理解、详情页的文图内容、开放图片识别等公司核心业务上的落地; 2. 多模态大模型的技术探索,要求对多模态大模型训练、文图跨模态对齐等有深入实践,做好多模态大模型的能力构建和应用; 3. 追踪领域前沿工作,沉淀技术,投稿领域顶级会议。