高德地图高德-多模态理解和生成算法专家-广告智能创作
任职要求
1、人工智能、计算机科学等相关学科硕士或博士,具备较强的学习能力和创新能力;
2、对多模态模型、扩散模型、统一理解和生成模型、强化学习等相关领域的前沿算法有了解,掌握指令微调及LORA等微调方法,有生成模型训练等方面的经验者优先;
3、具备扎实的编程基础,优秀的分析、解决问…工作职责
部门介绍: 我们是阿里巴巴-高德的大模型和AIGC核心部门,承接公司的重点业务,包括本地生活场景中的广告创意、商品理解、内容智能创作和分发,出行场景的AI智能化等,研究领域广泛,包括但不限于多模态大模型、大语言模型、图像生成、图像编辑美化、视频生成和视频理解等,团队技术氛围好,成长空间大,拥有充足的研发资源和大量的业务应用数据,团队多篇论文入选paper digest最有影响力论文名单。团队聚焦于本地生活领域的广告和内容智能创作方向,技术栈包括,多模态大模型的理解和生成,视觉创意的可控生成,图像生成和编辑。通过在前沿技术领域的深耕,推动技术在内容智能创作(扫街榜)、广告视觉创意生成和多场景(搜推等)的内容的图文生成等方向的应用。我们正在寻找对技术有极致热情和专注的同学,在创建业务价值的同时,对前沿技术做创新的探索,共同做出有影响力的工作。 岗位职责: 1、跟踪并深入研究生成式AI领域的前沿技术,负责多模态媒体内容的理解、图像编辑以及图像生成、统一多模态理解和生成、强化学习等基础能力的研究和探索; 2、与团队成员合作,解决在本地生活领域的内容智能创作(扫街榜)以及广告创意等的应用中的算法难点,共同推动技术在实际业务中的应用和落地。
1、广告AIGC:负责以可灵模型等为代表的前沿视频生成式AI在内容创作方面的算法研发和落地,包括但不限于text to video, image to video,image and video editting等,结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型,优化AIGC系统生成效果和广告投放效果; 2、追踪业界创意、多模态及Generative AI方向最新技术,落地应用并提升广告创意理解、自动生成和优化等场景的效果。
1、广告AIGC:负责以可灵模型等为代表的前沿视频生成式AI在内容创作方面的算法研发和落地,包括但不限于text to video, image to video,image and video editting等,结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型,优化AIGC系统生成效果和广告投放效果; 2、追踪业界创意、多模态及Generative AI方向最新技术,落地应用并提升广告创意理解、自动生成和优化等场景的效果。
1.生成模型研发: 负责高质量图像与视频生成模型的选型、训练与调优(如Stable Diffusion、DiT、Video Generation Models),针对业务需求开发可控生成方案(ControlNet、LoRA、Adapter),实现广告素材自动化生成、商品图智能设计等。 2.多模态理解与检索: 构建高性能的多模态理解与表征模型(CLIP、BLIP、MLLM),优化跨模态检索(Text-to-Image/Video Retrieval)和内容打标能力,赋能搜索相关性提升及推荐系统的多模态召回与排序。 3.业务场景落地: 深入理解搜推广业务,设计AIGC在广告创意优化、搜索结果增强(Generative Search)、短视频内容重组等场景的应用链路;建立A/B实验体系,对AIGC生成内容的点击率(CTR)、转化率(CVR)及用户留存负责。 4.数据与系统优化: 构建大规模高质量的图文/视频训练数据集与美学评分体系;与Infra团队配合,优化生成模型的推理延迟与吞吐(如Distillation、Quantization),确保在线服务的高并发稳定性。
1、商业化LLM:负责大语言模型(LLM)的前沿技术探索和全链路研发,包括但不限于抗知识遗忘的继续预训练、指令微调、RLHF等,结合广告业务场景,研发基于大语言模型下游应用,包括但不限于营销场景下的语义理解、信息抽取、脚本生成、对话系统等,提升广告投放系统的智能化能力; 2、广告AIGC:负责以扩散模型等为代表的前沿图文/短视频的生成式AI在内容创作方面的算法研发和落地,包括但不限于text to image, text to video, image and video editting等,结合文本/图像/视频/音频等多模态匹配技术、广告投放优化策略和模型,优化AIGC系统生成效果和广告投放效果; 3、多模态大模型for推荐:负责视频多模态大模型的最新研究进展和相关技术实现(视频理解、视频内容问答、视频caption等),提出并优化最前沿算法,将多模态等基础大模型的表征学习与广告业务相结合,提升广告分发效率。