拼多多多模态算法工程师（cv/多模态大模型）
任职要求
1. 有扎实多模态，cv的算法背景，熟练掌握CNN、VIT架构的图像编码技术原理，熟悉pytorch等深度学习框架。 2. 在商品理解、内容理解和内容结构化等多模态领域有3-5年及以上工作经验，具备业务思维，能拆解业务问题到算法解决方案，有一定技术管理经验。 3. 有在复杂业务处理过大规模数据量和高并发、高吞吐的算法模型serving经验。 加分项 1. 有在Clip/Blip/Internvl 等图-文预训练大模型上微调，应用的经验，有相关开源项目经验优先。 2. 有在CVPR/NeurIPS/ECCV等会议或者期刊发布过论文者优先。
工作职责
1. 深入研究和探索多模态算法在跨境电商的使用场景和应用落地，设计并实现基于深度学习、多模态大模型的电商多模态模型，用于商品理解、属性识别、AIGC等关键任务和场景。 2. 与工程团队紧密合作，将算法模型进行工程化落地，优化业务流程和效果，为业务发展提供强有力的算法支持。
我们是阿里妈妈搜索广告算法团队，负责淘宝搜索场景广告技术变现的算法设计和优化，包括并不限于： 1. 负责研究多模态大模型在淘宝海量图文、视频物料理解上的运用； 2. 负责研究生成式大模型/AIGC算法在广告投放物料挖掘上的运用； 3. 负责研究多模态大模型和生成式大模型在搜索广告中的全链路运用和升级； 4. 负责研究搜索广告场景下多物料投放算法的设计和优化，包含商品、直播、短视频等； 5. 负责研究超大规模多模态大模型的训练和推理加速； 6. 负责研究经典CV/多模态任务的设计和优化，包括分类、检测、OCR、度量学习等。
1、负责计算机视觉和深度学习等相关算法的研发和实现； 2、负责图像分类识别、图像理解、图像搜索、多模态识别等算法的研究和开发工作； 3、参与和推动技术落地。
1. 负责将多模态大模型技术整合到小蜜智能问答系统中，不断提升系统的智能化水平和用户体验； 2. 研究并应用最新的多模态理解技术，如图像识别、自然语言处理和语音识别等，以实现系统对各种类型输入的处理能力，或将图像生成能力用于离线知识生产和实时问答； 3. 深入挖掘商品的图片、视频、文本介绍等各个模态中包含的有价值信息，理解并提炼商品问答知识； 4. 与数据科学团队合作，设计和实施模型训练策略，针对特定领域，进行多模态模型prompt设计和调优； 5. 深入跟踪调研多模态/NLP/CV等方向的前沿技术相关内容，包括文生图、图生文等。
团队介绍：Data-电商-平台治理算法团队，通过优化算法，和业务团队配合，对字节旗下电商产品进行全方位的质量和生态治理，既包括风险、违规和低质问题的打击，也包括健康电商生态的建设和优化，最大程度优化平台治理的效果，同时提升治理的效率。 1、基于多模态/CV/NLP等技术，结合业务特点，设计算法系统； 2、基于多模态/CV/NLP等，识别电商领域中各类实体（商品/带货短视频&直播等）中的风险和生态问题，优化生态； 2、深耕多模态以及大模型技术，控制风险的同时降低成本； 4、面向业务场景优化算法，提升NLP/CV/多模态算法在业务场景里的效果。