OPPO高级算法工程师（多模态）
任职要求
1. 计算机科学，统计学，数据挖掘，数学，物理等相关专业，在预训练模型，生成算法，计算机视觉，自然语言处理，模型压缩及端侧部署，信息检索，多模态学习等中的一个或多个领域中具备实践经验； 2. 扎实的编程基础，至少熟悉一种常见的深度学习框架（Pytorch, TensorFlow等）； 3. 熟悉计算机视觉，自然语言处理，机器学习等方面的基础技术，有预训练相关实践经验者或在人工智能顶会/期刊上发表研究论文者优先（例如：CVPR/ICCV/ECCV/NIPS/AAAI/ICML/ICLR/TPAMI/TIP/IJCV等）； 4. 良好的数学基础与英文阅读能力，具备良好的团队协作意识与优秀的自驱力
工作职责
1. 负责多模态大模型的基础能力提升，如长窗口拓展，逻辑推理提升，指令遵循提升、自动化生成prompt等基础能力构建。 2. 负责图文多模态模型的下游算法研究，例如：SFT微调（包括full和lora），强化学习，图搜增强，知识蒸馏等技术方向； 3. 负责图文多模态技术在AI搜索、图片结构化提取、图片内容理解等应用领域云侧和端侧的研究和落地工作； 4. 跟进业界前沿技术，持续提升团队在图文多模态算法方面的技术积累。
1、与业务方紧密合作，理清业务需求并从多模态角度提供解决方案； 2、跟进前沿多模态算法，了解常见多模态任务、数据、评测手段，能够使用内外部多模态工具； 3、处理和分析多模态数据，需要能够有效地清洗、整理和可视化数据等； 4、在多模态LLM上要做到用能改，并在业务数据上Finetune； 5、着重探索基于多模态LLM的视频内容理解，支撑各类业务； 6、与各团队紧密协作，确保算法实施满足业务需求。
应用计算机视觉、自然语言处理、多模态理解、数据挖掘与机器学习等技术处理阿里国际数字商业集团海量数据，构建多模态预训练大模型底座，落地前沿研究成果，实现技术理论与业务创新，为电商业务场景的商品理解与结构化、图搜与同款、搜索与推荐、数据分析与决策等各类国际化场景应用构建算法基础能力。 1、负责研发电商多模态预训练模型基座，抽象并解决商品理解的基础问题使得模型具备业务通识能力，并构建针对大模型幻觉问题、推理能力、模型加速等关键问题的系统性解决方案，提高下游业务的迭代效率和效果上限。 2、基于多模态预训练大模型，落地商品理解关键场景任务，比如商品类目/属性/标签预测、商品同款、商品图搜等，实现业务指标提升。 3、学习前沿论文与把握技术趋势，深入理解底层算法原理，探索实验面向未来的硬核技术，实现核心技术突破和技术创新，发表相关论文。
我们是AliExpress广告算法团队，该岗位负责AE搜索广告的NLP&相关性、用户体验优化，包括并不限于： 1. 设计和优化搜索广告相关性下的Query理解、类目预测、深度语义相关性、商品理解、实体匹配等方向 2. 对比学习、表征学习、蒸馏学习在语义理解、类目预测、相关性判别等领域的应用和创新 3. 设计合理的全链路管控与供给策略，保证消费者体验、广告主投放效果、平台营收的良好平衡 4. LLM、MLLM在上述方向的全面应用与优化 5. 建立合理的相关性评测方法，进行数据挖掘，迭代数据标注任务，积累电商领域知识数据资产
致力于构建高质量的大规模视觉训练数据集，支持图像、视频等多模态模型的研发。主导数据基础设施的设计与优化，确保数据具备良好的质量、多样性与可扩展性。 1. 开发并维护可扩展的数据基础设施，支持大规模图像和视频数据的采集、存储与管理； 2. 应用并部署机器学习模型用于数据清洗、预处理与格式标准化； 3. 实现可扩展且高效的工具，用于可视化、聚类以及深度理解数据； 4. 优化和并行化数据处理流程，以高效处理上亿级别的数据集； 5. 评估并提升训练数据的质量、多样性及标注准确性（包括但不限于caption生成）； 6. 将来自用户偏好的数据来源转化为可用于训练的格式； 7. 与模型研发团队紧密协作，根据训练效果和模型反馈持续迭代数据策略。