阿里巴巴淘天算法技术-搜索模型加速算法工程师-杭州/北京
任职要求
1. 计算机科学、人工智能、机器学习或相关领域的硕士及以上学历，在剪枝、量化等相关领域发表过优秀论文优先，包括但不限于NeurIPS、ICLR、ICML等顶级会议或期刊 2. 熟悉常见的分布式机器学习框架，Megatron、DeepSpeed、HuggingFace，熟悉分布式计算和并行计算的概念和技术，有相关的实际经验 3. 有工业界相关方向的实践经验者，或…
工作职责
团队背景：淘宝文本搜索算法团队是淘天集团内专注于创新和优化搜索技术的核心团队。我们的任务是通过持续研发高效、精准的搜索算法，以提升用户的在线购物体验和满意度，进而推动电商平台的商业成功。 工作职责 1. 和淘宝电商搜索业务紧密结合，设计和改进机器学习模型的架构，实现高效的搜索大型模型训练和推理系统（特别是大规模语言模型，GPT、LLaMA、通义千问等），确保其高效性和准确性，以提高计算性能和加速模型收敛 2. 进行搜索在线模型的性能分析和调优，识别和解决瓶颈问题，提高模型的训练和推理速度，以适应并充分利用硬件资源，确保在高效计算资源利用的前提下，提供快速响应的搜索业务体验 3. 应用不限于剪枝、量化、知识蒸馏、分布式计算（数据并行、模型并行、混合并行）等技术来优化模型的复杂度和运行速度，同时探索模型在样本、训练、存储和推理的极致性能 4. 和工程团队协同，实施并维护自动化工具和流程，以简化和加速模型训练和推理的部署过程 5. 研究最新的机器学习和深度学习技术，跟踪最新的研究进展和技术趋势，提出改进和创新的想法，推动团队的技术发展，并将其应用到淘宝搜索生产环境中 6. 参与设计和优化淘宝整体搜索系统，包括多阶段漏斗设计和整体链路设计，确保系统的稳定性和高效性
1.跟进多模态大模型 (VLLM)预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下，CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5. 多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
1. 负责大模型（LLM/MLLM）核心技术研发，包括预训练、垂域SFT、RLHF等，持续追踪和应用领域最新技术进展； 2. 负责大模型性能优化：研发模型加速技术，如量化、剪枝与知识蒸馏；优化数据特征与调度策略；构建高效推理链路、提升运行速度及降低成本； 3. 基于淘天用户丰富的消费行为，打造技术先进的电商用户理解大模型，提升对用户的异构行为本质的认知能力，支撑用户个性化的搜索、商详、互动等多种电商业务场景； 4. 基于淘天海量商品数据，打造技术先进的电商多模态大模型，提升对多模态异构的商品数据(图、文、视频等)的理解能力和结构化能力，输出底层算法能力和高质量结构化数据，支撑多种电商业务场景，并面向商家和消费者探索AIGC等创新业务应用； 5. 持续跟踪、探索大模型/多模态大模型方向的前沿技术，将各方向的SOTA能力集成到模型底座上，提升下游任务的效果，打造团队的技术先进性。
团队背景： 淘宝文本搜索算法团队是淘天集团内专注于创新和优化搜索技术的核心团队，其中搜索排序算法致力于实现更准确的用户个性化排序，当前正在推动在搜索场景下实现“个性化生成式排序”的技术革新，旨在通过大语言模型与搜索/推荐系统的深度融合，打造更智能、更个性化的用户体验。 职位描述： 1、研究LLM如何赋能电商场景下的个性化CTR/CVR预估，利用模态对齐、用户行为CoT等技术手段让LLM的推理能力扩展到对用户的个性化偏好的理解与推理上，实现更精准的人货匹配。 2、探索个性化生成式预估模型方案，包括搜索推荐领域下生成式模型相较于判别式模型的优劣对比，生成式训练范式设计、生成式模型结构优化、基于RL的排序目标对齐等方向，设计有scale-up能力的模型方案。 3、负责大模型背景下的预估模型的Infra设计，包括更加算力友好的算法方案设计、训练加速、线上部署、链路优化、计算复杂度优化等，推动先进技术成果的规模化落地。
业务介绍： 我们是阿里巴巴国际数字商业集团的智能技术团队，负责阿里巴巴旗下多个国际化电商平台的搜索、推荐、广告、用增等技术。团队致力于将最前沿的AI技术与国际化电商业务问题深度结合，为用户打造更好更智能化的网上购物体验，同时赋能百万商家实现更高效的经营。 选择加入我们意味着投身入于高速发展的国际化电商业务，一起打造最先进的AI技术以驱动全球电商业务发展。 岗位描述： 1、负责支持业务迭代：推进来自搜索、推荐、广告、用增各域的产品需求快速落地。 2、负责系统架构设计：负责搜索、推荐、广告引擎的架构设计与优化，支撑多语言场景下的高并发请求处理，满足全球用户低延迟、高可用的服务需求。 3、负责性能调优：针对召回排序、模型训练&推理、特征计算等模块进行工程性能优化（如分布式计算加速、内存管理、GPU资源调度等），提升算法迭代效率。 4、负责工程平台开发：构建算法与工程协同的标准化平台，包括特征实时化平台、在线推理服务框架、AB实验平台等，支持算法快速迭代与业务效果验证。 5、负责大模型工程优化：负责生成式AI技术的工程落地，包含大模型训练、推理加速、多模态内容生成等技术工作。 补充说明：同时也招聘面向25年应届毕业的同学；