通义研究型实习生-大规模预训练及推理的关键技术研究
任职要求
1、扎实的工程能力，熟悉Python/C++语言和常用设计模式，具备复杂系统的设计开发调试能力； 2、优良的沟通表达能力、团队合作意识和经验；具备快速学习的能力，以及深入钻研技术问题的耐心； 3、熟悉计算机体系结构基础知识，有扎实高性能计算(GPU/x86/ARM等)、或推理框架、或模型算法优化(量化/稀疏等)方面的经验。 加分项： 1、有突出的学术背景和创新研究能力； 2、对LLM等重点场景的系统优化或前沿算法有深入务实的经验； 3、具有GPU高性能Kernel开发和优化经验。
工作职责
专注于超大规模分布式LLM推理系统的研究、探索和开发，具体职责包括： 1、探索高性能的、可扩展的分布式LLM推理引擎，支持超大规模LLM的高效推理； 2、深入优化高性能算子、运行时、分布式策略等，打造业界领先的LLM推理引擎； 3、分析现有引擎和典型负载的性能瓶颈，提出并实现创新的优化技术； 4、针对LLM重点场景构建业界领先的框架和方案。
1. 探索多模态（去ID化）在电商冷启场景的落地，优化冷启商品/内容的分发效率； 2. 探索冷启动与跨域推荐，构建可迁移的统一冷启推荐大模型，实现不同业务场景下的高效迁移和应用； 3. 优化大规模模态编码器的训练及推理策略，提高资源利用效率，降低模型训练时间和GPU内存消耗； 4. 结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。
研究领域： 人工智能 项目简介： 蚂蚁国际当前处于全球化和AI规模化应用的战略关键节点中，为支持多条业务线的业务规模化增长，蚂蚁国际风控致力于AI的创新及其在风控场景的应用。应用场景包括但不限于基于多智能体的风控决策系统， Deepfake识别，风控深度推理大模型等解决实际业务痛点。团队鼓励创新，勇于探索及突破前沿AI能力边界。 1.负责foundation model和生成式AI智能体构建，追踪业界文本生成、思维学习、内容理解等方向的最新技术，极致优化预训练、微调、领域知识注入、RLHF、RM、AI可解释能力。 2.负责AI技术前沿技术跟踪、创新和落地，例如，利用意图理解、图文理解等构建新一代的生成式审核机器人与辅助系统，运用反馈标注、知识体系建设、知识图谱构建等任务；利用多模态技术对图像、文本、结构化数据进行融合学习，致力于挖掘风控场景问题并全面提升风险运营效率，并帮助实现对合规、欺诈、洗钱等风险的高效管控。 3.深入跟踪调研前沿技术方向 ，包括但不限于 NLP/CV/多模态/智能体等，并适时进行技术分享。推动相关领域技术创新，进行专利申请和学术文章发表，产出至少一篇CCF-A以上论文。
大模型的科学知识和文本推理能力是体现大模型智能程度的重要标准，而如何通过大规模算力显著提高大模型的相关能力目前仍是亟待被探索的。本项目旨在研究通过相关预训练数据挖掘合成、专项post-training优化、reward模型构建等技术提升大模型的专项能力并进一步反哺给通用模型。 拟解决的技术问题包括但不限于： -科学、文本推理类预训练数据的高效挖掘、构建 -科学、文本推理类数据的大规模自动合成 -科学、文本推理类能力的自动评测建设 -科学、文本推理类能力的post-training专项优化 -科学、文本推理类能力的reward model专项优化
1. 研究并探索大规模语言模型及多模态大模型在推荐系统可解释性生成中的应用，包括基于大模型的解释生成、用户意图理解与个性化解释优化； 2. 跟进并研发大模型的关键技术链路，包括SFT、RLHF等，提升解释内容的准确性、自然性与用户可接受度； 3. 构建推荐-解释联合建模框架，融合RAG、COT、Agent 推理等技术，实现动态、透明、可信的推荐决策过程； 4. 探索多模态大模型在推荐场景下的可解释性表达能力，支持跨模态解释生成与用户交互；结合工业级推荐场景（如电商），推动研究成果落地，并持续优化线上效果与用户体验； 5. 撰写高水平学术论文，和业界、学术界保持良好的交流。