蚂蚁金服蚂蚁集团-大模型应用算法工程师-杭州
任职要求
1. 计算机科学、人工智能或相关领域的硕士及以上学历； 2. 3年以上NLP和对话系统开发经验,熟悉主流的深度学习框架； 3. 扎实的机器学习和深度学习理论基础,熟悉BERT、GPT等大型语言模型； 5. 优秀的问题解决能力和创新思维,能够设计并实现复杂的算法； 6. 良好的沟通能力,能够与产品、设计等跨部门团队有效协作； 7. 熟悉Python、Java等编程语言,具备较强的工程实现能力； 8. 有金融科技或智能客服项目经验者优先。
工作职责
1.数据整理与分析：负责收集、整理征信、信贷、司法领域的资料，对数据进行清洗、标注和分类，确保数据的准确性和可用性，为模型训练提供高质量的数据基础； 2.模型调优与评估：基于现有大模型架构，针对信用管理对话场景，通过调整模型参数、优化训练策略等方式，提升模型对征信、信贷相关问题的理解和回答能力，确保输出的准确性和专业性；运用各种评估指标，如准确率、召回率、F1 值等，对模型效果进行客观评估，及时发现问题并提出改进方案； 3.对话策略制定： 深入理解征信知识和客户需求，结合模型特点，制定合理的对话策略，包括问题引导、答案推荐、情绪安抚等，使客服对话更加自然、流畅和高效，提升客户满意度；根据业务发展和市场变化，及时调整对话策略，确保模型能够适应不断变化的客户需求； 4.知识库建设与维护：协助构建和维护征信知识库，将征信基础知识、信贷知识、司法知识、常见问题解答等内容进行系统整理和更新，为模型提供丰富的知识支持，确保模型能够快速准确地回答客户问题；定期对知识库进行审核和优化，确保知识的准确性和时效性。
1.跟进多模态大模型 (VLLM)预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下，CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5. 多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
1、研发面向云计算底座海量数据的大模型，包括但不限于代码大模型、全模态、大规模图学习等领域相关的大模型的应用算法研发； 2、参与大模型应用研发全流程的工作，包括但不限于模型算法设计、代码开发、训练、部署优化、调试、评测；技术创新如专利、论文的撰写；外部技术影响力交流等； 3、推动大模型在DevOps提效、内外部智能体业务应用、爆款AI原生应用、安全和技术风险防控等场景的业务落地；
1、负责大模型，深度学习，知识图谱等技术在软件智能交付领域的相关应用技术研发，业务场景包括但不限于需求理解、测试生成、智能交互、风险挖掘等； 2、跟踪AIGC等前沿技术领域的最新研究成果，探索工业领域落地可行性，并持续提升算法应用效果； 3、探索大模型技术在智能测试领域中的落地应用，为测试效率提升提供智能服务； 4、深度参与项目研发，与产品和业务团队同学保持密切配合，不断优化项目整体效益，提升用户体验。
团队介绍：AI Coding团队致力于探索LLM在软件开发全生命周期的应用，支持MarsCode、Trae等代码智能产品中代码补全、智能编辑、程序debug以及代码修复等核心AI功能的全链路模型优化。欢迎对大模型、Agent技术和开发者工具体系感兴趣、对技术有追求的同学加入，共同成长！ 课题介绍： 一、课题背景与研究动机 1、复杂软件工程项目的挑战与需求：随着企业业务需求的快速增长，软件项目规模持续扩大，系统架构日趋复杂，跨语言、多框架、多平台开发成为常态。开发团队在应对代码理解、跨模块协作、版本演化和长期维护等问题时，效率与质量面临双重挑战； 2、大模型在编程领域的潜力与不足：大规模语言模型在代码生成、补全和文档生成等任务上已展现强大能力，推动了智能化开发工具的初步落地。然而，在应对复杂软件工程项目时，现有模型在长序列建模、上下文一致性、跨文件依赖理解及代码质量保障方面仍有明显不足； 3、技术与产业机遇：1）范式变革：大模型有望成为软件开发全流程的重要参与者，推动从工具辅助向智能协作转变，覆盖从需求分析到代码实现、测试生成和自动化重构的各个环节；2）行业转型：通过深度优化大模型在复杂软件开发中的能力，可显著提升企业研发效率、软件质量与团队协作能力，助力数字化转型； 二、研究目标与创新价值 1、研究目标 1）提升大模型对复杂项目的语义理解与跨模块上下文建模能力，尤其是在长序列代码、跨文件依赖和复杂逻辑推理场景中的表现； 2）优化模型微调与自适应学习策略，通过引入多任务学习、强化学习（RL）和领域知识增强，构建具有高泛化能力和行业适配能力的大模型； 3）集成领域知识库与检索增强（RAG）技术，确保模型生成结果在行业标准、安全规范和合规性方面的准确性与可靠性； 4）构建自我进化的 AI Coding多智能体系统，基于强化学习、长期记忆、垂类模型训练、测试时计算等方法，持续优化任务规划、代码生成等能力，实现数据驱动的自我进化，从而实现复杂应用的端到端全栈开发； 2、创新价值 1）模型结构与预训练策略的突破：在通用预训练模型基础上，结合程序分析与语法语义建模，提升对大型软件项目的理解能力，尤其是在模块间交互和函数调用路径分析方面； 2）模型优化与自适应增强：通过多维度监督信号（代码质量、运行性能、测试覆盖率等），实现强化学习与在线反馈的动态调整，打造具备持续学习能力的大模型； 3）从工具辅助到全生命周期协作：以大模型为核心，推动需求到实现、测试到部署的智能化协作新范式，助力开发者在复杂工程项目中更高效地完成跨团队协作与长期维护； 4）领域知识与行业专属能力融入：通过引入行业领域知识库（如金融合规、医疗数据安全规范等），结合检索增强技术（RAG），确保生成代码符合行业标准，显著降低错误和安全隐患； 三、主要挑战与应用前景 1、长序列代码与复杂上下文建模：复杂软件项目中，代码文件可能达到数千行，存在跨模块调用和多层次依赖，模型如何在长序列输入下保持上下文一致性，是核心技术难点之一； 2、跨语言与多框架适配：现有模型大多针对单一语言优化，而企业项目往往涉及多语言（如 Python、C++、Java 等）和多框架（如 React、Django、Kubernetes）。如何提升模型的跨语言泛化能力成为重要课题； 3、领域知识缺失与安全合规风险：通用大模型缺乏行业特定知识，可能生成不符合行业规范或存在潜在漏洞的代码，需引入领域知识与合规规则进行优化和增强； 4、人机协作：针对新涌现的大模型技术和应用场景，研究下一代软件研发人机交互形式，推动AI驱动的交互形式的普及与发展。