Momenta算法实习生 · 自动化数据标注系统（AutoDCT / VLM 方向）

参与语言大模型、视觉大模型、语音大模型、多模态大模型的评测与研究工作，具体工作内容包括但不限于： 1、从大模型应用视角出发，建设科学、全面的大模型评测体系，制定并实施评测标准与评测方案。 2、开发算法对数据进行处理、理解，建设高质量数据pipeline，并基于科学、全面的评估体系构建数据集，系统评估模型能力，产出评测报告，指引大模型相应能力的提升。 3、开发算法，利用大模型辅助、替代人工标注，准确、高效的进行半自动化、自动化的模型评测，降低评测成本、提升评测效率。 4、对模型评测中发现的模型能力短板、模型能力变化、不符合认知的异常进行研究分析，产出研究分析结论，指引大模型相应能力的提升。具体研究项包括不限于数据、模型结构、训练方式对各类模型能力的影响，以数据相关研究为例，包括不限于研究不同数据类型、不同数据配比、不同数据加入时机、不同数据规模等变量对各类模型能力的影响。 5、紧密关注大模型方向的前沿技术进展，积极主动地学习和探索新数据分析、模型训练以及模型评测方法。 6、紧密关注大模型应用落地的行业最新进展，结合行业进展思考大模型评测、训练的发展趋势，对模型评测体系、机制进行迭代。

研究领域： 人工智能 项目简介： 蚂蚁国际当前处于全球化和AI规模化应用的战略关键节点中，为支持多条业务线的业务规模化增长，蚂蚁国际风控致力于AI的创新及其在风控场景的应用。应用场景包括但不限于基于多智能体的风控决策系统， Deepfake识别，风控深度推理大模型等解决实际业务痛点。团队鼓励创新，勇于探索及突破前沿AI能力边界。 1.负责foundation model和生成式AI智能体构建，追踪业界文本生成、思维学习、内容理解等方向的最新技术，极致优化预训练、微调、领域知识注入、RLHF、RM、AI可解释能力。 2.负责AI技术前沿技术跟踪、创新和落地，例如，利用意图理解、图文理解等构建新一代的生成式审核机器人与辅助系统，运用反馈标注、知识体系建设、知识图谱构建等任务；利用多模态技术对图像、文本、结构化数据进行融合学习，致力于挖掘风控场景问题并全面提升风险运营效率，并帮助实现对合规、欺诈、洗钱等风险的高效管控。 3.深入跟踪调研前沿技术方向 ，包括但不限于 NLP/CV/多模态/智能体等，并适时进行技术分享。推动相关领域技术创新，进行专利申请和学术文章发表，产出至少一篇CCF-A以上论文。

自动驾驶： 1、负责自动驾驶动态目标感知算法设计和优化，包括但不限于3D目标检测与跟踪、图像/点云语义分割、物体动静态估计、Radar融合以及相应的数据挖掘与仿真算法； 2、静态感知模块研发，包括但不限于各类静态障碍物检测跟踪、地图元素识别及其矢量化/语义化/拓扑化、可行驶区域/BEV分割/OccupancyNetwork及针对真实世界中OpenVocabulary的众包地图大模型研发； 3、感知基础算法研发，包括但不限于时序多模态等基础感知模块，大规模多模态预训练算法，室外大范围动静态场景重建与编辑技术，基于（可提示）交互式智能标注系统等。

团队介绍：广告业务原为商业产品与技术部门，为抖音集团的商业变现提供广告产品与技术，负责端到端大型广告系统建设，覆盖抖音、今日头条、西瓜视频、番茄小说、穿山甲等产品矩阵，践行“激发生意新可能”理念，致力于让营销更省心、更高效、更美好，推动商业的可持续增长，让不分体量、地域的企业及个体，都能通过数字化技术激发创造、驱动生意。连接广告主、用户及生态伙伴、成为开放共赢的全球最佳智能营销平台之一。在这里，你将投身建设面向未来的数字营销能力，接触到全球先进的商业产品架构、模型和算法，在互联网广告行业始终创新。 课题背景 在广告营销领域，智能客服系统正成为优化售前用户沟通的关键工具，商家亟需高效工具来减少人工依赖、提升转化效率。背景核心在于：广告营销的售前场景涉及复杂用户交互（如产品咨询、促销引导和留资获取），当前基于 LLM 的智能客服 Agent 系统采用 “规划 + 生成” 的架构，需完成从用户进线、诉求澄清到方案执行的全流程服务。然而，随着广告市场的动态变化和个性化需求增长，传统方法面临响应相关性不足、转化率瓶颈等问题。团队正聚焦于利用 LLM 后训练技术（如微调和强化学习），结合 RAG、CoT 蒸馏等手段，构建一套高适配性的 Agent 系统，以实现智能化用户沟通 —— 帮助商家自动促成订单或获取高质量线索，最终提升广告营销的 ROI 和用户体验。这一方向不仅是业务增长的核心驱动力，也是推动大模型在广告领域落地的关键创新。 课题挑战 本课题面临多重技术与业务挑战，需要人才在 LLM-Agent 架构下突破瓶颈，确保智能客服在广告营销场景中的高可靠性、高效性和合规性。具体挑战包括： 1）对话流程控制：售前咨询需通过多轮交互引导用户留资或促成订单，亟需优化 Agent 的决策能力。这要求强化planning的识别能力和action选择的准确性，需要引入 SOP 构建、CoT蒸馏、react与反思机制等，实现上下文一致性与业务目标达成。另外也需要构建合理的reward指标，应用DPO/RL等手段进一步提升模型决策能力； 2）回复质量与幻觉：售前咨询的回复模型需要在少量标注数据下产出高质量的训练数据，应用大模型微调SFT、CoT蒸馏提升在各个行业上的话术质量和回复满意度。应用RAG、知识图谱等能力构建高质量知识库，在线时通过精确知识点匹配解决冷启动与幻觉问题，提升用户体验； 3）个性化问题：目前传统智能客服对于不同用户的接待基本都是相同的，售前客服需要考虑不同用户的兴趣点，通过引入用户特征、构建长期memory等手段，为用户构建定制化的接待方案，提高用户满意度并促成留资或者订单等业务指标提升； 4）实时性能瓶颈：系统需处理高并发请求，但大模型的推理延迟和资源消耗可能影响用户体验。这要求研究模型压缩、量化技术、推理模型的cot加速等方向以优化部署效率。 研究方向：大语言模型。