小红书【Ace顶尖实习生】面向千人千面agent的广告大模型能力构建
任职要求
1、不限年级，本科及以上在读，计算机/人工智能/软件工程等相关专业优先； 2、精通Tensorflow，Pytorch等工具，了解深度学习技术，具有模型优化经验； 3、熟悉Linux开发环境，熟练掌握C++，python，Shell等编程语言，对数据结构与算法有深…
工作职责
随着广告系统从“流量匹配”向“深度理解”演进，传统的模型范式在面对用户动态变化的兴趣与复杂决策场景时，逐渐显露出语义理解浅、策略同质化等局限。本课题“面向千人千面Agent的广告大模型能力构建”，旨在探索如何利用大语言模型结合广告个性化投放系统赋予智能体的核心能力，实现真正意义上的个性化智慧决策。 该课题会结合个性化建模、内容理解、大语言模型等能力，对用户心智做深度建模，依赖于历史行为长记忆的同时，能利用自然语言理解用户实时的微观意图、情感倾向与潜在需求。基于不同用户及不同上下文，能为不同用户量身定制差异化的广告投放，并且Agent能够以自然语言阐述其推理依据，让投放逻辑从“黑盒”走向透明，同时通过与用户反馈的持续交互，不断自我修正与进化。 这里面涉及到多方面的能力研究，包括基于内容的个性化能力的构建，个性化能力与大语言模型能力的结合，多模态融合能力，面向广告投放Agentic能力的微调能力以及面向广告投放系统的应用。
本课题的研究目标是打造行业领先的多语言能力强化的大语言模型，结合业务海量的多语言互译语料，以及平台生活化特色的笔记评论数据，利用数据合成、RL冷启训练、SFT和RLHF等技术，实现： 1、在小红书多语言大模型翻译场景取得领先效果； 2、多语言场景下，AI搜索的检索和生成技术。
随着大型语言模型（LLMs）的快速发展，其在复杂任务中的推理效率问题日益凸显。本课题聚焦于LLMs的推理加速，旨在研究高效的Chain-of-Thought（CoT）压缩算法，以优化模型的推理过程，减少计算开销并提高响应速度，同时保持推理的准确性；同时，课题将深入分析现有LLMs的推理机制，探索如何通过算法创新来实现CoT的高效压缩。 具体研究内容包括但不限于：基于模型结构进行优化、基于推理过程进行优化、基于Prompt进行优化、以及基于数据驱动的压缩策略等。通过本课题的研究，期望能够为LLMs的高效推理提供新的理论和技术支持，推动其在更多实际场景中的广泛应用。
本课题的研究目标是针对多Agent协同场景构建基于课程学习与分层强化学习的RL框架，从优先级经验回放(PER)、分布式经验复用和Actor-Critic异步计算优化等角度，攻克多目标冲突下的样本利用率低效问题。 该技术旨在突破传统RL训练在复杂任务（如小红书社区点点RL训练任务）中收敛慢、资源消耗高的瓶颈，实现训练效率提升3倍以上，支撑Agent服务快速迭代上线需求。
本课题旨在通过优化Transformer模型中的KV缓存机制，解决处理长序列数据时遇到的计算和内存挑战，目标是减少资源消耗、降低延迟并提高效率。 研究方向包括设计高效的KV缓存管理策略、适应不同应用场景的缓存优化以及并行与分布式处理优化。预期将成果应用于自然语言处理、视频分析等领域，为处理超长序列数据提供更加高效和可扩展的解决方案。