小红书【Ace顶尖实习生】面向大模型推理提速的CoT压缩算法研究
任职要求
1、不限年级，本科及以上在读，计算机/人工智能/软件工程等相关专业优先； 2、熟悉Linux/Unix平台上的C++编程，熟悉网络编程-多线程编程，有良好的编程习惯； 3、熟悉其中一种主流的深度学习训练或推理框架（TensorFlow / PyTorc…
工作职责
随着大型语言模型（LLMs）的快速发展，其在复杂任务中的推理效率问题日益凸显。本课题聚焦于LLMs的推理加速，旨在研究高效的Chain-of-Thought（CoT）压缩算法，以优化模型的推理过程，减少计算开销并提高响应速度，同时保持推理的准确性；同时，课题将深入分析现有LLMs的推理机制，探索如何通过算法创新来实现CoT的高效压缩。 具体研究内容包括但不限于：基于模型结构进行优化、基于推理过程进行优化、基于Prompt进行优化、以及基于数据驱动的压缩策略等。通过本课题的研究，期望能够为LLMs的高效推理提供新的理论和技术支持，推动其在更多实际场景中的广泛应用。
随着广告系统从“流量匹配”向“深度理解”演进，传统的模型范式在面对用户动态变化的兴趣与复杂决策场景时，逐渐显露出语义理解浅、策略同质化等局限。本课题“面向千人千面Agent的广告大模型能力构建”，旨在探索如何利用大语言模型结合广告个性化投放系统赋予智能体的核心能力，实现真正意义上的个性化智慧决策。 该课题会结合个性化建模、内容理解、大语言模型等能力，对用户心智做深度建模，依赖于历史行为长记忆的同时，能利用自然语言理解用户实时的微观意图、情感倾向与潜在需求。基于不同用户及不同上下文，能为不同用户量身定制差异化的广告投放，并且Agent能够以自然语言阐述其推理依据，让投放逻辑从“黑盒”走向透明，同时通过与用户反馈的持续交互，不断自我修正与进化。 这里面涉及到多方面的能力研究，包括基于内容的个性化能力的构建，个性化能力与大语言模型能力的结合，多模态融合能力，面向广告投放Agentic能力的微调能力以及面向广告投放系统的应用。
本课题研究面向超大规模机器学习模型的极致训练与推理性能优化，覆盖搜索、广告、推荐（搜广推）系统与大语言模型（LLM）两大核心方向。随着模型参数规模从十亿级跃升至万亿级、训练数据从 TB 迈向 PB、在线推理 QPS 持续攀升，底层算力、显存带宽、通信效率与系统稳定性面临前所未有的挑战。本课题致力于在算法、系统、硬件三层协同维度上构建业界领先的端到端解决方案，打造面向异构超大规模集群的极致性能基础设施。 在搜广推方向，研究内容涵盖稀疏 Embedding 的分布式存储与动态扩缩容、HugeCTR/TorchRec 级别的 GPU 训练加速、参数服务器与 AllReduce 混合并行架构、Embedding 通信压缩与流水化、特征工程与样本流的零拷贝优化，以及在线推理的低延迟图编译、算子融合、量化蒸馏与多模型共置调度，目标是在万亿参数稀疏模型下实现训练吞吐与推理时延的双重突破。 在 LLM 方向，研究内容覆盖 3D/4D 混合并行（DP/TP/PP/EP/SP）、MoE 专家路由与 All-to-All 通信优化、长上下文训练（Ring/Context Parallel）、FP8/FP4 低精度训练、RLHF 与强化学习训练框架；推理侧聚焦 PD 分离、Continuous Batching、PagedAttention、Speculative Decoding、KV Cache 分级缓存、量化（GPTQ/AWQ/SmoothQuant）以及面向 H 系列/国产芯片的 Kernel 极致优化（CUTLASS/Triton/CUDA）。
1、 根据集团战略发展方向，拓展浙江省地市政府、央国企领域及体制内目标客户和合作伙伴的云业务； 2、 负责地市政务关系管理，制定并推动区域、行业、重点客户市场拓展计划并执行； 3、针对数字政务、医疗、城市大脑、城市智算、行业大模型等领域，拉通政府及合作伙伴资源，挖掘和引导需求，创造商业机会； 4、与客户或合作伙伴进行重点项目对接，积极有效的推动合同拟定、谈判等商务流程； 5、协调公司内部产品、研发、运维、财务、法务等资源，积极有效的推动合同拟定、谈判等商务流程，高效达成销售业绩； 6、与政企客户和合作伙伴建立长期积极互动关系，促进阿里云政企业务的良性发展。
1、负责阿里云大客户的商务运作及拓展； 2、对互联网行业和云计算有较为深刻的洞察，对互联网AI行业生态链熟悉者优先； 3、有丰富的大客户维护经验和全局化视角，能够独立完成重点项目挖掘、布局、运作和管理； 4、有较强的内外部资源整合能力，完成项目的推动与落地，提升客户整体满意度；