小红书【Ace顶尖实习生】云原生多集群AI调度技术研究

本课题聚焦在多模态数据场景下如何高效的组织其向量索引数据，设计并实现配套的混合查询优化技术，能根据用户请求动态选择合理的索引组合，实现耗时、吞吐的合理平衡。 预期成果是能用单一向量数据库产品原生支持异构多模态数据的向量索引构建和混合查询，为多模态大模型场景提供高效的向量支持。

本课题旨在通过优化Transformer模型中的KV缓存机制，解决处理长序列数据时遇到的计算和内存挑战，目标是减少资源消耗、降低延迟并提高效率。 研究方向包括设计高效的KV缓存管理策略、适应不同应用场景的缓存优化以及并行与分布式处理优化。预期将成果应用于自然语言处理、视频分析等领域，为处理超长序列数据提供更加高效和可扩展的解决方案。

随着人工智能技术的快速发展，大模型在代码生成、语义理解、逻辑推理等领域展现出巨大潜力。软件质量保障作为软件工程的核心环节，传统方法存在测试用例设计效率低、场景覆盖率不足、自动化脚本维护成本高等痛点。 本课题旨在联合高校科研力量与企业工程实践，探索大模型技术在测试用例生成、单元测试自动化、UI测试脚本生成等质量保障场景中的创新应用。

本课题研究的目标是建设面向数据开发、数据分析和数据科学等场景的智能体Agent，对标Google Colab DataScience Agent，能够根据实际业务场景中的看数、分析、预测等需求，实现端到端的多任务的构建和编排，从而完成目前数仓、DI等日常工作。例如，对于数据开发场景，DataEngineer Agent 可以实现需求理解-> 找表 -> 指标设计 -> 数据建模 -> 任务代码生成->任务编排 -> 数据测试 -> 任务发布的全流程,从而进一步释放数据开发工程师的人力需求，支撑我们在保持精简的组织架构下，继续支撑业务的高速增长，实现卓越型组织架构。