腾讯跨云迁移研发工程师-国产化替代方向

岗位职责 1. 架构设计与规划 ◦ 负责分布式数据库、分布式KV存储的整体架构设计，聚焦高可用、高并发、高扩展性核心目标，输出架构方案、技术选型报告、架构评审文档。 ◦ 结合业务场景（如海量数据存储、高吞吐读写、跨地域容灾等），设计分布式存储分层架构，平衡一致性、可用性与分区容错性（CAP），制定数据分片、副本策略、故障转移机制。 ◦ 主导KV存储引擎（如RocksDB、LevelDB等）的深度优化，包括存储结构、压缩策略、缓存机制、IO模型调优，提升存储性能与资源利用率。 2. 高可用体系建设 ◦ 设计并落地分布式数据库与KV存储的高可用保障体系，包括多副本部署、自动故障检测与恢复、数据备份与恢复、灾备演练等方案，确保系统99.99%以上可用性。 ◦ 制定数据库与KV存储的容灾策略，支持跨机房、跨地域部署，解决数据一致性、数据同步延迟、脑裂等关键问题。 ◦ 参与架构应急方案制定，针对集群扩容、数据迁移、版本升级等场景，设计无感知切换方案，避免业务中断。 3. 技术攻关与优化 ◦ 跟踪分布式存储领域前沿技术（如分布式共识算法、新型存储介质、云原生存储方案等），引入行业顶尖实践并落地。 ◦ 负责解决分布式数据库与KV存储在高并发、大数据量场景下的性能瓶颈，包括慢查询优化、锁机制优化、资源调度优化等。 ◦ 主导技术难题攻关，如分布式事务一致性、热点数据处理、大Key/热Key优化、存储成本优化等。 4. 团队协作与技术赋能 ◦ 与研发、运维、测试团队协作，推动架构方案落地，参与核心模块代码评审，把控技术实现质量。 ◦ 制定技术规范与最佳实践，包括数据库/KV存储的设计规范、运维规范、监控告警规范，赋能团队成员提升技术能力。 ◦ 参与跨团队技术方案评审，协调解决不同业务线在存储层的技术冲突，推动基础存储设施的标准化建设。 5. 架构演进与管理 ◦ 持续关注业务发展需求，评估现有架构的适应性，制定分布式数据库与KV存储的中长期演进路线图。 ◦ 负责架构文档的维护与更新，确保架构设计的透明性与可追溯性，组织架构评审会议并推动问题闭环。

对象存储业务研发&存储离线业务研发方向 一、对象存储业务研发 【业务介绍】 小红书存储提供高可靠、低成本、高性能的EB级别的云存储服务，支撑大模型训推、社交、推荐、搜索、电商、广告等核心业务场景。 1、负责小红书对象存储统一网关的设计、开发、测试和发布，在EB级别存储规模下，提供百T级别带宽和毫秒级延迟； 2、负责大模型训推、社交、推荐、搜索、电商、广告等核心业务的接入和支撑； 3、负责对象存储产品的服务质量，保障吞吐延迟、可用性、可靠性达标，持续降低存储成本； 【任职资格】 1、1年以上系统软件，如操作系统，存储系统，数据库系统，分布式系统等大规模系统软件开发经验； 2、精通C/C++/golang等一门或多门语言； 3、熟悉S3协议有对象存储网关研发经验的优先； 4、良好的沟通能力和团队合作精神，有一定的组织协调能力和决策能力； 5、有在充满变化的环境下克服困难达成目的的能力和决心。 二、存储离线业务研发方向 【业务介绍】 小红书存储提供高可靠、低成本、高性能的EB级别的云存储服务，支撑大模型训推、社交、推荐、搜索、电商、广告等核心业务场景。 1、负责小红书存储离线业务（GC、生命周期、数据同步等）的设计、开发、测试和发布； 2、满足大模型训推、社交、推荐、搜索、电商、广告等核心业务的数据跨产品（文件/对象等）、跨云、跨域（全球）同步、备份和迁移需求； 3、保障存储离线业务的服务质量，做到高可靠、高效能和低成本； 【任职资格】 1、1年以上系统软件，如操作系统，存储系统，数据库系统，分布式系统等大规模系统软件开发经验； 2、精通C/C++/golang等一门或多门语言； 3、熟悉S3协议有对象存储后台业务研发经验的优先； 4、良好的沟通能力和团队合作精神，有一定的组织协调能力和决策能力； 5、有在充满变化的环境下克服困难达成目的的能力和决心。

团队介绍：广告业务原为商业产品与技术部门，为抖音集团的商业变现提供广告产品与技术，负责端到端大型广告系统建设，覆盖抖音、今日头条、西瓜视频、番茄小说、穿山甲等产品矩阵，践行"激发生意新可能"理念，致力于让营销更省心、更高效、更美好，推动商业的可持续增长，让不分体量、地域的企业及个体，都能通过数字化技术激发创造、驱动生意。连接广告主、用户及生态伙伴、成为开放共赢的全球最佳智能营销平台之一。在这里，你将投身建设面向未来的数字营销能力，接触到全球先进的商业产品架构、模型和算法，在互联网广告行业始终创新。 课题背景： 随着人工智能技术的快速发展，大模型技术在交易与广告场景中的应用日益广泛，已成为推动行业创新和效率提升的重要驱动力。大模型凭借其强大的学习能力和泛化性能，在多个领域展现出显著优势。例如，推荐大模型能够精准捕捉用户偏好，提升个性化推荐效果；AIGC（AI-Generated Content）技术可用于广告创意、商品图片和视频生成，大幅降低创作成本并提升内容质量；广告投放诊断系统和诊断助手帮助优化投放策略；智能客服、影片智能剪辑、智能导购、大模型审核、用户序列建模以及多模态广告和用户理解等应用，则通过自然语言处理、多模态数据融合等技术，提升用户体验和业务效率。 然而，交易与广告场景对大模型系统的要求极高，不仅需要模型具备出色的精度和泛化能力，还需在实时性、稳定性、可扩展性等方面满足严苛标准。特别是在大规模分布式训练、推理加速、异构硬件支持、多模态数据处理以及系统集成等方面，存在诸多技术难点。因此，针对交易与广告场景研发和优化大模型系统，不仅是人工智能技术发展的前沿方向，也是行业应用的迫切需求。本课题旨在通过系统和工程领域的深入研究，突破关键技术瓶颈，构建高效、稳定、可扩展的大模型解决方案，为交易与广告场景提供强有力的技术支撑。 课题挑战： 1、大规模分布式训练加速：大模型训练需处理海量数据和高复杂度计算，导致训练耗时长、资源需求大。如何优化分布式训练架构，提升数据并行、模型并行和流水线并行的效率，是首要技术难题。 2、推理加速和性能优化：交易与广告场景对实时性要求极高，如广告投放需毫秒级决策。如何在资源受限环境下通过模型压缩和推理引擎优化实现快速推理，是关键挑战。 3、异构硬件支持：大模型需适配多种硬件平台。如何实现高效部署和负载均衡，确保跨硬件精度一致性和高性能，是技术难点。 4、编译优化：编译优化是过程复杂，如何开发高效编译器，优化长尾/灵活模型或结构在不同Accelerator执行效率并减少延迟，是亟待解决的问题。 5、Agent工程：智能客服和导购等应用需构建自主决策的AI Agent。如何设计高效的Agent系统，支持复杂任务执行，是前沿挑战。 6、强化学习框架：强化学习在广告投放优化等场景中潜力巨大。如何构建高效框架，支持大规模环境训练和推理，是研究难点。 课题内容： 1、大规模分布式训练加速技术 1）研究数据并行、模型并行和混合并行算法，优化训练效率； 2）开发自适应负载均衡机制，减少资源浪费； 3）探索梯度压缩和通信优化技术，降低网络开销； 2、推理加速与性能优化方法 1）研究模型压缩技术（如量化、剪枝），减小模型体积； 2）开发高效推理引擎，支持批量推理和异步处理； 3）针对不同Accelerator的架构加速推理过程； 3、异构硬件支持与优化 1）设计通用部署框架，支持多硬件无缝集成； 2）开发硬件感知调度算法，优化任务分配； 3）研究跨硬件模型迁移技术，确保精度一致； 4、编译优化技术 1）深入优化模型编译器，优化长尾场景的计算开销； 2）研究图优化和算子融合技术，减少计算开销； 3）探索动态优化方法，提升运行时效率； 5、Agent工程与实现 1）设计模块化Agent架构，支持任务分解和决策； 2）开发多模态交互技术，提升用户体验； 3）研究Agent训练与评估方法，优化复杂场景性能； 6、强化学习框架构建 1）开发高效强化学习算法，支持多智能体协作； 2）针对交易与广告场景的训练场景优化训练速度，提升迭代效率； 3）探索强化学习在广告投放中的应用，提升决策效果。

团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。 课题介绍： 1）课题背景： 1、数字化营销时代，企业对高质量、多样化营销素材的需求呈爆发式增长。从社交媒体图文到短视频广告，从个性化推荐文案到多模态互动内容，营销场景的复杂化与用户需求的碎片化对素材生成效率、创意水平和精准度提出了更高要求。传统依赖人工策划与设计的模式成本高、周期长，难以满足实时化、动态化、规模化的业务需求。尽管生成式AI（AIGC）技术（如GPT等）已在文本、图像生成领域取得突破，但在营销场景中仍面临创意适配性差、多模态协同能力弱、品牌一致性难保障等瓶颈。本课题旨在研发“创作领域Agent”，通过智能技术实现从策略洞察到内容生产的全链路自动化，推动营销效率与效果的革命性升级。 2、随着大语言模型、多模态模型等大模型的成熟，通过视觉理解、语音识别、文本生成等AI大模型能力，提升视频剪辑效率，基于创作者的需求和创意，高效的创作出炫酷、个性化的视频成为了可能。当前行业虽已有部分智能剪辑工具，但大多局限于规则化操作，成片或缺乏对用户意图的理解，效果同质化，或缺乏成片逻辑与情感，机械堆砌素材。 本课题旨在研究适合视频剪辑的大模型技术，结合剪映平台的强大剪辑能力和效果，打造一个智能剪辑的智能体（Agent），赋能自媒体内容生产、影视工业化、广告营销等场景。 2）课题挑战： 1、创意与商业价值的平衡：AI生成内容易陷入同质化，需突破算法在品牌调性理解、用户情感共鸣、营销目标对齐等方面的局限，确保创意兼具新颖性与商业转化价值。 2、多模态动态协同：文本、图像、视频等模态的生成需实现语义与风格的跨模态对齐，且需支持动态组合与实时迭代（如根据用户反馈即时优化素材）。 3、复杂场景泛化能力：营销场景高度细分（如电商促销、品牌故事、危机公关），Agent需具备上下文感知与领域迁移能力，避免“一刀切”生成策略。 4、计算效率与资源限制：高分辨率视觉素材生成、多版本AB测试等场景对算力需求极高，需优化模型轻量化与推理速度，满足企业级部署的可行性。 5、伦理与合规风险：需解决版权争议（如AI生成素材的版权归属）、内容安全（如虚假宣传、文化敏感性）等问题，构建可信可控的生成框架。 6、视频数据复杂性远超图片和文字，巨量的用户素材，要通过大模型去精准理解，并与图片、音频、文字等多模态特征统一，对多模态模型理解能力和推理优化，提出了极高要求。 7、大模型对素材编排和剪辑的结果，可能偏离用户真实意图，既要避免输出模板化、同质化，又要结合用户个性化和创意，在风格、节奏等维度上加入“人性化创意”。 8、大参数模型训练成本高，推理慢，如何通过模型优化、工程优化等手段，给移动端、PC等终端用户极致的体验，也是课题的一大挑战。 1、负责剪映CapCut的AI视频编辑方向的Agent模型训练与评测，使用SFT/RLHF/Post-training等技术对视频创作进行领域知识建模； 2、提升视频创作Agent大模型的增强模型和安全能力的指令遵从能力、提升Pre-trained Model在视频创作的能力，构建行业领先的视频创作专家的智能Agent。