腾讯大模型算法工程师 - AI数据工程方向
任职要求
1.扎实的机器学习/NLP基础,熟悉生成式模型原理与大模型微调(SFT/RLHF等)相关技术; 2.具备以下至少一个领域实战经验:; 3.a.多模态模型标注智能体开发; 4.b.数据增强与合成策略设计; 5.c.数据质量评估体系构建; 6.熟练掌握Python等编程语言,具备良好的数…
工作职责
1.研发自动化数据标注工具链,覆盖文本、图像等多模态数据类型,实现标注流程标准化与效率提升; 2.设计基于生成模型的数据增强、合成策略,解决数据稀缺性与多样性问题,优化模型泛化能力; 3.构建数据质量评估体系,设计多维度的数据评估指标,开发自动化检测工具实现数据质量量化评估与问题定位。
1、数据效能研究(Data Efficiency):基于多模态大模型训练过程,分析不同模态数据的有效性、信息增益与贡献度;参与数据选择、数据蒸馏、难例挖掘等前沿技术探索,提升训练效率与模型表现; 2、数据–模型协同设计(Co-Design):与模型团队协作,从训练曲线、梯度信号与分布特征中反推数据质量,研究分阶段(预训练/SFT/对齐)数据策略,设计高效的数据结构与采样机制; 3、高质量数据构建(Data Quality Engineering):参与多模态数据 pipeline,包括自动标注、Caption 生成、数据去噪与一致性检查;探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式; 4、多模态数据分析(Multimodal Analytics):对训练数据进行覆盖度、偏差与难度分析,构建可视化与指标体系,为模型能力诊断与数据重构提供依据。
方向一: 1. 负责多模态大模型的基础能力提升,图文多模态模型的下游算法研究,图文多模态技术在AI搜索、图片结构化提取、图片内容理解等应用领域云侧和端侧的研究等 2. 跟进业界前沿技术,持续提升团队在图文多模态算法方面的技术积累。 方向二: 1. 负责多模态大模型压缩算法研发,探索并实现极低bit量化技术和稀疏化技术,保持推理精度的同时减少模型存储和计算资源消耗;多模态大模型编解码加速算法研发,降低端侧模型推理成本; 2. 参与端侧大模型技术体系建设,探索和实现高效大模型架构,开发和优化内部模型端侧化部署工具链,跟进大模型前沿技术发展趋势,探索相关算法的创新优化,发表高质量研究论文。 方向三: 1. 参与AI搜索,小布记忆等业务交付中的算法方案设计,模型训练等,持续提升算法能力,改善产品体验; 方向四: 1、 负责参与小布助手统一意图理解与任务编排的算法及数据工程优化 方向五: 1. 参与个性化大模型算法设计、实现和优化,提升模型用户特征提取、行为挖掘及精准画像等核心能力; 2. 协同产品与工程团队,推动个性化大模型在手机业务中的创新应用,持续探索技术突破点并推动团队技术迭代,保持行业领先性。
团队介绍:我们是字节跳动质量技术团队,致力于基于海量质量领域数据,通过AI智能化构建新一代的质量工作范式,主要方向包括测试用例生成、业务领域建模、智能断言、诊断分析。 1、参与领域模型的全流程工作,包括但不限于数据、训练、评测、推理部署; 2、探索LLM技术在质量领域中的落地应用,基于大量质量能力构建统一的智能化测试基建; 3、负责质量智能化领域LLM/Agents的数据工程,构建数据飞轮; 4、负责基于质量数据做模型微调(Fine-tune),确保模型精度和效率。