字节跳动LLM数据产品经理-Seed
任职要求
1、具备3年以上数据产品或数据分析相关经验,有数据治理、数据流程梳理、数据资产管理相关背景优先; 2、熟悉大模型或机器学习训练流程者优先,有数据标注、样本配比、数据追踪经验者加分; 3、具备一定的数据处理与分析…
工作职责
1、负责数据清洗与治理,协同数据工程师与算法团队,对原始训练数据进行收口、分类、清洗、脱敏、结构化;深入理解各类数据的来源、特性与用途,确保数据质量与合规性;追踪数据生命周期,确保数据可追溯、可还原、可解释; 2、负责数据归档与版本管理,设计并维护训练数据的归档策略、数据标注规范、数据版本体系,管理“哪些数据用于训练,哪些未被使用”的元信息及其配比记录,负责训练数据的文档化,包括数据源描述、处理流程、清洗策略、抽样配比等关键信息; 3、产品化协作与技术对接,作为数据产品接口人,与算法、数据工程、平台团队密切合作,推动训练数据产品方案的落地;与研发团队共同推进数据平台的能力建设与数据工具链打通,提升数据处理效率与规范性,推进训练数据资产的可复用性与积累性,持续构建结构化数据资产池; 4、数据使用策略与监控,与模型团队配合,输出不同训练任务的数据构成建议,制定数据使用与采样策略,建立关键数据指标监控机制,评估数据质量对模型效果的影响。
1、与技术团队合作,定位在海外市场中LLM对齐训练所需的数据; 2、开发对齐数据采集和生产的方法,确保数据质量保持在高标准,并根据定量和定性反馈不断改进流程; 3、评估数据生产工具对数据生产的有效性和质量的影响;不断提高人工和合成数据的效率和效果上限; 4、与业务团队合作,将字节跳动自研的LLM整合到新的和现有的代码产品及服务中;通过对用户行为和反馈的研究,确定自研代码产品的改进空间。
1、项目管理能力优秀,能够主导并管理多个代码类大语言模型(LLM)训练项目,确保按时交付、符合质量标准并达成目标;跟踪项目进展,识别风险,并采取必要的纠正措施以保证项目按计划推进;与产品经理、研究员、数据标注员及其他跨职能团队成员建立并维护良好的合作关系,同步项目进展,解决问题并协调各方期望,确保项目成功交付; 2、流程设计及优化,设计、管理并优化代码类LLM训练项目的工作流程,包括训练设计、质量保证(QA)流程及效果追踪,以满足项目需求;与产品经理、项目负责人及跨职能团队紧密协作,确保质量标准与项目目标保持一致; 3、运营优化,开展质量与效率优化实验,提升代码类训练数据的运营流程;主导并支持跨数据领域的通用标注运营优化计划;制定并维护技术指南及案例手册,确保数据生产的高质量与一致性; 4、数据监控及分析,设计并实施稳健的数据分析策略,系统评估训练集与验证集质量通过统计建模、可视化分析及编程方法,全面监测标注质量、模型表现及数据集覆盖度采用分片评估、提示词敏感性测试及聚类错误分析,精准识别数据缺口、边界案例与失效模式,运用Python(Pandas/NumPy/Matplotlib)及SQL工具链,生成可落地的改进建议,保障数据管道健康度,与模型训练标注员及研发紧密协作,基于数据洞察指导训练策略调整,推动以数据为核心的项目迭代。
1、负责面向游戏业务线的中台数据产品规划与设计,涵盖BI平台、运营平台、AB实验平台及AI产品等方向; 2、深入理解业务,抽象并提炼数据需求,推动数据平台化建设,主导关键业务接入与落地; 3、探索大模型(如LLM/AI)在数据分析与智能应用中的实践,提升数据使用效率和业务洞察能力; 4、负责产品全生命周期管理,主导需求分析、产品设计、研发跟进、测试验收、上线发布及培训推广全过程; 5、推动核心产品用户增长与迭代优化,整合多方资源,持续提升产品体验与流程效率。
1.负责大模型产品数据分析体系搭建,涵盖用户使用频次、调用成功率、响应时长、功能渗透率、商业转化效率等核心指标,确保指标精准反映产品性能、用户价值与商业价值; 2.结合业务需求(如客户行业属性、使用场景差异),拆分细分维度数据视图,为金融、制造、医疗等不同行业客户提供定制化数据分析框架,支撑客户决策与产品优化。; 3.可以主导大模型产品数据报表规划与落地,覆盖日常运营报表、客户使用分析报表、商业收入报表等类型,可以通过 Tableau、Power BI或自研数据平台实现数据可视化呈现; 4.定期输出大模型产品数据分析报告,挖掘数据背后的业务问题(如功能使用率低、客户留存不佳等),提出功能迭代、交互改进、定价调整等产品优化建议,并推动研发、运营团队落地。; 5.跟踪行业竞品大模型数据动态,分析竞品优势与不足,结合自身产品数据制定差异化竞争策略,支撑业务增长决策。; 6.协同研发团队(算法、工程)明确数据采集范围与标准,确保大模型产品从调用请求到结果返回的全链路数据可追溯、可分析,解决数据缺失、数据不一致等问题。; 7.配合销售、客户成功团队,为客户提供数据解读服务(如客户使用数据复盘、优化建议),提升客户满意度与续约率。