字节跳动模型评估专员-DMC
任职要求
1、本科以上学历，有评测类项目运营经验，理解评测的业务逻辑，能负责一个评测项目的流程； 2、有与产品研发合作的经验或项目管理经验，具备多方协作的视角； 3、需要有大模型产品相关经验，对大模型训练有一定了解；做过Workflow或Agent…
工作职责
1、负责大语言模型在安全方向的安全和质量平衡，对安全队列产出的投训数据进行评估及质量把控；与产品、算法团队充分沟通协作，理解各方视角及数据质量要求，给到标注侧质量优化指导； 2、能独立负责专项送评沟通-评估追踪-分析结论输出全链路；承接基础业务的评估，具备评估业务逻辑，能够搭建评测集，设置评测指标，输出可置信的结论，并且能够按照业务需求，进行Workflow流程搭建； 3、能借助数据分析等方式对问题进行拆解分析，定位模型各类问题，例如安全、质量、体验等结合评估及用户视角提供解决思路及优化方向，输出有价值的分析报告。
1、负责深度研究行业动态，分析市场供给状况，为业务决策提供数据支持和洞察。 2、设计并实施复杂的商业分析模型，评估业务策略对行业供给的影响，优化业务流程。 3、与各部门合作，收集、整合和解读数据，揭示业务机会和潜在风险。 4、定期生成报告，清晰呈现分析结果，协助团队理解和应对行业变化。 5、参与跨部门项目，推动数据驱动的决策制定，提升行业供给管理的效率和效果。
1、项目执行与交付 -负责国际数字人才培训项目的运营管理，包括培训项目交付、讲师协调、学员招募及活动组织； -管理线上/线下培训流程（如混合式学习、案例教学），确保课程质量与学员满意度； -协调技术团队优化数字化学习平台（如虚拟实训系统、AI助教工具），提升用户体验。 2、培训合作资源整合 -支持维护全球培训合作网络，对接国际高校、企业及机构，推动课程共建与认证体系互认； -策划跨国活动（如行业峰会、工作坊），协调时区、语言及文化差异； -优化培训内容和交付方式，适配本土化需求。 3、学员管理与数据分析 -管理学员全生命周期（报名、学习、结业），建立个性化学习档案； -利用数据分析工具跟踪学员行为，优化课程设计； -定期输出项目报告，评估培训效果（如技能提升率、就业率）。 4、品牌与社群运营 -运营国际培训项目品牌，通过社交媒体（LinkedIn、Facebook等）及行业论坛等渠道扩大影响力； -管理运营学员社群，促进知识共享与网络建设； -策划学员成功案例故事，用于品牌宣传与招生推广。
1. 制定并优化安全运营管理制度。根据大模型应用场景和功能和大模型监管的法律法规、技术标准，制定和完善运营团队的服务流程和安全生产规范，定期修订制度文件； 2. 评估现有运营服务和安全生产流程的有效性和效率，识别改进点并推动相应的优化措施； 3. 设计并搭建团队数据监控体系。利用数据分析工具和技术，设计和开发团队的数据化运营看板，监控关键绩效指标和业务健康状况，通过可视化手段为安全运营提供支持。
1. 深入理解企业客户的大模型应用场景和功能，输出安全解决方案，以商业化标准交付客户需求； 2. 按照大模型监管的法律法规、技术标准，完成大模型应用场景的日常安全运营，为安全和体验的业务结果负责，持续进行评估与改进。同时，运营动作需要规范化，定期向客户输出审计报告； 3. 完成主管机关发起的大模型合规检查、指令处置工作； 4. 和产研、算法团队深度合作，通过评测、外层护栏、安全运营平台产品等各类能力，提升安全水位。