字节跳动算法评测工程师-AI智能化方向
任职要求
1、本科及以上学历，三年及以上人工智能领域的质量保障或效果评价经验； 2、对技术和基础原理有执着追求，善于用各种手段解决问题；熟悉各类业界主流的人工智能相关的平台特性，具备平台开发经验&能力。熟悉至少一门编程语言，包括但不仅限于：Java、OC、C、C++、Python、Go、PHP； 3、了解质量保障基础知识并有相关经验；对数据敏感，具备卓越的数据分析能力以及解读技巧。表达清晰有条理，能站在用户角度思考问题本质； 4、了解NLP、神经网络、生成式语言大模型等基本原理，有过AI类产品的质量保障工作经历或算法评测经验最佳； 5、了解语音合成、语音识别相关知识，负责语音相关TTS、ASR、RTC等场景的效果评估； 6、对业界最人工智能领域保持高度热情。
工作职责
1、负责字节跳动人工智能产品线，站在用户视角构建端到端的算法效果评测体系； 2、深入业务结合业务需求痛点，设计完备的算法效果质量保障、评测方案；构建合理且置信的标准化评测体系，解决业务评测效率和效果问题； 3、推动通用人工智能评测方案的升级迭代，逐步推广至公司内的商业化平台。
1、负责字节跳动人工智能产品线，站在用户视角构建端到端的算法效果评测体系； 2、深入业务结合业务需求痛点，设计完备的算法效果质量保障、评测方案；构建合理且置信的标准化评测体系，解决业务评测效率和效果问题； 3、推动通用人工智能评测方案的升级迭代，逐步推广至公司内的商业化平台。
我们是致力于推动智能化服务技术革新的创新团队，专注于为全行业提供高效、智能的解决方案。我们的业务涵盖智能客服、智能培训、智能质检等多个领域。 我们团队正在建设“评测数字员工”，旨在通过标准化、智能化的评测手段，推动AI智能服务的全面升级，并打造行业领先和有代表性的评测体系与benchmark。 如果你对AI、NLP、数据挖掘、评测等领域充满热情，并希望在一个充满挑战与机遇的环境中快速成长，那么加入我们，一起定义未来智能化服务的新标准！ 【职位描述】 1. 评测体系设计：参与设计并优化智能化服务（包括智能客服、智能培训、智能质检等）的评测体系，涵盖对话质量、操作质量、培训效果、拟人化、用户满意等核心指标。 2. 评测开发与优化： ○ 研发并优化基于LLM-as-Judge的评测能力，包括但不限于对话生成质量评估、意图识别准确率、多轮对话一致性等。 ○ 探索agent在复杂任务中的性能评测方法，如任务规划、SOP遵循、RAG、多模态交互等。 3. Red-team：针对agent系统的弱点进行攻击，找到系统潜在的风险，防患于未然。 4. Benchmark构建：构建并维护智能化服务领域的代表性benchmark，确保评测标准的科学性与可扩展性。 5. 数据驱动决策：通过数据分析与挖掘，识别智能化服务系统的性能瓶颈，并提出改进方案。 6. 跨业务协作：与多个智能体研发团队、产品团队紧密合作，确保评测体系与业务需求的高度匹配，推动产品的持续优化。 7. 技术前沿探索：跟踪智能化服务领域的最新技术动态，探索并落地创新评测方法。
团队介绍：我们是字节跳动质量技术团队，致力于基于海量质量领域数据，通过AI智能化构建新一代的质量工作范式，主要方向包括测试用例生成、业务领域建模、智能断言、诊断分析。 1、参与领域模型的全流程工作，包括但不限于数据、训练、评测、推理部署； 2、探索LLM技术在质量领域中的落地应用，基于大量质量能力构建统一的智能化测试基建； 3、负责质量智能化领域LLM/Agents的数据工程，构建数据飞轮； 4、负责基于质量数据做模型微调（Fine-tune），确保模型精度和效率。
团队介绍：我们是字节跳动质量技术团队，致力于基于海量质量领域数据，通过AI智能化构建新一代的质量工作范式，主要方向包括测试用例生成、业务领域建模、智能断言、诊断分析。 1、参与领域模型的全流程工作，包括但不限于数据、训练、评测、推理部署； 2、探索LLM技术在质量领域中的落地应用，基于大量质量能力构建统一的智能化测试基建； 3、负责质量智能化领域LLM/Agents的数据工程，构建数据飞轮； 4、负责基于质量数据做模型微调（Fine-tune），确保模型精度和效率。