字节跳动算法评测工程师-AI智能化方向

业务场景： 在开放世界游戏环境中，进行游戏内容理解与动态解说，驱动智能体完成指定任务、实现自主探索，并支持多智能体复杂交互等前沿AI应用场景。 岗位职责： 研究与开发： 负责开放世界游戏场景下基于大语言模型（LLM）及视觉语言模型（VLM）的智能体（Agent）技术研究与开发，涵盖Prompt工程、上下文学习（ICL）、检索增强生成（RAG）、监督微调（SFT）、强化微调（RFT）等关键技术。 框架与工具链构建： 主导游戏智能体核心框架的设计与实现，推动训练数据合成、自动化评测体系及相关算法的研发。 工业化落地： 推动游戏智能体技术在游戏内容生产与玩家消费场景的工业化部署与产品化落地，实现技术价值转化。

方向一： 1. 参与平台研发的全过程，监督研发过程的关键点，包含：产品需求评审、技术评审、代码review，测试评审、变更发布验收。 2.负责平台的质量建设，包括测试需求分析、测试架构设计、质量管理、风险洞察与应对，持续深入的稳定性建设。 3. 根据测试需要，能够开发测试代码、脚本、工具。 4. 保证被测系统的质量，并能通过改善测试流程、方法、技能，提高测试效率和质量。 方向二： ucdp算法质量 1. 负责支付宝的个性化AI产品体验（包括但不限于搜索推荐与增长）以及 基于Gen AI技术构造下一代的智能化产品的质量保障工作； 2. 工作内容包括不限于持续集成，回归体系，质量工具开发，线上监控应急，算法评估评测等，推动架构、技术、工具和流程的改进和创新，多工种配合，提升整体研发和交付的效率； 3. 在技术架构、工具平台、团队技能和人员等方面进行有前瞻性的布局、规划和建设，构建高品质的稳定性保障能力，有质量技术方向的创新。

1.负责以大模型为代表的AI技术能力的建设和优化，打造业界领先的AI技术系统，主要职责包括后训练、大模型训练数据构建、大模型能力评测、大模型推理效果和效率优化、RAG等； 2.参与金融智能相关项目的算法设计与开发，包括但不限于智能理财助理蚂小财、股票、金融供给、金融Copilot、投研及投顾观点生成等； 3.负责金融大模型（如知识注入、对齐等）算法的研究和应用落地； 4.紧密跟踪、探索大模型方向前沿技术，依托丰富且体系化的业务生态，实践大模型算法的创新应用与落地，鼓励并支持将技术研究成果沉淀为论文和专利。

大模型数据认知方向，负责设计和开发先进的算法，解决大模型数据生产中的关键问题，包括但不限于数据知识体系生成、语料自动分类、智能数据标注、权威评测集建设以及基于评测的语料质量评估与合成。你的工作将直接影响蚂蚁大模型的训练效果和性能表现。工作将涉及以下1个或多个方向 ● 数据知识体系生成： 研究基于LLM的自动知识图谱生成技术，设计并实现自动化算法，构建高效、可扩展的大模型数据知识体系。 ● 语料自动分类： 基于数据知识体系，研究和开发语料分类算法，指导大模型数据的拓展方向； ● 权威评测集建设： 研究业界现有评测集的缺陷，构建标准化、多样化的权威评测集，用于评估大模型的性能； 与跨职能团队合作，确保评测集覆盖全面且具有代表性。 ● 语料质量评估与合成： 建立大模型训练的数据驱动体系，开发语料质量评估算法，识别低质量或噪声数据。 研究数据驱动的语料合成技术，基于模型的评测效果，针对性合成能够改进模型效果的训练语料，提升模型迭代效率 ● 智能标注链路研发: 基于大模型数据的标注需求，研发辅助打标算法； 设计构建 AI辅助的标注质量检验与标注提效的算法链路，提升人工标注的质检效率与标注质量 ● 技术创新与优化： 持续跟踪学术界和工业界的最新研究成果，探索前沿技术在大模型数据中的应用。 针对实际业务需求，提出创新性的解决方案并快速落地。