安克创新AI评测工程师
任职要求
1. 教育背景：人工智能、计算机科学、电子工程、自动化、机器人学或相关专业本科及以上学历； 2. 经验要求：有实际视觉项目/竞赛经验，了解大模型推理/微调相关理论者优先； 3. 技能要求：熟练掌…
工作职责
1. 与算法、产品密切配合，共同制定视觉AI算法评测标准，设计测试方案与用例，包含感知、运动控制、决策等算法； 2. 熟悉智能硬件产品，专注视觉算法模块测试，构建贴近真实的测试环境，验证AI模型性能与边界能力，协同算法/嵌入式工程师迭代优化； 3. 数据驱动优化，面对不同类型产品，构建对应基于场景的标准化评测数据集，输出算法模型关键性能指标，进行badcase深度分析； 4. 评测体系搭建，建立标准化、可复用的AI模型评测流程与自动化工具链，提升测试覆盖率和效率； 5. 竞品分析：横向竞品AI能力评测，输出差异化分析报告，指导产品技术决策与卖点打造。
1. AI产品评测体系构建 独立负责AI产品（NLP/CV/多模态等）的评测方案设计、指标制定与实施，覆盖准确性、鲁棒性、公平性、用户体验等维度 开发自动化评测工具链，构建可复用的评测框架与基线数据集 2. 全生命周期质量保障 主导从模型研发到上线的全流程评测，包括但不限于：数据质量评估、模型版本对比、A/B测试、线上效果监控 针对大语言模型（LLM等）、生成式AI等前沿方向设计专项评测方案 3. 技术赋能与团队成长 主导技术难点攻关（如幻觉检测、提示词对抗测试等），沉淀方法论并培训团队成员 搭建团队知识库，定期组织技术分享，提升整体AI评测能力 4. 跨团队协同 与算法、产品、研发团队深度协作，推动评测结果驱动产品迭代
1. AI产品评测体系构建：独立负责AI产品（NLP/CV/多模态等）的评测方案设计、指标制定与实施，覆盖准确性、鲁棒性、公平性、用户体验等维度，开发自动化评测工具链，构建可复用的评测框架与基线数据集； 2. 全生命周期质量保障：主导从模型研发到上线的全流程评测，包括但不限于：数据质量评估、模型版本对比、A/B测试、线上效果监控，针对大语言模型（LLM等）、生成式AI等前沿方向设计专项评测方案； 3. 技术赋能与团队成长：主导技术难点攻关（如幻觉检测、提示词对抗测试等），沉淀方法论并培训团队成员，搭建团队知识库，定期组织技术分享，提升整体AI评测能力； 4. 跨团队协同：与算法、产品、研发团队深度协作，推动评测结果驱动产品迭代。
1、负责飞书AI产品相关的稳定性保障工作，深度参与飞书知识问答业务，能够了解业务完整链路，识别全链路上的稳定性风险，建立稳定性保障体系，推动稳定性建设落地； 2、负责AI算法的评测标准和评测流程制定，包含AI算法的评测体系建设、评测集构建、以及相关评测工程化建设等； 3、负责持续建设相关工具/平台，推动稳定性建设/评测工程化和无人化。
1.负责大模型基座或智能体评测方法、评测Benchmark、评测平台的建设； 2.使用统计、机器学习技术来分析模型输出，识别模式和潜在问题，编写技术报告，总结评测结果和提出改进建议； 3.跟踪最新的AI评测技术和工具，并将其集成到我们的评测流程中； 4.与算法专家和工程师团队合作，了解模型的功能和限制；紧跟业务，确保评测结果能够指导产品迭代和优化。