飞猪旅行飞猪-LLM大模型评测产品专家-AI Agent
任职要求
1、2年以上LLM/策略/评测/数据产品相关经验；有Agent相关产品和评测经验加分。 2、较强数据分析与结构化思维：能从评测与线上数据中定位关键瓶颈、给出可执行改进路径。 3、用户同理心强，愿意高频…
工作职责
1、从用户视角定义产品体验，并细化到对模型效果的理想态定义和评测标准制定。 2、设计统一的评估框架与指标体系，产出稳定可信的评测结论；基于结论进行归因分析，提出可落地的模型能力提升与应用体验优化策略（含数据生产与产品策略），并推动跨团队闭环落地。 3、持续跟进业界评测研究与方法论，结合真实业务场景迭代内部评测方案，探索更贴近真实用户体验的评测方法。 4、持续跟踪业内产品与技术动态，建立对标分析机制，输出趋势判断与策略建议，辅助业务方向制定决策。
1. 系统架构与工程落地 ● 负责AI Agent框架设计与实现，构建高可用、低延迟的AI Agent生产环境，支持百万级以上用户量的应用、部署平台 ● 负责智能体知识库、流程编排等功能开发，对接头部等流量等载体的接口，输出能力 ● 开发LLM应用基础设施，包括RAG 技术、Agent开发框架（如LangChain） MCP 协议等 ● 优化Agent与工具调用的协同机制，提升任务规划、自主决策和交互体验 ● 探索大模型与Agent技术的结合，解决复杂场景下的推理能力 2. 业务场景适配与创新 ● 推动AI Agent在搜索、营销、服务、DevOps运维等领域的落地 ● 设计符合行业需求的解决方案，如应用导购助理、客服助手、智能编程助手 ● 负责AI项目的推动落地，行业类Agent开发以及行业类RAG系统的架构设计与研发。 ● 负责技术预研、架构设计、业务模型抽象及功能开发保持对业务场景的敏锐洞察，快速熟悉业务流程并理解业务痛点，沟通并分析产品需求，制定技术方案，设计与研发核心系统及模块，推动产品快速迭代。
1. 参与蚂蚁星河金融AI应用设计和开发，支持大模型研发训练以及在业务场景的应用落地 2. 负责信贷/资管/金市投研/营销等场景大模型应用场景的落地建设，以及相关AI平台系统的架构设计与开发； 3. 负责大模型性能分析和进行调优，识别和解决瓶颈问题，包括不限模型微调训练和模型评测等，提升模型效果和推理速度；
1. 需求收集与分析：与内外部客户，解决方案架构师密切合作，深入收集和分析客户需求和反馈，从复杂的客户场景中提取核心需求。 2. 产品规划与设计：与研发算法团队紧密合作，对LLM基础原理，prompt编写，vision- language等模型能力有较好了解，并定义商业化策略，包括目标客户画像、产品定位和定价策略等。 3. 市场调研与竞争分析：持续跟踪行业技术趋势和竞争对手动态，进行竞争分析。 4. 跨部门协作：与技术、运营、市场等团队紧密合作，确保产品从开发到上线再到推广的全流程顺利进行。
1. 需求收集与分析：与内外部客户，解决方案架构师密切合作，深入收集和分析客户需求和反馈，从复杂的客户场景中提取核心需求。 2. 产品规划与设计：与研发算法团队紧密合作，对LLM基础原理，prompt编写，vision- language等模型能力有较好了解，并定义商业化策略，包括目标客户画像、产品定位和定价策略等。 3. 市场调研与竞争分析：持续跟踪行业技术趋势和竞争对手动态，进行竞争分析。 4. 跨部门协作：与技术、运营、市场等团队紧密合作，确保产品从开发到上线再到推广的全流程顺利进行。