小米大模型爬虫逆向工程师
社招全职3年以上A133586地点：北京状态：招聘
任职要求
1. 本科及以上学历，计算机科学、人工智能、网络安全等相关专业。 2. 3年以上爬虫开发及逆向工程经验，有大模型或AI相关领域的爬虫应用经验者优先。 3. 熟悉并能绕过常见的反爬技术（如动态网页加载、验证码、JS加密等）。 4. 精通Python或其他编程语言，熟悉爬虫框架（如Scrapy、Selenium、Playwright等）。 5. 熟悉大模型训练和数据处理流程，能够根据模型需求调整数据抓取策略。 6. 熟悉常见网络协议（HTTP/HTTPS）和接口抓取，能够对复杂数据进行高效提取…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
1. 结合大模型应用需求，设计和优化高效、智能化的爬虫系统，进行多源数据采集。 2. 逆向分析目标网站及接口，绕过反爬机制，如验证码、动态加载、JS加密、IP封锁等，确保数据采集稳定性。 3. 针对大模型数据预处理要求，优化爬虫数据格式和质量，提升爬取的数据对训练和推理的适用性。 4. 结合大模型场景，自动化处理反爬机制变化，并提供灵活的技术解决方案。 5. 与大模型研发团队紧密合作，确保爬虫采集的数据能够有效支持模型训练与应用。 6. 跟进最新的反爬技术与反制策略，持续优化爬虫架构和性能。
包括英文材料
学历+
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
JavaScript+
https://developer.mozilla.org/zh-CN/docs/Learn_web_development/Core/Scripting
[英文] Learn JavaScript
https://learnjavascript.online/
The easiest way to learn & practice modern JavaScript
[英文] Learn JavaScript
https://web.dev/learn/javascript
https://www.youtube.com/watch?v=zuKbR4Q428o
Write bulletproof JavaScript code with unit testing!
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
还有更多 •••
相关职位
社招搜一搜技术
1.负责搜一搜运营系统研发工作； 2.参与大模型训练数据抓取，提升数据质量和多样性，保障数据满足业务要求； 3.参与分布式爬虫框架建设和性能优化，支持多渠道抓取，优化数据采集的效率与质量。
更新于 2025-06-20深圳
社招3-5年D6256
1、遵循robots协议，采集互联网上允许搜索爬虫采集的公开非敏感信息，满足大模型、电商、本地等公司核心业务数据需求； 2、负责分布式采集系统的建设与迭代优化，负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级； 3、帮助团队攻克各种采集技术难关，提升系统的采集效果与效率。
更新于 2025-09-29北京
校招J1014
1、遵循robots协议，采集互联网上允许搜索爬虫采集的公开非敏感信息，满足大模型、电商、本地等公司核心业务数据需求； 2、负责分布式采集系统的建设与迭代优化，负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级； 3、帮助团队攻克各种采集技术难关，提升系统的采集效果与效率。
更新于 2025-07-30北京
校招技术类
1、负责公司爬虫攻防的技术调研、需求开发、难点攻关和运维优化； 2、实时监控爬虫的运行状态和预警处理； 3、参与数据层建设，进行多平台信息的抓取和红蓝分析，实现数据去重、解析、清洗、入库、统计分析等需求； 4、负责持续跟踪分析爬虫/反爬系统的技术缺陷，对策略架构做出合理地调整和改进，提升公司相关产品与服务的竞争力。
北京