主站

知识库

东流地铁站租房抓取与分类工作流（小红书+闲鱼）

Properties1
tagsrent, xiaohongshu, goofish, scraper, lan

4分钟阅读

东流地铁站租房抓取与分类工作流

目标

  1. 搜索小红书与闲鱼的租房贴（含转租贴）
  2. 分类为房东直租 / 个人转租 / 中介，并打标
  3. 生成可筛选列表，发布到局域网 0.0.0.0
  4. 关键词：南京 东流、东流站；只看最近一周；区域：江宁区、4号线沿线

抓取路径与失败记录

小红书

  • 登录态：正常（/explore 可访问，标题「小红书 - 你的生活兴趣社区」）
  • 搜索页：/search_result?keyword=... 被风控拦截
    • 跳转 website-login/error，error_code=300012
    • error_msg=IP存在风险，请切换可靠网络环境后重试
    • redirectUrl=https://www.xiaohongshu.com/api/sns/web/v1/login/activate
  • OpenCLI：ok:false，COMMAND_EXEC: Xiaohongshu search masonry remained collapsed after one fresh-tab recovery
  • Jina Reader：401 AuthenticationRequiredError — blocked from performing anonymous queries due to bad IP reputation

闲鱼

  • 搜索页 https://www.goofish.com/search?q=... 可打开且 title 正常（「东流地铁租房_闲鱼」）
  • 但正文渲染为「非法访问 / 为了保障您的体验，请使用正常浏览器访问闲鱼~」
  • Jina Reader 同样 401

根因

出口 IP 信誉问题，非登录问题。 本机 HTTP(S)_PROXY 指向 http://${LOCALIP}:7890，该出口被两家平台同时标记：

  • 小红书：300012 风控 + activate 二次校验
  • 闲鱼：UA/IP 双重检测，直接拒绝渲染

换干净代理节点即可恢复。更换后需重新验证三条通道（OpenCLI、浏览器直连、Jina）。

恢复后的执行步骤

  1. 切换 7890 到干净节点，验证小红书 /search_result 返回 section.note-item > 0
  2. 抓取两个关键词最近一周的帖子（含 note URL 与 xsec_token）
  3. 逐篇取正文 opencli xiaohongshu note 或 DOM 提取
  4. 分类打标（见下）
  5. 写入 ~/dev/atm/web/rent/data.json，:100 同机静态服务渲染

分类规则

类型标记判定依据
房东直租landlord标题含「房东」「一手」「自己房」；无中介词、无转租词
个人转租sublet标题含「转租」「个人转」「工作调动」；有原租约上下文
中介agent标题含「中介」「公寓」「房源多」「包月」「无中介费」话术；同主体多房源；固定手机号段复用

关键信号词：

  • 直租：房东、一手房源、自己房子、业主
  • 转租：转租、转租一居、个人原因、换工作、回老家
  • 中介：多套房源、无中介费、月付、公寓、长租优惠、欢迎咨询、wx:、加微信

数据输出字段

{
  "crawled_at": "",
  "keyword": "南京 东流",
  "window_days": 7,
  "listings": [
    {
      "id": "",
      "source": "xiaohongshu|goofish",
      "url": "",
      "title": "",
      "author": "",
      "published_at": "",
      "price": "",
      "area": "",
      "landlord_type": "landlord|sublet|agent",
      "confidence": 0.0,
      "signals": [],
      "summary": ""
    }
  ]
}

状态

待执行 — 阻塞于代理出口信誉，待 Yunlu 更换节点。

关系图谱