存档搜索数据前,先算清楚这笔账

很多人一听说"搜数据可以存档做分析",就兴奋地开始每天抓。但我见过太多人,抓了一个月,发现两件事:
一是钱花得比想象多。二是数据存了一堆,但当初想分析的"趋势",根本分析不出来——由于从一开始就没设计好。
这篇不劝你存,先帮你算账。
存档的隐藏成本

存档 = 每天都要查,哪怕你今天根本没看这些数据。
1000 个词,每天查 1 次 = 1000 积分/天 = 3 万积分/月。这还只是"存着",不算你实际看的时候再查。
所以第一个问题不是"要不要存",是"值不值得每天存全部"。
控制办法一:分频率

不是全部词都值得每天存。核心业务词每天存,关注词一周存一次:

1. CORE_KEYWORDS = [...]   # 核心业务词,每天存
2. WATCH_KEYWORDS = [...]  # 关注词,每周存
4. def schedule(keyword):
5.     if keyword in CORE_KEYWORDS:
6.         return "daily"
7.     return "weekly"

复制代码

控制办法二:只存能用的字段

别整包存原始响应,只存分析要用到的。省存储,也省以后处理的时间:

1. def extract_for_archive(data):
2.     return {
3.         "organic": [
4.             {"rank": i.get("rank"), "title": i.get("title"), "link": i.get("link")}
5.             for i in data.get("organic", [])[:10]
6.         ],
7.         "paa": [p.get("question") for p in data.get("people_also_ask", [])[:3]],
8.         "request_id": data.get("request_id"),
9.     }

复制代码

落地

1. import requests, sqlite3
2. from datetime import datetime
4. conn = sqlite3.connect("serp_archive.db")
5. conn.execute("""CREATE TABLE IF NOT EXISTS archive
6.     (keyword, rank, title, link, date)""")
8. def archive(keywords):
9.     for kw in keywords:
10.         r = requests.post(
11.             "https://api.serpbase.dev/google/search",
12.             headers={"X-API-Key": "你的key"},
13.             json={"q": kw, "hl": "zh-CN", "gl": "cn"},
14.             timeout=10,
15.         )
16.         data = extract_for_archive(r.json())
17.         for item in data["organic"]:
18.             conn.execute("INSERT INTO archive VALUES (?,?,?,?,?)",
19.                 (kw, item["rank"], item["title"], item["link"],
20.                  datetime.now().strftime("%Y-%m-%d")))
21.         conn.commit()

复制代码

三种策略的成本对比

策略1000 词月成本全部每天3 万积分核心每天 + 关注每周~1 万积分只存核心(500 词)1.5 万积分我的建议:先只存核心词,跑两周,确认这套数据能回答你的问题,再决定要不要扩。
还有三件事

• 固定 hl/gl:不然存了也没法对比
  
• 设保留期限:别无限存,设个 90 天
  
• request_id 一定存:以后数据出问题,能回溯到是哪次查询
  

接口文档在 serpbase.dev/docs。存档这事,先算账,再动手——不然抓了一个月,发现本身存了一堆用不上的。