千万级域名收录分析的核心路径, 这个路径是什么样子? 它是数据源进行批量获取, 加上并行化查询, 再配合结构化聚合, 并不是说大家去一条一条地进行人工检索。实际操作的过程当中需要怎么做?
需要把域名池切割成为万级规模的子集。然后通过搜索服务的批量接口或者是第三方的索引数据来完成这些查询操作。最终能够输出什么样的结果? 输出的是一份包含收录量、状态码以及时间戳的结构化报告。
数据源选择
我们关于域名被收录的数据, 其主要来源一共有三类。
搜索引擎的站点检索指令, 比如说那种用“site:domain.com”来表示的格式, 是能够获取到被收录的页面数量的, 但是针对单个域名进行查询操作的话, 存在访问频率方面的限制问题, 所以如果数据数量达到千万级别这种程度的话, 就必须采取分批次的处理方式以及分时间段执行的办法来完成任务。
搜索引擎提供了开放的批量API功能, 这个功能的支持能力体现在单次可以提交数千条域名数据方面, 因此它是进行大规模分析时的首选通道, 但是想要使用它的话, 需要申请开发者权限, 并且还要遵守对调用次数设置的配额规定。
第三方索引快照服务商, 这种机构能够提供已经预抓取过的关于域名收录情况的相应数据。它们所出具的报告速度比较快, 但是必须要确认一下数据具体的更新时间情况。
批量处理架构
千万级的域名是不能一次性就处理完的, 因此需要做分层的、有层次的设计工作。
1. 域名池切分这个做法, 就是把那些全部汇总在一起的域名, 按照行业区分、按照地域划分, 或者使用哈希值这样的方法, 把它们切割成100个独立的小组, 每个小组里面包含的数量都在一万级以上, 然后针对不同的小组, 分别安排单独的资源进行调度和处理。
2. 这个并行化查询的操作, 是采用消息队列或者是分布式任务框架这样的方法来执行的, 它的作用是控制单个节点上面并发的线程的数量, 具体的数值建议设置在8到16个之间, 这样做是为了避免触发接口的限流机制。
3. 结果是进行聚合入库操作的, 意思就是每经过一批次的处理并且返回结果之后, 会把相关的信息汇总在一起, 最终写入到结构化的数据库里面去, 在这个过程中涉及的字段是具体的, 包含域名、查询时间、收录量、HTTP状态码以及异常标记这些内容。
4. 当系统检测到超时或者是出现了503这样的异常结果的时候, 会给这个情况打上标记, 然后让它进入到一个专门的重试队列里面去。在这个过程中, 每一条数据最多只允许重试三次, 如果在三次重试结束之后它还是失败了, 那么就会把它列入到一个叫做异常清单的地方去进行管理。
实操步骤
1. 准备好域名清单, 先把全量的域名进行导出, 导出的格式可以是txt也可以是csv, 接着对里面已经重复的项进行去重操作, 同时对这些域名的格式进行校验, 最后确认一下总共有多少个。
2. 需要配置查询参数, 具体要设定单线程查询的间隔时间, 建议至少每两秒查询一条数据, 同时还需要设定超时阈值为三十秒, 最后还要确定重试的策略。
3. 采取分批次的方式去启动任务, 按照子集的顺序或者是并行的方式来进行, 并且对每一批次的进展情况以及异常出现的比率进行实时的监控。
4. 先进行数据清洗和分档。剔除恶性无效域名以及那些重复出现的记录。然后再按照收录数量来进行分档处理。划分档位包括零, 再是一到十的区间。或者是十一到一百的范围。最后就是比一百还要多的那些。
5. 输出报告。生成汇总表格, 格式是Excel或者CSV。附上查询时间戳、数据源说明及异常域名清单。
关键注意事项
频率合规, 一定要仔细地遵守那些各个搜索引擎里规定的爬虫协议的事情, 还有API调用的数量限额这些东西, 就是为了避免自己的IP地址或者是自己的账号被那些网站给封禁掉。
数据时效: 收录量是一个一直在变化的动态数值, 因此报告里面一定要写清楚查询的具体时间戳, 这样才能避免出现用已经过时了的错误数据去误导最终决策的情况。
结果校验, 要随机抽出一定比例的域名, 这个比例在百分之五到百分之十之間, 對其進行人工的重新審核與檢查, 最終的目的就是為了確定那些批量處理出來的數據, 它們的準確程度不能低於百分之九十五。
授权边界: 仅仅针对自己拥有的域名, 或者是已经拿到了授权的那些域名集合来进行分析工作,绝对不能去用在没有拿到大范围抓取权限的地方。
