最佳实践：仿冒站点一键自动化拓线（修订版）
Newbee123 684天前
▌如何又快又准的收集仿冒网站资产
仿冒网站查找是一个非常普遍的甲方需求，每一个仿冒网站进行的违法活动都将对企业造成不可估量的负面影响。经过分析，仿冒站点并非一成不变，大多数站点经常更换所属域名、IP、甚至网站内容，从而导致企业对于仿冒站点的监控、查找变得极为困难。现实情况是，企业哪怕投入众多人力物力，仿冒网站仍然层出不穷，这是一场持久战，吗？
以前可能是，但 FofaHub 工作流的出现，让我们拥有了轻松查找仿冒网站的可能。我们可以通过工作流，自动化地进行从一到多的网站拓线，从而更有效地进行仿冒站点的管理与防治。
一个典型钓鱼网站发现全生命周期是这样的：
以网站 https://www.xxxx.com/ 为例，该站点是一个仿冒某银行理财产品的网站。
按照传统的仿冒网站拓线方法，我们一般会这么做：
将该站点 URL 输入 FOFA 搜索，可以获得两条结果，其中第一条为我们需要的有效数据。
点击第一条链接右上角的网站指纹（FID），可根据 FID 进行搜索，通过 FID 可以拓线出一千多条新的 URL 。
测绘数据收集到的结果与当前可能存在时间差，为了获取更准确的数据，我们需要逐个手工点开搜索结果进行确认，也可以写一个脚本进行筛选。将有用的数据截图并留存为存活证据。
仿冒站点工作流程导图
仿冒站点工作流程适用场景：
1 对仿冒站点进行拓线
2 对仿冒站点状态进行实时监管
此方法可以尽可能帮助我们发现更多的钓鱼网站。在 12 月份，我们通过这个方法持续的收集与检测，我们共发现三千多条钓鱼网站：其中 51% 为金融行业仿冒网站，另 37% 为政府机构相关仿冒站点，剩余分布在粮油烟酒与电商行业。
其中金融行业仿冒目标最为丰富，取其中五个机构进行统计，可以看到仿冒站点拓线结果在几十至几百个不等。
结果看起来也许好像还不错？答案是 NO 。问题的关键点在于：流程复杂，费时费力，存在遗漏。如果是人工完成这样一个流程，短则五个小时，长则一天，且随着精力下降可能会存在遗漏现象。为了充分发挥“懒惰”这个第一生产力，将效率最大化，复杂流程自动化执行是最好且必然的选择，我们要在 FofaHub 中实现整个流程自动化！
可能有白帽师傅有疑惑，为什么不写脚本执行？
用脚本来实现这样的工作是一个不错的选择，但未必是一个最好的选择，我们来做一个简单对比：
▌FofaHub 自动化拓线工作流展示
简介：通过输入钓鱼列表进行自动资产拓线。
仿冒站点拓线工作流基于测绘数据，通过已知仿冒站点，对未知数据进行拓线、检测、排查。支持对于已存储仿冒站点的管理、仿冒站点拓线、以及自定义规则的筛查处理。通过一键上传输入内容并执行，可自动化输出十倍、甚至百倍的结果。
输入数据：URL 列表，可以为 .txt/.json/.csv 结尾的文本文件。
输出数据：拓线出的仿冒网站链接，可能会与输入内容存在重复。
使用流程：
1. 在上传文件的位置将已存在的 URL 列表进行上传。
2. 执行并等待流程结束。
3. 执行结束后下载右侧最上方的打包文件，解压后可看到拓线结果，包含最终 JSON，Excel 表格，以及 Excel 表格中对应的截图。
整个流程的执行动画：视频演示
以单个视频为例，该次执行输入为 33 条仿冒网站，通过自动化流程单次可拓线出 834 条有效数据。
1. 根据输入的内容不同，输出的数量会存在差异。通常输出数量级在几十至几百条不等
2. 输出结果为 JSON 格式的数据，按行为单位进行分割
3. 同时，输出结果可以格式化为一个完整的 Excel 。
在整个流程中还有一个待解决的问题：如何管理数据
工作流执行时会遇到多次存储的数据需要合并存储、实时更新等问题。每个输出的 JSON 可读性不强，虽然可以进行 Excel 统计输出，但使用起来仍然不方便。为此，我们研发了工作流的另一个衍生功能 —— 数据仓库。
数据仓库
数据仓库可以将工作流的运行结果进行存储。
工作流运行结果通过 Store Data in Repository 块进行输出，可以将当前工作流中的数据以表格的形式在仓库中进行展示。需要指定主键（primary key），当主键一致时，新数据将会对旧数据进行覆盖。
数据仓库中的内容会根据当前输出的结果进行排版、显示。以仿冒站点拓线场景为例，输出内容为仿冒站点的结果，以行为单位进行 JSON 存储，以某一个存储的 JSON 为例。
展示数据中会将上面的 JSON 进行识别与处理，以行为单位进行展示，上面的 JSON 结果对应到表格中，就是单独的一行结果。
当有多条结果汇集在数据仓库中，就变成了视频中所展示的样子。
同时，在数据变多后，可以通过筛选、点击等方式将需要的数据展示出来。
▌Reference
▌End
欢迎各位白帽师傅们加入我们的社区大家庭，一起交流技术、生活趣事、奇闻八卦，结交无数白帽好友。也欢迎投稿到 FOFA，审核通过后可加 5000-10000 社区积分哦，我们在积分商城准备了好礼，快来加入微信群体验吧~~~
微信群：扫描下方二维码，加入 FOFA 社群！获取更多一手信息！
最新评论