如何使用PyMeta搜索和提取目标域名相关的元数据

Vedu • 2023-07-15 15:59 • 技术资讯, 资源分享 • 阅读 272

关于PyMeta

PyMeta是一款针对目标域名元数据的信息收集工具，该工具基于Python 3开发，是PowerMeta（基于PowerShell开发）的Python 3重构版本，在该工具的帮助下，广大研究人员可以将目标域名相关的网页元数据（文件等）提取到本地，这种技术可以有助于我们识别目标域名、用户名、软件/版本和命名约定等。

该工具使用了专门设计的搜索查询方式，并使用了Google和Bing实现数据爬取，并能从给定的域中识别和下载以下文件类型：pdf、xls、xlsx、csv、doc、docx、ppt、pptx。

下载完成后，该工具将使用exiftool从这些文件中提取元数据，并将其添加到.csv报告中。或者，Pymeta可以指向一个目录，并使用-dir命令行参数手动从下载的文件中提取元数据。

工具要求

该工具的正常运行需要使用到exiftool，安装命令如下：

Ubuntu/Kali：

apt-get install exiftool -y

macOS：

brew install exiftool

工具安装

由于该工具基于Python 3开发，因此我们首先需要在本地设备上安装并配置好Python 3环境。接下来，广大研究人员可以直接使用Pypi来安装PyMeta：

pip3 install pymetasec

除此之外，我们也可以使用下列命令将该项目源码克隆至本地，并使用安装脚本进行安装：

git clone https://github.com/m8sec/pymeta

cd pymeta

python3 setup.py install

工具参数选项

options:

  -h, --help              显示工具帮助信息和退出

  -T MAX_THREADS       文件下载的最大线程数量，默认为5 

  -t TIMEOUT             每次搜索任务的最大超时时间，默认为8s

  -j JITTER                每次请求抖动间隔，默认为1s

 

Search Options:

  -s ENGINE, --search ENGINE    搜索引擎，默认为\'google,bing\'

  --file-type FILE_TYPE  搜索的文件类型，默认为pdf,xls,xlsx,csv,doc,docx,ppt,pptx

  -m MAX_RESULTS                每次搜索的最大结果数量

 

Proxy Options:

  --proxy PROXY         代理请求 (IP:Port)

  --proxy-file PROXY      从文件加载代理

 

Output Options:

  -o DWNLD_DIR          创建下载目录路径，默认为./

  -f REPORT_FILE         自定义报告名称 ("pymeta_report.csv")

 

Target Options:

  -d DOMAIN             设置目标域名

  -dir FILE_DIR             设置结果文件目录

工具使用

使用Google和Bing搜索example.com域名中的所有文件，并提取元数据，然后将结果存储至csv报告中：

pymeta -d example.com

提取给定目录中所有文件的元数据，并生成csv报告：

pymeta -dir Downloads/

许可证协议

本项目的开发与发布遵循GPL-3.0开源许可证协议。

项目地址

PyMeta：【GitHub传送门】

参考资料

https://github.com/dafthack/PowerMeta

https://sno.phy.queensu.ca/~phil/exiftool/

内容出处：，

声明：本网站所收集的部分公开资料来源于互联网，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。文章链接：http://www.yixao.com/tech/30760.html