跳到正文
原文
Hacker News· coding-maniac·· 2 小时前精选AI 评分63

VoidAccess 开源暗网 OSINT 工具:从查询生成结构化威胁情报与关系图

Show HN: VoidAccess – open-source dark web OSINT, from query to a graph

AI 导读

VoidAccess 是一款自托管开源暗网 OSINT 工具,可将调查查询转化为结构化威胁情报和关系图谱。

推荐理由

原文给出从查询到结构化图谱的端到端暗网情报流程,并列出可生成的多种结构化导出格式,读者可以评估它对自托管 OSINT 工具链的整合程度。

正文 · AI 翻译

VoidAccess logo

License: MIT Python 3.10+ Docker Compose PyPI version PyPI downloads

可自托管的 OSINT,用于将暗网研究查询转化为结构化威胁情报。专为安全研究人员、威胁情报团队和获授权调查人员打造,只需一套工作流即可完成收集、富化、关系映射和导出。

终端输出

VoidAccess

快速开始

pip install voidaccess
voidaccess investigate "LockBit ransomware" --no-llm --no-tor --depth shallow
voidaccess list
voidaccess actors
voidaccess status

VoidAccess investigation demo

功能

  • 并行收集 - 搜索 Tor 索引、粘贴站点、代码托管平台、安全信息源和精选的 .onion 种子。
  • 实体提取 - 查找 IOCs、钱包、凭据、账号标识、漏洞、攻击者、恶意软件、人员和组织。
  • 多源富化 - 补充信誉、泄露、被动 DNS、沙箱、区块链和威胁信息源背景信息。
  • 攻击者情报 - 持久保存别名、基础设施、备注、时间线和跨调查关系。
  • 关系图谱 - 构建共现图、社群、路径和基础设施集群。
  • 内容安全 - 在强制性流水线关卡过滤禁止的查询、URL、内容和已提取实体。
  • 结构化导出 - 生成 STIX 2.1、MISP、Sigma、YARA、Snort、Suricata、CSV、Markdown、JSON 和 IOC 包。
  • CLI 和 Web UI - 可在本地使用 SQLite 运行,也可作为采用 PostgreSQL 并配备浏览器界面的 Docker Compose 技术栈运行。

流水线

阶段 操作
1 使用所选 LLM 优化调查查询
2 并行从 Tor 搜索、粘贴站点、代码托管平台、RSS 源和精选种子中收集内容
3 过滤噪声或无关页面
4 从威胁情报来源富化查询和早期指标
5 递归发现更多 .onion 链接
6 复用向量缓存中最近处理过的页面
7 通过 Tor 获取所选页面,并限制响应大小
8 持久保存新收集的内容
9 合并已收集和已富化的情报
10 使用正则表达式、NER 和可选的 LLM 分析提取实体
11 将实体与历史数据集和种子数据集进行交叉比对
12 构建关系、社群和基础设施集群
13 生成最终情报摘要和可导出的结果

完整流水线行为、超时、恢复机制和数据流的说明见架构。

实体类型

类别 示例
加密货币 Bitcoin, Ethereum, Monero, Litecoin, Zcash, Solana, Tron, ENS
网络指标 IPv4, IPv6, 域名, URLs, .onion 地址, MAC 地址, PGP 密钥
文件指标 MD5, SHA-1, SHA-256, 恶意软件家族
凭据 云服务密钥、令牌、JWTs、API 密钥、信息窃取器日志、组合列表条目
即时通信 Telegram, Discord, XMPP, Tox, Session, Matrix, Wire, ICQ, Wickr
漏洞 CVEs, MITRE ATT&CK 技术和战术, Exploit-DB IDs
检测内容 YARA 规则、Nuclei 模板、Snort 和 Suricata 指标
威胁情报 攻击者账号标识、勒索软件组织、粘贴链接、人员、组织和地点

收集与富化

层级 来源
暗网搜索 16+ 个 Tor 搜索引擎和精选的 .onion 种子
开放网络收集 Pastebin, dpaste, paste.ee, Rentry, GitHub, GitLab 和精选 RSS 源
威胁信息源 AlienVault OTX, abuse.ch, MalwareBazaar, ThreatFox, URLhaus, ransomware.live, CISA KEV
IP 和域名背景信息 Shodan InternetDB, GreyNoise, AbuseIPDB, Feodo Tracker, C2IntelFeeds, crt.sh, URLScan.io, Wayback Machine, CIRCL PDNS, RDAP
文件和身份背景信息 VirusTotal, Hybrid Analysis, Have I Been Pwned, EmailRep
区块链 BlockCypher 和 Etherscan

需要 API 密钥的数据源在缺少密钥时会被妥善跳过。完整的密钥和配置参考见架构。

可选向量嵌入

默认安装无需 PyTorch 即可运行。当嵌入组件不可用时,VoidAccess 会记录其正在使用确定性的 SHA-256 回退编码器。安装可选的 NLP 依赖项,以启用完整的 sentence-transformer 向量嵌入:

pip install "voidaccess[nlp]"

LLM 提供商

提供商 常用模型 备注
OpenRouter DeepSeek、Llama、Claude 默认路由;提供免费模型
Groq Llama 快速托管推理,提供免费套餐
OpenAI GPT 模型 需要 API 密钥
Anthropic Claude Claude Haiku 是经过测试的默认模型
Google Gemini Gemini Flash 和 Pro 需要 Google AI Studio 密钥
Ollama 任何已安装的本地模型 本地运行,适合隔离网络部署

CLI 参考

命令 说明
voidaccess investigate "QUERY" 开展调查
voidaccess show 打开交互式实体浏览器
voidaccess export INVESTIGATION_ID --format FORMAT 导出为 STIX、MISP、Sigma、YARA、Snort、Suricata、package、CSV、Markdown 或 JSON
voidaccess package INVESTIGATION_ID 构建 IOC 包 ZIP
voidaccess enrich INVESTIGATION_ID 对已保存的调查重新进行情报增强
voidaccess list 列出已保存的调查
voidaccess status 显示配置、Tor、缓存、引擎和种子状态
voidaccess actors 列出持久化的行为者档案
voidaccess actor HANDLE 显示行为者档案
voidaccess actor HANDLE --timeline 显示行为者活动时间线
voidaccess actor HANDLE --note "TEXT" 向行为者档案添加分析师备注
voidaccess timeline HANDLE 直接打开行为者时间线
voidaccess configure 运行设置向导
voidaccess configure llm 配置 LLM 提供商、模型和密钥
voidaccess configure keys 配置情报增强 API 密钥
voidaccess configure tor 覆盖 Tor 代理主机和端口
voidaccess version 打印已安装的版本

可选的明网请求可以使用 ScrapingAnt,搭配 --use-scraping-api 或 --use-proxies;Tor、.onion、GitHub 和 GitLab 流量不受影响。

自托管

使用 Docker Compose 运行完整的 PostgreSQL、Tor、FastAPI 和 Next.js 技术栈。自托管指南涵盖引导式设置、环境配置、运维和故障排除。

链接

自托管指南 Docker Compose、环境设置、运维和故障排除
架构 流水线内部机制、模块、模式、API、情报增强、图谱和配置参考
贡献指南 开发环境设置、规范和拉取请求
安全 受支持的版本和私密漏洞报告
使用政策 授权使用要求和禁止的活动
PyPI 已发布的软件包和发布文件
GitHub 源代码、问题和发布版本

许可

MIT。仅将 VoidAccess 用于获得授权的安全研究和威胁情报工作;请参阅使用政策。

来源:Hacker News · github.com