Hacker News· coding-maniac·· 2 小时前精选AI 评分63
VoidAccess 开源暗网 OSINT 工具:从查询生成结构化威胁情报与关系图
Show HN: VoidAccess – open-source dark web OSINT, from query to a graph
AI 导读
VoidAccess 是一款自托管开源暗网 OSINT 工具,可将调查查询转化为结构化威胁情报和关系图谱。
推荐理由
原文给出从查询到结构化图谱的端到端暗网情报流程,并列出可生成的多种结构化导出格式,读者可以评估它对自托管 OSINT 工具链的整合程度。
正文 · AI 翻译
可自托管的 OSINT,用于将暗网研究查询转化为结构化威胁情报。专为安全研究人员、威胁情报团队和获授权调查人员打造,只需一套工作流即可完成收集、富化、关系映射和导出。
终端输出
快速开始
pip install voidaccess
voidaccess investigate "LockBit ransomware" --no-llm --no-tor --depth shallow
voidaccess list
voidaccess actors
voidaccess status功能
- 并行收集 - 搜索 Tor 索引、粘贴站点、代码托管平台、安全信息源和精选的
.onion种子。 - 实体提取 - 查找 IOCs、钱包、凭据、账号标识、漏洞、攻击者、恶意软件、人员和组织。
- 多源富化 - 补充信誉、泄露、被动 DNS、沙箱、区块链和威胁信息源背景信息。
- 攻击者情报 - 持久保存别名、基础设施、备注、时间线和跨调查关系。
- 关系图谱 - 构建共现图、社群、路径和基础设施集群。
- 内容安全 - 在强制性流水线关卡过滤禁止的查询、URL、内容和已提取实体。
- 结构化导出 - 生成 STIX 2.1、MISP、Sigma、YARA、Snort、Suricata、CSV、Markdown、JSON 和 IOC 包。
- CLI 和 Web UI - 可在本地使用 SQLite 运行,也可作为采用 PostgreSQL 并配备浏览器界面的 Docker Compose 技术栈运行。
流水线
| 阶段 | 操作 |
|---|---|
| 1 | 使用所选 LLM 优化调查查询 |
| 2 | 并行从 Tor 搜索、粘贴站点、代码托管平台、RSS 源和精选种子中收集内容 |
| 3 | 过滤噪声或无关页面 |
| 4 | 从威胁情报来源富化查询和早期指标 |
| 5 | 递归发现更多 .onion 链接 |
| 6 | 复用向量缓存中最近处理过的页面 |
| 7 | 通过 Tor 获取所选页面,并限制响应大小 |
| 8 | 持久保存新收集的内容 |
| 9 | 合并已收集和已富化的情报 |
| 10 | 使用正则表达式、NER 和可选的 LLM 分析提取实体 |
| 11 | 将实体与历史数据集和种子数据集进行交叉比对 |
| 12 | 构建关系、社群和基础设施集群 |
| 13 | 生成最终情报摘要和可导出的结果 |
完整流水线行为、超时、恢复机制和数据流的说明见架构。
实体类型
| 类别 | 示例 |
|---|---|
| 加密货币 | Bitcoin, Ethereum, Monero, Litecoin, Zcash, Solana, Tron, ENS |
| 网络指标 | IPv4, IPv6, 域名, URLs, .onion 地址, MAC 地址, PGP 密钥 |
| 文件指标 | MD5, SHA-1, SHA-256, 恶意软件家族 |
| 凭据 | 云服务密钥、令牌、JWTs、API 密钥、信息窃取器日志、组合列表条目 |
| 即时通信 | Telegram, Discord, XMPP, Tox, Session, Matrix, Wire, ICQ, Wickr |
| 漏洞 | CVEs, MITRE ATT&CK 技术和战术, Exploit-DB IDs |
| 检测内容 | YARA 规则、Nuclei 模板、Snort 和 Suricata 指标 |
| 威胁情报 | 攻击者账号标识、勒索软件组织、粘贴链接、人员、组织和地点 |
收集与富化
| 层级 | 来源 |
|---|---|
| 暗网搜索 | 16+ 个 Tor 搜索引擎和精选的 .onion 种子 |
| 开放网络收集 | Pastebin, dpaste, paste.ee, Rentry, GitHub, GitLab 和精选 RSS 源 |
| 威胁信息源 | AlienVault OTX, abuse.ch, MalwareBazaar, ThreatFox, URLhaus, ransomware.live, CISA KEV |
| IP 和域名背景信息 | Shodan InternetDB, GreyNoise, AbuseIPDB, Feodo Tracker, C2IntelFeeds, crt.sh, URLScan.io, Wayback Machine, CIRCL PDNS, RDAP |
| 文件和身份背景信息 | VirusTotal, Hybrid Analysis, Have I Been Pwned, EmailRep |
| 区块链 | BlockCypher 和 Etherscan |
需要 API 密钥的数据源在缺少密钥时会被妥善跳过。完整的密钥和配置参考见架构。
可选向量嵌入
默认安装无需 PyTorch 即可运行。当嵌入组件不可用时,VoidAccess 会记录其正在使用确定性的 SHA-256 回退编码器。安装可选的 NLP 依赖项,以启用完整的 sentence-transformer 向量嵌入:
pip install "voidaccess[nlp]"LLM 提供商
| 提供商 | 常用模型 | 备注 |
|---|---|---|
| OpenRouter | DeepSeek、Llama、Claude | 默认路由;提供免费模型 |
| Groq | Llama | 快速托管推理,提供免费套餐 |
| OpenAI | GPT 模型 | 需要 API 密钥 |
| Anthropic | Claude | Claude Haiku 是经过测试的默认模型 |
| Google Gemini | Gemini Flash 和 Pro | 需要 Google AI Studio 密钥 |
| Ollama | 任何已安装的本地模型 | 本地运行,适合隔离网络部署 |
CLI 参考
| 命令 | 说明 |
|---|---|
voidaccess investigate "QUERY" |
开展调查 |
voidaccess show |
打开交互式实体浏览器 |
voidaccess export INVESTIGATION_ID --format FORMAT |
导出为 STIX、MISP、Sigma、YARA、Snort、Suricata、package、CSV、Markdown 或 JSON |
voidaccess package INVESTIGATION_ID |
构建 IOC 包 ZIP |
voidaccess enrich INVESTIGATION_ID |
对已保存的调查重新进行情报增强 |
voidaccess list |
列出已保存的调查 |
voidaccess status |
显示配置、Tor、缓存、引擎和种子状态 |
voidaccess actors |
列出持久化的行为者档案 |
voidaccess actor HANDLE |
显示行为者档案 |
voidaccess actor HANDLE --timeline |
显示行为者活动时间线 |
voidaccess actor HANDLE --note "TEXT" |
向行为者档案添加分析师备注 |
voidaccess timeline HANDLE |
直接打开行为者时间线 |
voidaccess configure |
运行设置向导 |
voidaccess configure llm |
配置 LLM 提供商、模型和密钥 |
voidaccess configure keys |
配置情报增强 API 密钥 |
voidaccess configure tor |
覆盖 Tor 代理主机和端口 |
voidaccess version |
打印已安装的版本 |
可选的明网请求可以使用 ScrapingAnt,搭配 --use-scraping-api 或 --use-proxies;Tor、.onion、GitHub 和 GitLab 流量不受影响。
自托管
使用 Docker Compose 运行完整的 PostgreSQL、Tor、FastAPI 和 Next.js 技术栈。自托管指南涵盖引导式设置、环境配置、运维和故障排除。
链接
| 自托管指南 | Docker Compose、环境设置、运维和故障排除 |
| 架构 | 流水线内部机制、模块、模式、API、情报增强、图谱和配置参考 |
| 贡献指南 | 开发环境设置、规范和拉取请求 |
| 安全 | 受支持的版本和私密漏洞报告 |
| 使用政策 | 授权使用要求和禁止的活动 |
| PyPI | 已发布的软件包和发布文件 |
| GitHub | 源代码、问题和发布版本 |
许可
MIT。仅将 VoidAccess 用于获得授权的安全研究和威胁情报工作;请参阅使用政策。
来源:Hacker News · github.com


