OpenAleph 开源平台上线:安全存储海量数据并支持搜索
来源标题:OpenAleph securely store large amounts of data and make it searchable
开源平台 OpenAleph 可安全存储大量结构化与非结构化数据,并让其可搜索以便协作。它支持通过网页应用或命令行上传数据,借助可扩展的摄取流程实现 OCR、音视频转录和关键实体提取。搜索支持精确结构化查询、关键词、逻辑运算符和过滤器,数据按 FollowTheMoney 标准模式组织。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
这个开源平台能安全存储海量数据,并让数据可被搜索,便于协作。
任何想要更深入理解自身数据的人,都可以随手使用 OpenAleph。该软件部署简单、操作直观。数据可以通过 Web 应用或命令行界面上传。OpenAleph 既能处理结构化数据,也能处理非结构化数据。
数据往往杂乱无章,但 OpenAleph 能帮你理出头绪。借助可扩展的摄取流水线,文档可通过 OCR 变得可搜索,音频和视频可以被转写,关键实体也会自动浮现到最前面。OpenAleph 帮你快速找到线索和关联,并轻松与协作者分享。
你有一大堆数据,想从中找到那根针。OpenAleph 的搜索让你可以用精确的结构化查询来定位,同时也支持关键词搜索、逻辑运算符和过滤器,给你充分的自由。
OpenAleph 支持导入数据,也支持导出搜索结果。由于所有存储的数据都采用标准的 FollowTheMoney schema 结构化,协作变得非常轻松。
克隆我们的仓库即可开始使用。如果遇到问题,这里有文档为你提供支持。
OpenAleph 是一个开源数据搜索平台,旨在帮助用户探索大量文档、数据集和结构化数据。它支持强大的全文搜索、实体抽取和关系映射。OpenAleph 专为跨多种数据源的“follow the money”类调查而构建。
OpenAleph 是否依赖 Google、Amazon 或其他大型科技服务提供商?
除非你自己想要,否则并不依赖。OpenAleph 的设计目标是完全运行在你掌控的基础设施上,不依赖 Google、Amazon 或其他大型科技提供商的任何专有云服务。你可以将其部署在本地或你选择的托管环境中,完全拥有自己的数据和运营。
我们相信,透明度、协作和可访问性是构建值得信赖的研究与调查工具的关键。通过保持 OpenAleph 开源,我们得以实现独立审计、促进社区贡献,并确保该平台保持免费且能适应各种用例——从新闻业、学术研究到公民社会工作。如果你缺少某个功能,请联系我们,了解如何赞助该功能的开发!
我在 NEWSROOM XYZ 的朋友在 OpenAleph 中找到了一份文档,但我的账号看不到——为什么?
OpenAleph 是开源软件,可由不同组织各自部署,每个组织运营自己独立的实例。如果你的同事是在其所在组织的实例中找到的文档,那么除非该实例是公开的,或者你被授予了访问权限,否则你是看不到的。每个部署各自控制自己的数据、用户权限和可见性设置。实例之间互不通信(目前如此!请参阅下方链接的路线图)。
OpenAleph 支持多种文件类型,包括 PDF、Word 文档、电子表格、电子邮件(含 PST 和 MBOX),以及 CSV 等各种结构化格式。自 4.0 版本起,OpenAleph 支持对各种类型和语言的音频、视频材料进行文本提取(因而支持全文搜索)。
我可以将 OpenAleph 连接到其他数据源吗?
可以。你可以手动摄取数据,也可以通过自动化流水线摄取。与外部源的集成可以利用 OpenAleph API 进行定制。在 OpenAleph 背后的团队 DARC,我们运行着一批与该平台集成的爬虫。如果你想进一步了解我们正在摄取到 OpenAleph 实例中的数据,请联系我们。
数据使用 Elasticsearch 建立索引,从而支持全文搜索、实体抽取和分面过滤。文档通过自然语言工具进行处理,以提取人物、组织和其他实体。
理论上可以。OpenAleph 可以完全在离线环境中部署和使用,这对于安全或气隙隔离的场景很有用。不过,它的主要用途是通过互联网为小型团队提供服务。我们非常重视安全,已采取多项措施确保权限得到正确处理、用户身份验证安全可靠。
OpenAleph 旨在运行在服务器上,不打算在个人电脑上使用。安装指南和配置说明可在我们的文档中找到。
OpenAleph 基于 FollowTheMoney(FtM)数据 schema 构建,该 schema 专为反腐败调查设计,已在许多行业级应用中广泛使用。你可以在这里进一步了解 FtM。
是的,OpenAleph 提供 RESTful API,可通过编程方式访问所有核心功能,包括文档上传、搜索和元数据查询。你可以在这里找到 API 文档。
OpenAleph 用于敏感调查安全吗?
在正确配置的前提下是安全的。我们建议将 OpenAleph 部署在防火墙之后,配合正确配置的反向代理,使用 HTTPS,设置入侵检测系统,并在多用户环境中启用基于角色的访问控制。如果你需要这方面的帮助,请联系我们。
是的。OpenAleph 采用 MIT 许可证,完全开源,并托管在 GitHub 上。你可以在这里查看仓库。
你可以通过提交 issue、建议功能或发起 pull request 来贡献。详情请参阅我们的贡献者指南。
我们在 Discourse 论坛上分享和讨论即将推出的功能、优先级和长期目标。用户的反馈有助于塑造未来的开发方向。你可以在这里查看路线图。
请使用我们的 GitHub issue tracker 报告 bug、请求功能或提出技术问题。
OpenAleph 与最初的 Aleph 项目是什么关系?
OpenAleph 是 Aleph 的一个独立分支。虽然它建立在 Aleph 的基础之上,但由独立团队维护,未来可能会朝不同方向演进。你可以在这里了解 Aleph 和 OpenAleph 的历史。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。