
Google 完成新网页索引系统 Caffeine 的构建
来源标题:Our new search index: Caffeine (2010)
Google 宣布完成名为 Caffeine 的新网页索引系统,搜索结果的时效性比上一代索引提升 50%,并成为 Google 规模最大的网页内容索引。用户能更快找到新闻、博客或论坛帖子发布后的相关链接。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
(本文同时发布在 Google 官方博客上)
今天,我们宣布完成了一个名为 Caffeine 的新网络索引系统。与上一个索引相比,Caffeine 为网络搜索提供的结果新鲜度提高了 50%,它也是我们提供的最大规模的网络内容集合。无论是新闻、博客还是论坛帖子,你现在都能在内容发布后比以前任何时候都更快地找到相关内容的链接。
给那些不像我们一样以构建搜索引擎为生的人一点背景知识:当你使用 Google 搜索时,你搜索的并不是实时的网络。你搜索的是 Google 的网络索引——就像书末的目录一样,它帮助你精确定位你所需的信息。
(这里有关于其工作原理的详细说明。)
那么,我们为什么要构建一个新的搜索索引系统呢?网络上的内容正在蓬勃发展。它不仅在规模和数量上增长,随着视频、图片、新闻和实时更新的出现,普通网页也变得更加丰富和复杂。此外,人们对搜索的期望也比以往更高。搜索者希望找到最新的相关内容,发布者则期望内容一经发布就能被找到。
为了跟上网络的演变并满足用户日益增长的期望,我们构建了 Caffeine。下图展示了我们旧索引系统与 Caffeine 的运作方式对比:
我们的旧索引有多个层级,其中一些层级的刷新频率比其他层级更快;主层级大约每两周更新一次。要刷新旧索引的一个层级,我们需要分析整个网络,这意味着从我们发现一个页面到将其提供给你之间存在着显著的延迟。
借助 Caffeine,我们以小块为单位分析网络,并在全球范围内持续更新搜索索引。当我们发现新页面或现有页面上的新信息时,可以直接将其添加到索引中。这意味着你可以找到比以往任何时候都更新的信息——无论内容何时何地发布。
Caffeine 让我们能够以巨大的规模索引网页。事实上,Caffeine 每秒并行处理数十万个页面。如果把这些页面堆成纸堆,它每秒会增高 3 英里。Caffeine 在一个数据库中占用近 1 亿 GB 的存储空间,并以每天数十万 GB 的速度添加新信息。你需要 625,000 个最大的 iPod 才能存储这么多信息;如果将它们首尾相连排列,长度将超过 40 英里。
我们在构建 Caffeine 时考虑了未来。它不仅更新鲜,还是一个强大的基础,使我们能够构建一个更快、更全面的搜索引擎,随着在线信息的增长而扩展,并为你提供更相关的搜索结果。所以请保持关注,期待未来几个月更多的改进。
由软件工程师 Carrie Grimes 发布
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。