谷歌交易（现实上是全部汇集）的基石之一是网站用于从搜刮引擎的汇集抓取东西Googlebot中扫除局限内容的robots.txt文献。它最大节制地节减了偶然思的索引，有时会将敏锐讯息保密。谷歌以为它的爬虫手艺可能订正，以是它正正在节减少少诡秘。该公司正正在开源用于解码robots.txt的解析器，以推动汇集匍匐的真正准绳。理思情状下，这将声明何如破译robots.txt文献，并将创修更众的通用体式。
固然呆板人扫除订定曾经存正在了四分之一个世纪，但它只是一个非官方的准绳 - 这给团队声明体式的题目带来了差别的题目。有人可以会以差别的办法收拾边际情状。谷歌的创议，包含向互联网工程做事组提交其措施，将“更好地界说”爬虫该当何如收拾robots.txt并制造更少的蛮横惊喜。
该草案并不统统可用，但它不只合用于网站，还包含最小文献巨细，修立最长一天的缓存功夫，并正在显示效劳器题目时让网站停滞。
无法保障这将成为一个准绳，起码原样。然则，假设确实如斯，它可能像创修者一律助助汇集访谒者。您可以会看到更合适网站希望的更同等的汇集搜刮结果。假设没有其它，这讲明假设谷歌以为他们将胀动其手艺和全部行业的发扬，那么他并不统统破坏盛开首要资产。