无论您在 robots.txt 文件和元机器人标记中写入什么内容，、内部脚本等上浪费抓取预算。日志会告诉您——我在上面用红色概述了两个基于脚本的示例。 如果您达到抓取限制，但仍有必须编入索引才能显示在搜索结果中的新内容，Google 可能会在找到您的网站之前放弃您的网站。
重复URL抓取 添加 URL
参数（通常用于营销目的跟踪）通常会导致搜索引擎通过抓取具有相 欧洲手机号码列表 同内容的不同 URL 来浪费抓取预算。要了解如何解决此问题，我建议阅读 Google 和 Search Engine Land 的资源（此处、此处、此处和此处）。
抓取优先级 Google 可能会忽略
（并且不会抓取或索引）您网站的重要页面或部分。日志将显示哪些 URL 和/或目录受 电子垃圾危机手机 到最多和最少的关注。例如，如果您发布了一本电子书，试图对目标搜索查询进行排名，但它位于 Google 每六个月才访问一次的目录中，那么您在六个月内不会从该电子书获得任何自然搜索流量。
如果您网站的某个部分没有经
常被抓取，并且没有按应有的频率更新，您可能需要检查 XML 站点地图中的内部链接结构和抓取首选项设置。 上次抓取日期 您是否上传了一些希望能够快速分类的内容？日志文件会告诉您 Google 何时会抓取它。 抓取预算 我个人喜欢看到和看到的一件事是，当搜索引擎抓取网站时，Google 机器人在我们网站上的实时活动。
预算分配是一个粗略的指标—
—非常粗略的指标——表明他们“喜欢”您的网站的程度。理想情况下，Google 不 西班牙比特币数据库 想浪费宝贵的时间来抓取不良网站。在这里，我看到 Google 机器人在 24 小时内向我们的新创业网站发出了 154 个请求。希望这个数字会增加！ 正如我希望您看到的那样，日志分析在技术 SEO 中极其重要。
现在已经十一点了—
你知道你的日志在哪里吗？ 其他资源 日志文件分析：SEO 工具包中最强大的工具（Brighton SEO 的 Tom Bennett） SEO 在您的服务器日志中查找（第二部分）（Tim Resnik on Moz） 通过服务器日志识别 Google 机器人抓取问题（Moz 上的 David Sottimano）。
有关 组件的更多信息 (Logz.io) 备份 塞缪尔·斯科特 关于塞缪尔·斯科特 塞缪尔·斯科特曾是一名记者、报纸编辑以及高科技行业的营销和传播总监，现在是一名全球营销演讲者和《The Promotion Fix》的作者，该专栏是 The Drum 的定期专栏，他在其中讨论了传统营销和数字营销的整合。