OnCrawl 评论：对 AI 机器人进行排序的日志优先 SEO 爬虫，以代币计量
OnCrawl 评论：其日志分析器显示了有关 AI 机器人的内容、AI Search Lens 引文真正衡量的是什么、爬行令牌如何计费，以及谁应该选择 Screaming Frog 或 Botify。
专家评测
日志分析器现在根据人工智能机器人的需求对它们进行排序
大多数爬虫都会告诉您您的网站是什么样子。 OnCrawl 更好的技巧始终是另一半：它读取原始服务器日志并告诉您 Googlebot 实际获取的内容，然后将其放在自己的抓取中。如果 Google 在 45 天内未触及站点地图中的某个页面，则会显示为间隙，而不是猜测。
2026 年发生的变化是这些日志中还包括哪些人。 OnCrawl 的日志分析器现在可以跟踪来自 OpenAI、Perplexity、Anthropic、Google、Mistral 等公司的 AI 机器人，并将它们分为三种类型。训练机器人（GPTBot、ClaudeBot、CCBot、Bytespider）收集未来模型的页面。搜索机器人（OAI-SearchBot、Claude-SearchBot、PerplexityBot）构建索引。用户机器人（ChatGPT-User、Claude-User、Perplexity-User、MistralAI-User）会获取页面，因为有人现在提出了问题。 OnCrawl 的支持机器人列表于 2026 年 9 月更新，单独命名了每个用户代理，以及 Google-Extended、Gemini-Deep-Research 和 Applebot-Extended。
这种分裂比听起来更重要。在 robots.txt 中阻止 GPTBot 以防止您的内容受到训练是一个合理的选择；意外阻止 ChatGPT-User 会让您从答案中消失。在一张图表上按 URL 和按小时查看两者，是检查您是否完成了第一个而没有第二个的最快方法。
AI搜索镜头：仔细阅读“引用”数量
较新的宣传是 AI Search Lens，OnCrawl 将其构建为 ChatGPT 和类似引擎的索引、引用和流量漏斗。其标题指标是“引用”。帮助中心明确地定义了它：使用人工智能用户机器人访问作为代理，您的页面在人工智能答案中被引用的估计次数。
因此在 ChatGPT 中没有观察到该数字。它会计入您自己的日志中。当 ChatGPT-User 获取页面时，很可能是因为该页面正在用来回答某人，这使其成为一个不错的信号，并且是您无法从排名跟踪器获得的信号。但获取并不是确认的引用，镜头无法告诉您答案的内容或您的链接是否已显示。将其视为趋势线，而不是作为事实向客户报告的计数。
它也是一个附加组件。 OnCrawl 的条款列出了高级镜头，“包括但不限于人工智能搜索和可见性功能”，与基本计划分开出售。
爬虫，以及其背后的代币计量器
爬虫本身是可靠的并且基于云：OnCrawl 承诺对速度、深度或站点大小没有人为限制，呈现 JavaScript，并允许您每天、每周或每次部署后安排爬网。爬行之间的比较是审阅者最称赞的功能，并且可以在事后将分段应用于旧的爬行，这可以在更改页面分组方式时节省重新爬行。一个小问题：您必须在爬行速度超过每秒 1 个 URL 之前验证域。
容量以每月代币的形式出售，而费率卡就是账单隐藏的地方。一个标准 URL 需要 1 个令牌。带有 JavaScript 渲染的 URL 成本为 3。运行一个或多个 JavaScript 审核，结果为 5。因此，通过渲染爬行的 200,000 个 URL React 店面每次爬行会消耗 600,000 个令牌；添加审核，一次爬网成本为 1,000,000。每周安排一次，您将购买与演示建议的计划截然不同的计划。
逃跑也不是优雅的事。根据 2026 年 9 月更新的 OnCrawl 帮助文章，正在进行的爬网会在配额耗尽时停止，并且在续订或购买更多配额之前，您无法启动另一个爬网。删除抓取不会退还其使用的代币，并且根据条款，未使用的年度代币不会结转，除非您的合同另有规定。
定价：没有价格可供阅读
2026 年 10 月在 oncrawl.com 上查看，定价页面返回 404，网站上的每个号召性用语都是“预订演示”。该网站不提供免费试用。较早的第三方评论指出，Explorer 计划的价格为每月 69 美元，Business 计划的价格为 249 美元，外加 14 天的试用期，但这些计划名称已不复存在，因此不要从它们中进行预算。
服务条款所揭示的是当前的形态。订单分为三层： 基础, 核心 和 规模，按每月代币数量和功能分开。基本得到爬虫和核心平台。日志分析器（OnCrawl 的著名功能）仅从 Core 开始列出。在任何级别之上都有付费附加服务：高级镜头、具有自己的抓取配额的内容镜头、每年的代币充值和 API 选项。
在签署之前还有两个条款值得阅读。如果提前 30 天通知，费用每年可能会上涨最多 5%，并且超出订单中容量的使用将被计费。该合同是与 Cogniteev SAS 签订的，这是一家位于波尔多附近梅里尼亚克的法国公司，该公司的所有者是 亮边 自 2022 年 2 月起。BrightEdge 承诺收购时不会发生价格变化；该产品仍然以自己的名称和域名运行。
获取数据并取出数据
日志可以来自 Cloudflare、Google Cloud、AWS 或 Azure，也可以来自上传的 Apache、Nginx 和 IIS 文件；帮助中心还记录了 Splunk、Akamai 和 FTP。以下是集成页面跳过的障碍：OnCrawl 自己的文档指出，Cloudflare 仅移交其 Enterprise 计划上的原始日志。 Cloudflare Pro 或 Business 上的站点必须从其源服务器提取日志，如果源服务器位于不保留访问日志的主机后面，则没有任何内容可以输入。
保留也是分层的。您每天保留 90 天的详细信息，每周保留 56 周，每月保留 24 个月，因此像“Googlebot 在去年春天的发布日做了什么”这样的问题没有每日级别的答案。单个新日志上传最多涵盖 60 天，爬行加日志交叉分析看起来为 45 天。
Search Console、GA4、Adobe Analytics、Majestic 和 Piano 可以原生连接，并且可以放入 CSV 或 JSON 文件来丰富 URL。获取数据比此类中的大多数工具更好：OQL 查询、Looker Studio 连接器以及以 JSON、CSV 或 Parquet 形式批量导出到 Google Cloud Storage 或 S3。没有直接的 BigQuery 导出，只能通过存储桶进行，批量导出需要 API 令牌，这需要付费 API 选项。相同的选项控制新的 MCP 服务器，让 ChatGPT、Claude 或 Cursor 查询您的 OnCrawl 数据。应用内的人工智能助手仍处于测试阶段，OnCrawl 警告称，测试结束后，某些计划可能会失去它。下载中心中的报告导出将在 30 天后过期，取消后，您的数据将在 90 天内删除。
用户抱怨什么
评论数量很少。 G2 在大约 20 条评论中显示大约 4.5 分（满分 5 分）； Capterra 在四场比赛中显示 3.8。赞扬是一致的：评论者将日志分析器选为产品中的最佳价值，以及计划的爬网和比较。投诉也同样一致。几位 G2 和 Capterra 评论者称其为可从其他地方获取数据的利基市场中最昂贵的工具，描述该界面很难在报告之间移动，并表示这些报告不适合交给非 SEO 人员。一些人提到取消困难，这适合合同和订单形式的模型，而不是每月的卡费用。
该产品仍在快速发展。 2026 年 10 月的变更日志添加了页面和链接比较数据集以抓取警报，数据浏览器于 8 月重新设计，基于加权 Lighthouse 审核构建的辅助功能镜头于 9 月向所有用户提供。
结论：谁应该购买 OnCrawl，谁应该跳过它
买它 如果您运行一个大型网站，有数以万计的 URL 及以上，您可以获得原始访问日志，并且您需要回答的问题是“Google 和 AI 机器人在我的网站上实际执行的操作与我认为他们看到的操作不同”。爬行加日志交叉分析和训练/搜索/用户机器人分割在那里确实有用，导出选项意味着您的数据团队可以更进一步。确保报价适用于 Core 或 Scale，而不是 Basic，否则您将支付不带日志分析器的爬虫费用。
跳过它 如果您是自由职业者、小型机构或大约 10,000 页以下的网站。 Screaming Frog 的 SEO Spider 每个许可证的费用为每年 279 美元，其日志文件分析器每年为 99 英镑，两者均已公布价格，没有代币，也没有年度升级条款；唯一的限制是你的机器。如果您是比较仅报价平台的企业，请将 OnCrawl 放在旁边 博蒂菲，它还将其价格隐藏在演示后面，并询问每周 JavaScript 抓取真实网站的每个 URL 的成本。这个数字比任何一个演示都能告诉您更多信息。