PowerShell 分析服务器日志里的 AI 爬虫：GPTBot、ClaudeBot 来没来，一查便知

做 GEO（生成式引擎优化），一个绕不开的问题是：AI 爬虫到底来没来过你的站？GPTBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBot、Google-Extended 这些爬虫，会定期抓取网页供 AI 引用。但它们的访问情况，你不主动查，永远不知道。这篇写一个 PowerShell 脚本，分析服务器访问日志，统计各大 AI 爬虫的访问次数，看清谁来过、多久来一次。

谷歌爬虫的官方总览看这里：Google 爬虫总览，各 AI 公司的爬虫 UA 也都公开在自己文档里（如 OpenAI、Anthropic 的文档）。

目录

• 工具能检查什么
• 完整代码
• 怎么用
• 三个关于 AI 爬虫的点
• 写在最后

工具能检查什么

1. 读取访问日志文件
2. 按 User-Agent 关键词匹配各大 AI 爬虫
3. 统计每个 AI 爬虫的访问次数

在 Windows 上直接用 PowerShell 跑，不需要装任何东西。

完整代码

# ai-crawler-log.ps1
# 用途：分析访问日志里 AI 爬虫的访问情况
# 用法：.\ai-crawler-log.ps1 -LogPath "C:\logs\access.log"

param(
    [Parameter(Mandatory=$true)][string]$LogPath
)

if (-not (Test-Path $LogPath)) {
    Write-Output "日志文件不存在：$LogPath"
    exit 1
}

$lines = Get-Content $LogPath

# 常见 AI 爬虫的 UA 关键词
$crawlers = @(
    'GPTBot', 'ChatGPT-User', 'OAI-SearchBot',
    'ClaudeBot', 'Claude-Web',
    'PerplexityBot', 'Google-Extended', 'CCBot',
    'Bytespider', 'Amazonbot', 'cohere-ai'
)

Write-Output "===== AI 爬虫访问分析 ====="
Write-Output "日志总行数: $($lines.Count)"
Write-Output ""

$total = 0
foreach ($c in $crawlers) {
    $matches = $lines | Select-String -Pattern $c -SimpleMatch
    if ($matches) {
        Write-Output ("{0,-22} : {1} 次" -f $c, $matches.Count)
        $total += $matches.Count
    }
}

Write-Output ""
Write-Output "AI 爬虫总访问: $total 次"
Write-Output ""
Write-Output "提示：如果某个爬虫访问为 0，先检查 robots.txt 是否允许它，再检查内容是否值得它抓取。"
Write-Output "===== 结束 ====="

怎么用

把服务器上的访问日志下载到本地，然后：

.\ai-crawler-log.ps1 -LogPath "C:\logs\access.log"

脚本会逐个统计每个 AI 爬虫的访问次数。日志文件大的话，Get-Content 会慢，可以只取最近一段再分析。

三个关于 AI 爬虫的点

访问为 0，先看 robots.txt。 如果 GPTBot、ClaudeBot 从来没来过，多半是 robots.txt 里把它们 Disallow 了，或者你根本没提交过 sitemap。想让 AI 引用你的内容，先确认这些爬虫被允许访问。

来了不等于被引用。 AI 爬虫访问你的页面，只代表它抓取了，不代表 AI 会引用你。能不能被引用，还取决于内容质量、结构化数据、页面在 AI 检索里能不能被匹配到。访问是第一步，后面还有很长的路。

Google-Extended 和 Googlebot 要分清。 Google-Extended 是谷歌用来训练 AI 模型的专用爬虫，和普通 Googlebot 是两回事。你允许 Googlebot 收录，不代表允许 Google-Extended 抓去训练 AI，这俩在 robots.txt 里可以分开控制。

写在最后

GEO 要做得好，先得知道 AI 爬虫有没有在光顾你的站。这个脚本把抽象的"AI 抓取"变成具体的数字，谁来过、来几次，一查便知。有了这个基础，你才能判断要不要调整 robots、要不要优化内容去争取 AI 的引用。

延伸阅读：谷歌 SEO 系统实操。

觉得有用欢迎点赞、收藏、转发，有疑问评论区留言或私信交流。