没有神话的 AEO:真正影响 Perplexity 和 ChatGPT 引用的因素
首先,关于没有人承诺的事情
无法保证从 Perplexity、ChatGPT 或 AI Overviews 中得到答案。模型根据自己的规则选择来源,这些规则不会发布和更改。任何出售“有保证的 ChatGPT 报价”的人都是在出售希望。
可以控制的:使这些系统的搜索机器人能够拾取该页面,使其对特定问题有明确的答案,并且使该答案易于检索。这与常规 SEO 的重叠程度比人们所说的要多。
步骤 1. 不要将自己与必要的机器人隔离开来
每个公司都有多个代理,负责不同的任务。用一个开关阻止“所有人工智能机器人”通常会关闭搜索,而搜索只会给出报价。
- OpenAI:
OAI-SearchBot- 在 ChatGPT 中搜索的索引,GPTBot- 用于训练的数据收集,ChatGPT-User- 根据用户请求加载页面。 - 困惑:
PerplexityBot用于索引,Perplexity-User用于用户查询。 - Anthropic:
ClaudeBot、Claude-SearchBot、Claude-User具有类似的划分。 - Google:AI 概述建立在常规 Googlebot 索引的基础上。
Google-Extended令牌控制 Gemini 内容的使用,但不影响搜索中的位置。
例如:允许搜索,禁止训练。
# robots.txt User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
然后检查站点前面的图层。 Cloudflare 管理了 AI 爬虫的规则,如果“以防万一”一旦启用它们,robots.txt 就不再解决任何问题——请求会被 WAF 切断。
步骤 2. 检查机器人是否看到文本
从网站所有者的日志来看,许多爬虫程序只获取 HTML,而不执行 JavaScript。如果反应仅在水合后出现,则机器人会看到一个空壳。
curl -s -A "OAI-SearchBot/1.0" https://example.com/ru/forum/some-thread \ | sed -e 's/<[^>]*>//g' | grep -c "ключевая фраза из ответа"
零 - 文本在客户端上呈现。在 Next.js 中,这意味着内容应该从服务器组件提供,而不是通过 useEffect 加载。
同时,查看状态和响应时间:在 4 秒内响应或向未知代理返回 403 的页面会输给快速且开放的页面。
步骤 3. 写下答案以便可以剪掉
搜索引擎引用片段。如果是自给自足的话,拿碎片就更容易了。
- 将章节标题表述为问题或确切的陈述:“为什么 Docker 绕过 UFW”,而不是“细微差别”。
- 标题下的前一两句话是直接答案。详细信息、预订和代码如下。
- 具体而不是笼统的词语:版本、命令、默认值、限制。引用了“从 nginx 1.25 开始工作”,没有引用“现代版本”。
- 注明更新日期和作者。对于技术问题,新鲜度对于人和机器都很重要。
- 如果每一行都有一个完整的想法,比较表和步骤列表可以很好地保存在检索中。
这不是人工智能的技巧:这样的页面更容易被人们阅读,并且在自然搜索中排名更高。
步骤 4. 结构化数据 - 切中要害
JSON-LD 帮助机器理解页面类型、作者、日期和层次结构。没有公开证据表明标记本身会增加法学硕士回复中被引用的机会。使其正确并与可见内容相关,而不是用于显示:Article 或 DiscussionForumPosting 包含真实日期和作者,BreadcrumbList 用于导航。
关于 llms.txt
llms.txt - 一项提案(Answer.AI,2024),将包含简短描述和关键页面链接的 Markdown 文件放置在站点根目录中。这不是一个标准,各大搜索引擎也没有声明在选择来源时考虑这一点;谷歌代表表示他们不使用它。该文件制作成本低廉,并且对于用户已明确向其提供您的网站的代理很有用。但没有理由期望他的引用次数会增加。
如何测量
如果没有衡量,AEO 就会成为一种信念。三个数据源:
- 1.服务器日志。 来自搜索代理的请求数量以及它们检索的页面。
grep -E "OAI-SearchBot|PerplexityBot|Claude-SearchBot" /var/log/nginx/access.log \
| awk '{print $7}' | sort | uniq -c | sort -rn | head -20用户代理很容易伪造。 OpenAI 和 Perplexity 发布了他们的机器人的 IP 范围 - 在得出结论之前先检查一下它们。
- 2.转换。 ChatGPT 将
utm_source=chatgpt.com添加到链接,来自 Perplexity 的转换通过引用者perplexity.ai可见。在分析中为他们创建一个单独的部分。
- 3.手动抽样 每月一次,向系统询问 20 个您有最佳答案的问题,并记下谁被引用。虽然很粗糙,但它显示了动态和竞争对手。
常见错误
- 关闭
GPTBot并认为您关闭了 ChatGPT 搜索,反之亦然。 - 在 AEO 下生成数百个“问答”页面。此类页面在经典搜索和依赖它的系统中排名都很差。
- 将响应隐藏在与 HTML 内容重叠的模态订阅窗口或 cookie 横幅后面。
- 预计一周后效果。索引不会立即更新,单个观察结果不能证明任何事情。
什么时候不应该这样做
如果网站在常规搜索中没有索引,您需要从这里开始:许多响应系统都依赖于搜索索引。如果产品解决了文本中未提及的问题(内部工具、封闭的 B2B 系统),那么对 AEO 的投资将不会获得回报。