v0是目前为止用到过体验最差的Coding工具，避雷；不经用也就算了，简单的任务都跑不完

AI 爬虫 robots.txt 配置：让内容出现在 AI 回答里，但不被拿去训练

【背景】
ChatGPT、Claude、Perplexity 等 AI 产品会通过爬虫抓取网页。不同爬虫用途不同：有的用于搜索、引用（会在回答里展示你的网站和链接），有的用于模型训练（把内容喂进大模型）。通过 robots.txt 区分这两类，可以控制内容只被引用、不被训练。

【两类爬虫】
🔍 查找类：用于搜索、引用，可带来流量 → Allow
📚 训练类：抓取内容用于模型训练，通常无直接流量 → Disallow

【常见配置】
允许：OAI-SearchBot、Claude-SearchBot、PerplexityBot
禁止：GPTBot、ClaudeBot、Google-Extended、CCBot

【robots.txt 示例】
# 允许 AI 查找/搜索
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 禁止 AI 训练数据抓取
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

【补充说明】
• ChatGPT-User / Claude-User：用户主动请求时访问，robots.txt 可能不适用
• 禁止 Google-Extended 不影响 Google 搜索排名
• CCBot 数据进入 Common Crawl，被多家用于训练

【官方引用】
OpenAI：platform.openai.com
Anthropic：support.anthropic.com
Perplexity：docs.perplexity.ai
Google：developers.google.com
Common Crawl：commoncrawl.org

买了两周今天才有空拆，@生姜iris 力荐

可以用用试试：# Sitemap 生成规范（通用）

供 AI / Coding Agent 生成 Sitemap 时使用。按需替换占位符（如 `example.com`、技术栈名）。

---

## 任务

根据项目中的页面列表，生成符合 sitemaps.org 协议的 XML Sitemap，并在 robots.txt 中声明。

---

## 一、协议要点

| 项目 | 规范 |
|------|------|
| 单 Sitemap 限制 | ≤50,000 URL，≤50MB（未压缩） |
| Sitemap Index | 超过限制时拆分，主索引引用子 Sitemap |
| 编码 | UTF-8 |
| URL 格式 | 完整 URL，同一 host，含 `https://` |
| 必选标签 | `<loc>` |
| 可选标签 | `<lastmod>`、`<changefreq>`、`<priority>` |

---

## 二、字段要求

| 字段 | 说明 | 建议 |
|------|------|------|
| url | 完整 URL | `example.com/path` |
| lastModified | 页面最后修改时间 | 使用页面 metadata，格式 ISO 8601；无数据时用 `YYYY-MM-DD` 或省略 |
| changeFrequency | 更新频率 | 首页 `daily`，列表页 `weekly`，内容页 `monthly` |
| priority | 相对重要性 | 首页 1.0，聚合页 0.9，内容页 0.7–0.8，其他 0.5–0.6 |

### lastmod 细节

- **必须准确**：应为页面实际修改时间，而非 sitemap 生成时间。Google 要求可验证；Bing 统计约 18% 的 sitemap 因 lastmod 错误被忽略。
- **格式**：W3C Datetime（`YYYY-MM-DD` 或 `YYYY-MM-DDTHH:MM:SS+TZD`），如 `2025-01-15`、`2025-01-15T14:30:00+08:00`。
- **避免**：用 `new Date()` 作为 lastmod，会导致所有 URL 时间相同，搜索引擎可能忽略。
- **适用**：内容更新、结构化数据变更、重要链接变更时更新 lastmod。

### changefreq / priority

- **changefreq**：仅为提示，不直接决定爬取频率。常用值：`always`、`hourly`、`daily`、`weekly`、`monthly`、`yearly`、`never`。
- **priority**：0.0–1.0，表示相对重要性，**不影响排名**；重要页面设高值，避免全部相同。

---

## 三、架构与拆分

### 单 Sitemap

- URL ≤50,000 时，直接生成 `/sitemap.xml` 即可。

### Sitemap Index（多子 Sitemap）

- URL 超过限制时，按类型或语言拆分，主索引引用子 Sitemap。
- 示例拆分：`/sitemap/posts.xml`、`/sitemap/pages.xml`、`/sitemap/zh.xml`、`/sitemap/en.xml`。
- 主索引输出 `/sitemap.xml` 或 `/sitemap-index.xml`，其中每项为 `<sitemap><loc>...</loc></sitemap>`。

### 多语言站点

- 按 locale 拆分：`/sitemap/zh.xml`、`/sitemap/en.xml`。
- 或按内容类型 + 语言：`/sitemap/zh-posts.xml`、`/sitemap/en-posts.xml`。

---

## 四、实现方式

| 技术栈 | 实现位置 / 方式 |
|--------|-----------------|
| Next.js App Router | `app/sitemap.ts` 导出 `MetadataRoute.Sitemap` 或 `generateSitemaps` |
| Next.js Pages Router | `pages/sitemap.xml.ts` 或 `getServerSideProps` 返回 XML |
| Astro | `src/pages/sitemap-index.xml.ts` 或 `@astrojs/sitemap` |
| Vite / 静态构建 | 构建脚本生成 `public/sitemap.xml` |
| 其他 | 生成静态 `/sitemap.xml` 或通过 API 动态返回 XML |

### 路由排除

- 若项目有 i18n / middleware 重定向，需排除 sitemap 路径，避免被重定向。示例（Next.js）：`'/((?!api|_next|sitemap|sitemap-index|.*\\..*).*)'`。

---

## 五、页面范围

### 需包含

- 首页：`/`
- 各语言/区域首页（如 `/zh`、`/en`）
- 所有可被索引的内容页、列表页、分类页

### 需排除

- `/api/*`、`/admin/*`、`/_next/*`
- 静态资源（图片、JS、CSS 等）
- 登录、后台、草稿等不希望被索引的页面

---

## 六、数据源与维护

- **单一数据源**：URL 列表从配置、CMS 或 metadata 读取，避免在 sitemap 中硬编码。
- **多类页面**：工具页、博客页、营销页等可合并为同一数组后统一生成。
- **新增页面**：只在数据源中添加，sitemap 自动更新；避免多处维护导致遗漏。

---

## 七、robots.txt

在 robots.txt 中增加：

```
Sitemap: example.com/sitemap.xml
```

多 Sitemap 时，只需声明主索引即可。

---

## 八、输出格式

### 单 Sitemap 示例

```xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="www.sitemaps.org">
<url>
<loc>example.com/</loc>
<lastmod>2025-01-15</lastmod>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>example.com/page</loc>
<lastmod>2025-01-10</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
```

### Sitemap Index 示例

```xml
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="www.sitemaps.org">
<sitemap>
<loc>example.com/sitemap/pages.xml</loc>
<lastmod>2025-01-15</lastmod>
</sitemap>
<sitemap>
<loc>example.com/sitemap/posts.xml</loc>
<lastmod>2025-01-14</lastmod>
</sitemap>
</sitemapindex>
```

---

## 九、常见问题

| 问题 | 原因 / 处理 |
|------|-------------|
| sitemap 404 | 构建失败、路径错误、未正确导出；检查路由与部署 |
| 页面缺失 | URL 未加入数据源、被过滤或排除 |
| lastmod 异常 | 避免 `new Date()`，改用页面 metadata 中的 `modifiedDate` |
| Google 不索引 | 在 Search Console 提交 sitemap，检查 Coverage 与 robots |
| 中英文 URL 不一致 | 统一数据源，按 locale 生成时共用同一列表 | //@燕耳Firenze: 哟西 太cool了🐮

之后会把用AI生成sitemap（以及其他SEO Item）的焚决放在对应文章里给大家下载：人读文章，AI读对应markdown🤨 //@燕耳Firenze: 今天刚想看k神的sitemap🩵

把我的网站内容构建方式开源给大家：用 docs 作为文档骨架，让 AI 和人一起写内容，具有非常高的可扩展性，核心是templates/pages+components

思路：templates 定义页面类型和章节顺序，section 定义每块内容的格式、字数和组件用法，technical 负责技术实现。

每一层都有规则，互不重复，引用优先。这样写作、SEO、翻译都能按同一套规范执行。

docs/
├── README.md # 文档中心索引，按重要程度排序
│
├── pages/ # 独立单页（非内容型模板）
│ ├── README.md # 独立页面说明
│ ├── page-404.md # 404 错误页
│ ├── page-about.md # 关于我们
│ ├── page-betalist.md # Betalist 推广页
│ └── page-customer-stories.md # 客户案例
│
├── section/ # 跨页面通用章节规范（格式、字数、组件）
│ ├── README.md # Section 索引
│ ├── section-article-intro.md # 文章简介（110-150字）
│ ├── section-what-is.md # 什么是 XXX（主题介绍）
│ ├── section-how-it-works.md # 技术概述（HowItWorks）
│ ├── section-types-list.md # 分类/类型列举
│ ├── section-use-cases.md # 应用场景（UseCases）
│ ├── section-best-tools.md # 产品展示（BestTools）
│ ├── section-comparison-table.md # 对比表格（Table/DataTable）
│ ├── section-how-to.md # 如何选择（HowToChoose，5步）
│ ├── section-seo.md # SEO 规范（Meta、Schema、图片、日期、学习参考）
│ ├── section-conclusion.md # 结论（必须在 FAQ 之前）
│ ├── section-faq.md # 常见问题（禁止内链）
│ ├── section-references.md # 参考文献
│ ├── section-links.md # 内链、外链、全站链接规则
│ ├── section-youtube-thumbnail.md # YouTube 视频
│ ├── section-generic.md # 通用纯文字章节
│ ├── section-also-interested-in.md # 可能感兴趣
│ ├── section-nav.md # 导航栏（Header、Footer）
│ ├── section-breadcrumb.md # 面包屑
│ ├── section-hero.md # Hero 区域（H1、Excerpt）
│ └── section-share-buttons.md # 分享按钮
│
├── technical/ # 技术实现文档
│ ├── README.md # 技术文档索引
│ ├── technical-config-files.md # 项目配置文件
│ ├── technical-indexnow.md # IndexNow 协议集成
│ ├── technical-component-imports.md # 组件导入规范
│ └── technical-mdx-syntax.md # MDX 语法规范
│
└── templates/ # 按页面类型复用的模板
├── README.md # 模板索引
├── template-tools.md # Tools 工具推荐/对比
├── template-seo.md # SEO 类页面
├── template-marketing.md # Marketing 营销策略
├── template-bloglayout.md # BlogLayout 通用布局
├── template-landing.md # 首页（含 Logo 素材）
├── template-aggregate.md # 聚合页（/blog、/tools 等）
└── template-glossary.md # 术语表

有心者不用教，无心者教不会

今天心情好（打通了一条某个GEO平台的流程，4/11的成功率），分享点有意思的观点：

GEO其实有明暗两条线，看得见的是C端用户直接从大模型聊天框获取的（品牌）推荐和（链接）引用，前者大部分GEO工具都提供Brand Visibility （in AI Search ）Tracker功能（例如我的某个甲方客户karis.im），后者可以通过Referral Domain来归因

暗线是调用大模型的工具，好辨认的是那些文本类工具，比如AI Blog Generator中生成的那些带有Outbound Links的文章，不太容易辨认的如Coding Agent也算，比如我拿Cursor写个人博客的内容，好几次都被反向GEO了（生成的内容带有某个品牌的推荐，当然我也都删了hhh）

我是怎么发现的呢，前两天在研究网站的自然外链，发现很多文章的引用来源都带了我某篇文章，大部分一眼看上去就是用AI工具或者跑了一个工作流写的

这样看其实GEO也很有马太效应：越多网站引用你-曝光越多-越容易被大模型爬到-越容易出现在生成的内容里-越多网站引用

弄了个GLM Coding Max（有一说一有点慢，就当支持国货了），有个七日体验卡，需要自取：

bigmodel.cn

🚀 速来拼好模，智谱 GLM Coding 超值订阅，邀你一起薅羊毛！Claude Code、Cline 等 20+ 大编程工具无缝支持，“码力”全开，越拼越爽！立即开拼，享限时惊喜价！
链接：www.bigmodel.cn

m.okjike.com
OpenGraph用@玉伯 的产品Youmind（用youmind.com注册拿积分）做的，把文章链接和网站Logo丢进去，再选个风格就能生成了，准备给整站每个页面生成一张