万事屋的bing收录一塌糊涂,dp告诉我是robots.txt设置错了,帮我修改了一把,希望管用?
# 万事屋(rei3.com) 全平台SEO优化版robots.txt
# 最后更新:2025年6月26日
# 支持:百度/谷歌/Bing/头条/360/搜狗/神马
### 核心搜索引擎组(百度/谷歌/Bing)###
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Googlebot-Video
User-agent: Baiduspider
User-agent: bingbot
User-agent: MSNBot
User-agent: BingPreview
Allow: /$ # 明确允许首页
Allow: /wp-content/uploads/ # 媒体资源
Allow: /forum-post/.*\.html$ # 社区帖子(正则匹配)
Allow: /topic/.*\.html$ # 专题页面
Allow: /author/[^/]+/?$ # 作者个人页
Disallow: /wp-admin/
Disallow: /*.php$ # 屏蔽所有PHP脚本
Disallow: /*?s= # 搜索页
Disallow: /trackback/
Disallow: /feed/$
Disallow: /comment-page-
Crawl-delay: 2 # 优化爬取间隔(原3秒)
### 中文搜索引擎组(头条/360/搜狗/神马)###
User-agent: 360Spider
User-agent: Sogou
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: Sogou blog
User-agent: Bytespider # 头条爬虫
User-agent: YisouSpider # 神马搜索
Allow: /$ # 首页
Allow: /wp-content/uploads/
Allow: /static/.*\.(css|js|png|jpg|jpeg|gif)$ # 静态资源扩展
Allow: /forum-post/.*\.html$ # 社区帖子
Allow: /topic/.*\.html$ # 专题
Allow: /author/[^/]+/?$ # 作者页
Disallow: /wp-admin/
Disallow: /*.php$
Disallow: /wp-includes/
Disallow: /feed/$
Disallow: /comment-page-
Crawl-delay: 3 # 略高于核心组
### 通用规则 ###
User-agent: *
Allow: /$ # 显式允许首页
Allow: /wp-content/uploads/.*\.(png|jpg|jpeg|gif|webp|mp4)$ # 媒体文件
Allow: /static/.*\.(css|js|svg|woff2)$ # 静态资源
Allow: /assets/.*\.(css|js|ico)$
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/plugins/ # 插件目录
Disallow: /wp-content/themes/.*\.(php|txt|log) # 主题脚本文件
Disallow: /wp-content/backup-db/
Disallow: /wp-content/cache/
Disallow: /wp-content/upgrade/
Disallow: /services/
Disallow: /readme.*\.(html|txt)$
Disallow: /license.*\.txt
Disallow: /xmlrpc\.php
Disallow: /*?s= # 搜索参数
Disallow: /author/$ # 作者列表页
Disallow: /oauth/
Disallow: /trackback/
Disallow: /feed/$
Disallow: /comment-page-
Disallow: /*?replytocom= # 评论跳转
# 内容类型放行(覆盖禁止规则)
Allow: /.*\.html$ # 允许所有.html内容页
Allow: /forum-post/ # 社区目录
Allow: /topic/ # 专题目录
# 屏蔽恶意/低价值爬虫
User-agent: DataForSeoBot
User-agent: MJ12bot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: MauiBot
User-agent: ZoominfoBot
Disallow: /
### 站点地图 ###
Sitemap: https://www.rei3.com/sitemap.xml # WordPress标准地图索引
Sitemap: https://www.rei3.com/forum_post-sitemap.xml
Sitemap: https://www.rei3.com/post-sitemap.xml
Sitemap: https://www.rei3.com/sitemap-misc.xml
Sitemap: https://www.rei3.com/plate_cat-sitemap.xml
Sitemap: https://www.rei3.com/page-sitemap.xml
没有回复内容