最近bing不收录,醉了 - 技术宅银魂 - 科技改变生活 - 万事屋 | 生活·动漫·娱乐综合社区-银魂同好聚集地

最近bing不收录,醉了

万事屋的bing收录一塌糊涂,dp告诉我是robots.txt设置错了,帮我修改了一把,希望管用?

# 万事屋(rei3.com) 全平台SEO优化版robots.txt
# 最后更新:2025年6月26日
# 支持:百度/谷歌/Bing/头条/360/搜狗/神马

### 核心搜索引擎组(百度/谷歌/Bing)###
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Googlebot-Video
User-agent: Baiduspider
User-agent: bingbot
User-agent: MSNBot
User-agent: BingPreview
Allow: /$  # 明确允许首页
Allow: /wp-content/uploads/  # 媒体资源
Allow: /forum-post/.*\.html$  # 社区帖子(正则匹配)
Allow: /topic/.*\.html$  # 专题页面
Allow: /author/[^/]+/?$  # 作者个人页
Disallow: /wp-admin/
Disallow: /*.php$  # 屏蔽所有PHP脚本
Disallow: /*?s=  # 搜索页
Disallow: /trackback/
Disallow: /feed/$
Disallow: /comment-page-
Crawl-delay: 2  # 优化爬取间隔(原3秒)

### 中文搜索引擎组(头条/360/搜狗/神马)###
User-agent: 360Spider
User-agent: Sogou
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: Sogou blog
User-agent: Bytespider  # 头条爬虫
User-agent: YisouSpider  # 神马搜索
Allow: /$  # 首页
Allow: /wp-content/uploads/
Allow: /static/.*\.(css|js|png|jpg|jpeg|gif)$  # 静态资源扩展
Allow: /forum-post/.*\.html$  # 社区帖子
Allow: /topic/.*\.html$  # 专题
Allow: /author/[^/]+/?$  # 作者页
Disallow: /wp-admin/
Disallow: /*.php$
Disallow: /wp-includes/
Disallow: /feed/$
Disallow: /comment-page-
Crawl-delay: 3  # 略高于核心组

### 通用规则 ###
User-agent: *
Allow: /$  # 显式允许首页
Allow: /wp-content/uploads/.*\.(png|jpg|jpeg|gif|webp|mp4)$  # 媒体文件
Allow: /static/.*\.(css|js|svg|woff2)$  # 静态资源
Allow: /assets/.*\.(css|js|ico)$ 
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/plugins/  # 插件目录
Disallow: /wp-content/themes/.*\.(php|txt|log)  # 主题脚本文件
Disallow: /wp-content/backup-db/
Disallow: /wp-content/cache/
Disallow: /wp-content/upgrade/
Disallow: /services/
Disallow: /readme.*\.(html|txt)$
Disallow: /license.*\.txt
Disallow: /xmlrpc\.php
Disallow: /*?s=  # 搜索参数
Disallow: /author/$  # 作者列表页
Disallow: /oauth/
Disallow: /trackback/
Disallow: /feed/$
Disallow: /comment-page-
Disallow: /*?replytocom=  # 评论跳转

# 内容类型放行(覆盖禁止规则)
Allow: /.*\.html$  # 允许所有.html内容页
Allow: /forum-post/  # 社区目录
Allow: /topic/  # 专题目录

# 屏蔽恶意/低价值爬虫
User-agent: DataForSeoBot
User-agent: MJ12bot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: MauiBot
User-agent: ZoominfoBot
Disallow: /

### 站点地图 ###
Sitemap: https://www.rei3.com/sitemap.xml  # WordPress标准地图索引
Sitemap: https://www.rei3.com/forum_post-sitemap.xml
Sitemap: https://www.rei3.com/post-sitemap.xml
Sitemap: https://www.rei3.com/sitemap-misc.xml
Sitemap: https://www.rei3.com/plate_cat-sitemap.xml
Sitemap: https://www.rei3.com/page-sitemap.xml

 

请登录后发表评论

    没有回复内容

万事屋新帖