# robots.txt for denohgroup.com
# 允许所有搜索引擎爬虫访问

User-agent: *
Allow: /

# 禁止访问的目录
Disallow: /admin/
Disallow: /temp/
Disallow: /cache/
Disallow: /backup/
Disallow: /private/
Disallow: /api/
Disallow: /cgi-bin/
Disallow: /includes/
Disallow: /config/

# 禁止访问的文件类型
Disallow: /*.pdf$
Disallow: /*.doc$
Disallow: /*.docx$
Disallow: /*.xls$
Disallow: /*.xlsx$
Disallow: /*.zip$
Disallow: /*.rar$

# 网站地图
Sitemap: https://www.denohgroup.com/sitemap.xml

# 爬虫抓取频率（可选，部分搜索引擎支持）
Crawl-delay: 1

# 百度爬虫特殊配置
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# 谷歌爬虫特殊配置
User-agent: Googlebot
Allow: /

# 360爬虫
User-agent: 360Spider
Allow: /

# 搜狗爬虫
User-agent: Sogou web spider
Allow: /

# Bing爬虫
User-agent: Bingbot
Allow: /

# 神马爬虫
User-agent: Yisouspider
Allow: /

# 头条爬虫
User-agent: Bytespider
Allow: /