Robots.txt作用

Robots.txt告诉搜索引擎爬虫哪些页面可以抓取，哪些页面禁止抓取。

常用指令

User-agent: *
Disallow: /admin/
Disallow: /data/
Disallow: /runtime/
Allow: /static/
Sitemap: https://example.com/sitemap.xml

注意事项

Robots.txt只是建议而非强制，恶意爬虫仍会忽略。敏感内容应使用密码保护或noindex元标签。