User-agent: * Disallow: /inc/ Disallow: /admin/ Disallow: /400/ Disallow: /401/ Disallow: /403/ Disallow: /404/ Disallow: /500/