Hallo,
Hab da bisher nie so richtig drauf geachtet, aber nach der Aktion von WMW überlege ich jetzt auch bei neuen Projekte was ich in die Robots.txt reinschreiben soll.

Google will ich ja nicht gerade ausschließen. Aber wie heißt es so schön. Die guten Bots halten sich alle an die Robots.txt.

Was schreibt ihr so rein bzw. wäre ja eine Kombination aus htaccess und robots.txt denkbar. Welche Lösungsansätze habt ihr da ?

Bei mir steht z.B immer drin:
User-agent: HenryTheMiragoRobot
Disallow: /