Ich hätte auch noch den wichtigen von ASK.de
Den ebenfalls nicht aussperren.

Ask Jeeves/Teoma; +http://sp.ask.com/docs/about/tech_crawling.html