Auch wenn du mittels robots.txt crawler aussperren willst halten sich nicht unbedingt alle crawler dran. Es kann sein, dass irgendwo ein Link auf dieses Skript existiert und der Crawler darüber dran kam.

Aber so wie es sich anhört handelt es sich eher um einen gezielten Angriff. Hebe die Logs auf jeden Fall gut auf.

Hier sind paar Infos von nic.com zu der IP-Range der die IP aus deinem logfile angehört:

Request: 209.237.238.177
connected to whois.arin.net [69.25.34.144:43] ...
United Layer, Inc. UNITEDLAYER-1 (NET-209-237-224-0-1)
209.237.224.0 - 209.237.255.255
Alexa Internet ALEXA-INTERNET (NET-209-237-237-0-1)
209.237.237.0 - 209.237.238.255

Die Frage was du jetzt rechtlich machen kannst und ob du die Herausgabe der Verbindungsdaten von Alexa-Internet fordern kannst sollte jemand anderes beantworten...

Alexa Internet ist übrigens eine californische Tochter von Amazon...