Ich würde mich nicht auf die Robots.txt oder Meta noindex verlassen. Seiten bei denen du sicherstellen willst, dass diese nicht von irgendeinem Content Scraper erfasst werden, würde ich definitiv über .htaccess oder ähnliches sperren.