Fish Wang
says to
Happy Web Developer
對於惡意爬蟲而言，robot.txt等於告訴他，這裡有重要的東西