クローラー書くときに robots.txt を尊重するコードなんて人生で一度たりとて書いたことない