文字コード:UTF-8の場合 | SJISの場合 | EUC-JPの場合
https://www.muryou-tools.com/test/posttesteuc.php にPOSTして頂くことで確認可能です。
送付されたデータは下記の通りです。
CCBot/2.0 (https://commoncrawl.org/faq/)