Update robots.txt standards Community Group https://www.w3.org/community/robotstxt/ その名の通りでAI用データ収集など検索エンジン以外のボットにもうまく対応できるようグループ化記述などの方法を定めようというもの