サイトマップやRSSフィードをIP制限している
AmethystはGoogle Cloudを利用しています。従って、下記のIPアドレスからのアクセスが制限されているとIndex Workerが上手く実行できない場合があります。
Google Compute Engine のよくある質問 | Compute Engine ドキュメント | Google Cloud
Compute Engine に関するよくある質問の回答を確認できます。
IPアドレスの範囲が広いため、IPアドレスの許可よりも、
User Agentを使ってAmethystのアクセスを許可する方法がおすすめです。
AmethystのUser Agent
Section titled “AmethystのUser Agent”🔬 Amethyst-Crawler/1.0 (https://amethy.st/)