Damit unsere gemeinsamen Nutzer die bestmögliche Erfahrung haben, kann es erforderlich sein, unsere Crawler in deiner Infrastruktur auf die Zulassungsliste zu setzen. Dafür stellen wir diese aktuelle Liste von DNS-Einträgen bereit, die auf die IP-Adressen der Server (IPv4 und IPv6) verweisen:
- spider-crawler1.do.feeder.co
- spider-crawler2.do.feeder.co
- spider-crawler3.do.feeder.co
- spider-crawler4.do.feeder.co
- spider-crawler5.do.feeder.co
- spider-crawler6.do.feeder.co
- spider-crawler7.do.feeder.co
- spider-crawler8.do.feeder.co
- spider-crawler9.do.feeder.co
- spider-crawler10.do.feeder.co
- spider-worker2.do.feeder.co
- spider-worker3.do.feeder.co
Unten findest du eine automatisch generierte Tabelle mit den IP-Adressen der oben aufgeführten Server. Außerdem bieten wir eine nicht authentifizierte JSON-API an, über die du diese IP-Adressen abrufen kannst:
https://feeder.co/1/service-urls/crawlers.json
https://feeder.co/1/service-urls/crawlers.txt
User-Agent
Du kannst auch für den Feeder-User-Agent eine Ausnahme in deinen Firewall-Regeln einrichten. Unser User-Agent enthält die Zeichenfolge „feeder.co“. Beispiel:
Mozilla/5.0 (feeder.co; Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36Der genaue User-Agent kann sich im Laufe der Zeit ändern. Wir empfehlen daher, nach feeder.co zu suchen.