„KI“-Crawler halten sich an keine Regeln:
https://www.heise.de/hintergrund/Nachruf-Abschied-von-robots-txt-1994-2025-10752448.html?seite=all
Um die von uns an der Universität Bielefeld betriebene akademische Suchmaschine https://www.base-search.net weiter erreichbar zu halten, mussten wir deshalb alle Browser aussperren, die kein Javascript ausführen können. Dafür verwenden wir z.Z. Anubis: https://anubis.techaro.lol/
Es tut uns leid, dass der erste Aufruf unserer Website deshalb für alle länger dauert. Wer unsere Cookies akzeptiert und behält, wird Anubis nur selten sehen.
