Also das scheint ein längerer Kampf zu werden.
Die Suchmaschinen-Bots kann das Supportnet gut weg stecken, da es an sich super schnell ist. Inzwischen kommen aber immer mehr KI Bots, die das Netz durchforsten und gerade mit Foren ein super Trainingsfeld finden und diese einfach komplett crawlen. Dabei halten sie sich nicht an so Vereinbarungen wie die robots.txt Datei in der man Suchmaschinenbots sagen kann ob sie einen besuchen sollen und wenn ja wie schnell, oder eben nicht.
Die KI Bots halten sich da nicht dran und man muss Serverseitig etwas gegen deren superschnellen Zugriffe machen. Da sie auch gar nichts dazu beitragen den Usern ein besseres Erlebnis zu bringen aber viel Schaden verursachen (Das Supportnet ist teilweise nicht benutzbar) muss man sie gewaltsam aussperren.
Das geht Serverseitig über die Sperre von IP Ranges, was sehr müßig ist, da man immer wieder neue IP Ranges sperren muss oder aber über die Sperre der Bots an sich über deren Namen.
Beides macht man mit einem Apache Webserver über die .htaccess Datei.
Wenn man wissen will, wie sorgsam KI Firmen mit Daten umgehen und wie umsichtig sie im Allgemeinen sind, dann kann man an der Aggressivität wie sie mit ihren Bots Daten sammeln einiges lernen. Sie scheren sich einen Dreck um andere. Sie wissen ganz genau, dass ihre Bots unzählige Server in die Knie zwingen, bei kleineren Serverbetreibern verursachen sie sogar Kosten wegen des sehr hohen Traffics, aber es ist ihnen egal.
Das kann man auch gut in den Foren für Serverbetreiber nachlesen.
Das nur so als Info für euch, warum das Supportnet in letzter Zeit ab und an sehr langsam war. Ich glaube aber jetzt einen ganz guten Hebel angesetzt zu haben.
Gruß Fabian
