Supportnet down, für ein paar Tage, warum?

Question

Ihr habt es ja sicher gemerkt, das Supportnet war jetzt mehrere Tage down.

Das Ganze hat mit den sehr aggressiven Bots der KI Hersteller zu tun. Die greifen so oft und ohne unterlass auf das Supportnet zu, dass der Server einknickt.

Ich kann das leider immer nur im Nachhinein blocken. Und jetzt hat die Datenbank so gelitten, dass sie sich auf über 120 GB aufgeblasen hat. Leider waren davon auch die Backups betroffen, die nur gemacht werden können, wenn die Datenbank kontinuierlich läuft.

Das letzte laufende Backup war vom 18.10.2024, deshalb sind aktuellere Beiträge verloren gegangen.

Diese Datenmengen haben auch damit zu tun warum die Reparatur so lange gedauert hat. Ich musste mir das erst mal auf den Rechner laden und alleine das Auspacken dauert dann Stunden. Für die meisten Editoren sind solche Dateigrößen auch zu viel.

Also gab es leider keine Möglichkeit einer Reparatur sondern nur das Einspielen eines älteren Backups.

Gruß Fabiam

Answer 1

Hallo Fabian,

kannst du vielleicht Zugriffe so beschränken, dass maximal x Anfragen pro Zeitenheit von einer IP-Adresse möglich sind? Bei z.B. fünf Anfragen pro Minute dürfte das keinen der SN-User in seinen Aktivitäten einschränken, einen KI Bot aber schon.

Gruß computerschrat

Answer 2

Hi Computerschrat,

die benutzen ganze IP Ranges. Oft verwenden sie AWS (Amazon Web Services), mit vielen unterschiedlichen IP Adressen. Ich muss dann teilweise größere Netzbereiche sperren.

Ich schaue mal ob ich deine Idee irgendwie umsetzen kann, weil selbst wenn sie die IPs wechseln, rufen sie meist mehr Seiten ab als ein echter Mensch das tun würde.

Gruß Fabian

Answer 3

Wenn die KI-Bots so aggressiv vorgehen, worin unterscheiden sie sich dann eigentlich von irgendwelchen bösartigen Hacker-Angriffen, die genau das Server-Einknicken zum Ziel haben?

Ist dieses Verhalten schon strafbar?

Answer 4

@derpfleger,

sie sitzen ja leider meist im Ausland, sind also wenig bis gar nicht Dingfest zu machen.

Im Prinzip sind das DDOS Angriffe (Distributed Denial of Service).

Suchmaschinen machen übrigens ja nichts anderes, nur kann man denen über eine Textdatei (robots.txt )mitteilen ob sie eine Webseite besuchen dürfen und wie oft sie das machen sollen (auch wie schnell hintereinander sie das machen sollen).

Es gibt also viele Firmen (Suchmaschinen, SEO-Firmen, KI Firmen...) die eine ganze Seite indizieren wollen.

Bisher, ohne die KI Firmen, ging das ja auch immer ohne Probleme und gerade von Suchmaschinen will man ja indiziert werden.

Da rechtlich vorgehen zu wollen, dürfte sehr schwer werden, da ja jeder inzwischen seinen eigenen KI Bot los schicken kann, ist das ein Kampf gegen Windmühlen.

Ich habe bis jetzt auch keine schnelle Möglichkeit gefunden Zugriffe zu tracken und die entsprechend von Mustern dann auch zu blockieren. Da spielt z.B. in Deutschland der Datenschutz auch eine Rolle, wonach alleine das Tracken nach IP Nummern (was personenbezogene Daten sein können) nicht erlaubt ist.

Gruß Fabian