Hallo,
um Duplicate Content im Google-Index zu vermeiden habe ich vor kurzem meine robots.txt angepasst:
z.B.
Disallow: /node/
Disallow: /en/node/
Disallow: /de/node
Disallow: /aggregator/
Disallow: /en/aggregator/
Disallow: /de/aggregator/
Diese doppelten Seiten befinden sich aber immer noch im Index, auch findet man mit
Google ein paar 404-Seiten. Muss ich einfach noch etwas warten, bis Google diese Seiten wieder entfernt oder muss ich sonst noch etwas tun?
Gruß