HTML

würde diese Robots.txt funktionieren?

Diskussionsgruppen
Betriebsysteme: Windows 7; WindowsVista; WindowsXP; Linux; BS-Sonstige
Software: Textverarbeitung; Tabellenkalkulation; Datenbanken; Bildbearbeitung; Audio/mp3/Video; Security/Viren; E-Mail/Outlook; Internet Browser; SW-Sonstige
Hardware: Mainboard/CPU/RAM; Grafikkarten; Peripherie; HW Sonstiges
Netzwerk: DSL; W-Lan; Telekommunikation; NW-Sonstiges
Programmierung: Skripte(PHP,ASP,Perl...); Webseiten/HTML
Sonstiges: PC-Sonstiges; Plauderecke

Frage

Hallo, Würde bei dem Inhalt: [i]User-agent: * Disallow: / User-agent: Googlebot Disallow:[/i] Googel erlaubt werden und alle anderen verboten, oder schließt googel sich in das Verbot mit ein?

Antwort 1 von rfb

Da Googlebot einen eigenen Abschnitt hat, sollte er die anderen Anweisungen ignorieren - also alles durchsuchen.

Antwort 2 von elelar

da die bots die Datein von oben nach unten parsen würde ich die Angaben umdrehen. Sonst funktioniert es ggf. nicht, da * ja auch den googlebot einschliesst, der disallow hat...

Gruss
Christian

Antwort 3 von ReneL

vielen Dank für Eure Hilfe - werd ich so machen

Antwort 4 von rfb

du könntest auch zusätzlich eine "Google Sitemap" erstellen, dann erhältst du eine detaillierte Rückmeldung, was Googlebot bei dir durchsucht hat, auch was er entsprechend der Anweisungen in der robots.txt nicht durchsucht hat: https://www.google.com/webmasters/sitemaps/docs/de/about.html

Antwort 5 von rfb

Linkfehler - also nochmal: www.google.com/webmasters/sitemaps/docs/de/about.html