Ausnahme für Googlebot in der robots.txt

Question

Guten Tag! seit ca. 1 Woche erhalten wir immer die Fehlermeldung:
"Der Googlebot kann nicht auf CSS- und JS-Dateien zugreifen" (es geht
um eine Homepage, die mit Contao erstellt wurde) Nun habe ich die
robots.txt wie folgt erweitert: "User-agent: * Disallow: /check/ Disallow:
/contao/ Disallow: /system/ Disallow: /templates/ Disallow:
/share/index.php Disallow: /contao-check.php Disallow: /flash.php
Disallow: /readme.md Allow: /assets/ User-Agent: Googlebot Allow: .js
Allow: .css" Wird der Googlebot damit zufrieden sein? Oder
verabschiedet er sich schon bei den Disallows?"
für tipps schon mal danke im Voraus!

Answer 1

Schade, dass niemand eine Antwort weiß.
Dann muss ich wohl doch wieder bei Computerbild nachfragen ....

Answer 2

Hi suppnetfan,

also mit der robots.txt kann man vieles falsch machen, daher wäre es gut wenn du deine mal in der Code Darstellung posten würdest, oder eben deine Wunsch robots.txt.

Interessant wäre auch wo deine css und js Dateien liegen, wenn du ein Verzeichnis verbietest dann kannst du nicht hinterher die js und css Dateien in so einem verbotenen Verzeichnis wieder erlauben soweit ich mich erinnere.

Gruß Fabian

Answer 3

Hallo Fabian, danke für deine Antwort!

Seit gestern ist diese Version auf dem Server:
User-agent: *
Disallow: /check/
Disallow: /contao/
Disallow: /system/
Disallow: /templates/
Disallow: /share/index.php
Disallow: /contao-check.php
Disallow: /flash.php
Disallow: /README.md
Allow: /assets/
User-Agent: Googlebot
Allow: .js
Allow: .css

/assets/js und /assets/css sind die Verzeichnisse

Was ich nicht kapiere: die Fehlermeldung lautet: "Der Googlebot
kann nicht auf CSS- und JS-Dateien zugreifen"
obwohl in der alten Version der robots.txt auch der Zugriff Allow:
/assets vorhanden war. Ich habe nur die letzten 3 Zeilen gestern ab
User-Agent: Googlebot neu eingefügt

Answer 4

HI suppnetfan,

die Syntax der robots.txt ist leider nicht so gut dokumentiert aber deine Zeilen am Ende würde ich ersetzen durch folgende:

User-Agent: Googlebot
Allow: /assets/css/*.css$
Allow: /assets/js/*.js$

Vielleicht geht das ja.

Bist du dir sicher, dass keine js und css Dateien in anderen gesperrten Ordnern liegen?

Gruß Fabian

Answer 5

@Fabian: vielen Dank für deine Mühe. Werde gleich mal das mit den VZ überprüfen und dann die robots.txt abändern.
Nochmals besten Dank!