Hi suppnetfan,
also mit der robots.txt kann man vieles falsch machen, daher wäre es gut wenn du deine mal in der Code Darstellung posten würdest, oder eben deine Wunsch robots.txt.
Interessant wäre auch wo deine css und js Dateien liegen, wenn du ein Verzeichnis verbietest dann kannst du nicht hinterher die js und css Dateien in so einem verbotenen Verzeichnis wieder erlauben soweit ich mich erinnere.
Gruß Fabian