ich habe schon seit längerem eine robots.txt auf meinem Server, da ich auch Sachen entwickle, die (noch) nicht in den Suchmaschienen aufgenommen werden sollen. Nun wurde ich heute darauf hingewiesen, dass man die robots.txt ganz einfach per Browser öffnen und lesen kann => habe die robots.txt per .htaccess geschützt, der Code sieht wie folgt aus:
code:
1:
2:
3:
<FilesMatch "^\robots.txt" >
deny from all
</FilesMatch>
Nun meine Frage: Lesen die Suchmaschienen trotz des "Verbots" die robots.txt?
Das ist eine interessante Frage. Hatte da ein vergleichbaren Fall, nur immer noch keine richtige Erklärung.
Habe bei mir die Datei umbenannt und nicht .txt genommen sonder .js. Soweit ich weiss lesen die Suchmaschinen die Endung nicht aus. Und meinen php-Script ist das Schnuppe. Die Endung kann glaube ich auch frei erfunden sein.