Zitat:
Zitat von HudeMCV
?
versteh nur bahnhof
|
User-agent: *
Disallow: /
mit Disallow sperrt er alle Suchmaschinen und crawler Bots aus (mit User-agent: *), die sich an die robot.txt halten (was nicht alle machen aber die großen schon wie google, msn, yahoo)
ergo..deine Seite kann auch nicht über suchmaschinen gefunden werden
beim archive.org wäre es:
User-agent: ia_archiver
Disallow: /
heisst der Bot von archive.org darf deine Seite nicht indizieren und so gelangt dein Webseiten Inhalt auch nicht in seine Datenbank