# robots.txt for http://www.tourguide-salzburg.at/ User-agent: * Disallow: /tmp Disallow: /*sessionID=* Sitemap: http://www.tourguide-salzburg.com/google_sitemap.xml.gz # DIE REGELN by http://www.kohlfuerst.at/ # Mehr Info unter http://www.promomasters.at/robots-txt.html # Disallow: / # Gesamte Präsenz soll nicht gecrawlt werden # Disallow: /*? # Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden # Disallow: /verzeichnis/ # Allow: /verzeichnis/datei.htm # Crawle Verzeichnis nicht ausser datei.htm # Disallow: /*.doc$ # Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden # Disallow: /*? # Allow: /*?$ # Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. # Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden