Robots.txt und anderer Port als 80

06/10/2009 - 03:55 von Andreas Kohlbach | Report spam
Ich habe einen Pseudo-Webserver laufen auf einem Port bei 8080, der eine
Webseite dort generiert. Auf selber IP (ist dyndns, vielleicht ist dort
das Problem?) làuft noch ein "echten" Webserver auf Port 80.

Auf der Seite für Port 8080 kann ich leider kein

<meta name="ROBOTS" content="NOINDEX,NOFOLLOW">

setzen. Ich habe auf dem "echten" eine robots.txt [1], die es den
Suchmaschinen verbietet, zu indizieren. Leider wird trotzdem die Seite,
die auf Port 8080 angezeigt wird, bei Suchmaschinen indiziert. Ist mein
Gedankengang falsch, dass die robots.txt auf Port 80 das doch unterbinden
sollte?

[1]
User-agent: *
Disallow: /
Andreas (PGP Key available on public key servers)
41. System coming down in 0 min
 

Lesen sie die antworten

#1 Patrick Dardar
06/10/2009 - 09:15 | Warnen spam
On 06.10.2009 03:55, Andreas Kohlbach wrote:

die auf Port 8080 angezeigt wird, bei Suchmaschinen indiziert. Ist mein
Gedankengang falsch, dass die robots.txt auf Port 80 das doch unterbinden
sollte?



robots.txt ist ja nur eine Anleitung; ob die Bots sich auch daran halten,
ist manchmal unsicher. Falls man wirklich den Zugang nicht erlauben
will, sollte man eventuell auf die .htaccess zurück greifen.

Pa

Ähnliche fragen