SEO & eCommerce Blog

Die Internetsuchmaschinen und deren Rankings stützen sich auf komplexe Rechenmechanismen. Doch welche Seiten nicht im Index der Suchmaschinen zu finden sein sollen, muss man selbst bestimmen.

Hier geht es nicht um Paranoia, sondern um technische Feinheiten. Manche Seiten haben schlichtweg nichts im Index zu suchen (Inline Frames, Popup Seiten, Sonderseiten, Mitgliederbereiche etc.).

Zudem kann man die Relevanz der Inhalte innerhalb einer Domain mit Sitemaps festlegen. Und somit aktiv das Ranking beeinflussen. Mehr hierzu weiter unten.

Hier liste ich einige Möglichkeiten auf um Suchmaschinen, vor allen Google, zu beeinflussen:

Einzelne Seiten

Um die Einträge einzelner Seiten zu bestimmen nutzt man folgenden Meta Tag im Head Bereich einer HTML oder PHP Seite:

<meta name="ROBOTS" content="INDEX,FOLLOW">

In diesem Beispiel (Standard) wird die Seite in den Index aufgenommen und gesetzte Links auf dergleichen verfolgt.

<meta name="ROBOTS" content="NOINDEX,NOFOLLOW">

In diesem Beispiel wird diese Seite nicht in den Index der Suchmaschinen aufgenommen. Ausgehende Links auf der Seite werden nicht verfolgt und auch kein Pagerank an diese vererbt.

Index / Noindex: Bestimmt das Aufnehmen der aktuellen Seite

Follow / Nofollow: Bestimmt den Umgang mit den Links auf der Seite

Sollte man bei bereits aufgenommenen Seiten die Einstellung index / noindex ändern, muss man sich (je nach Domain und deren "Wichtigkeit" für Suchmaschinen) Stunden bis Wochen gedulden bis die Änderung übernommen wird.

Um das in WordPress zu managen das All in one Seo Plugin verwenden.

Komplette Verzeichnisse:

Um komplette Verzeichnisse (z.B. Downloadbereich , Mitgliederbereich) oder Domains vom Index auszuschließen muss eine Textdatei (falls nicht schon vorhanden) namens robots.txt erstellt werden und ins Hauptverzeichnis der Domain.

Beispielinhalt der robots.txt:

# Alle Robots ausschließen
User-agent: *
Disallow: /dieser-ordner-ist-nicht-oeffentlich/

Generator für die robots.txt

Erklärung der robots.txt von Selfhtml

Auf eine nähere Erklärung verzichte ich an diesem Punkt. Der Generator und die Beschreibung von SELFHTML sollte komplett ausreichen.

Hinweis: Die robots.txt gilt nur als "Empfehlung" für Suchmaschinen, diese müssen sich nicht daran halten (was die großen Anbieter aber tun). Hier geht es nur um die Aufnahme in den Index der Suchmaschinen. Um ein Verzeichnis wirklich zu schützen sollte mindestens mit der .htaccess Methode gearbeitet werden.

Grundsätzliches zu Suchmaschinen:

Es wird niemals eine komplette Domain und alle Seiten darauf in den Index aufgenommen.

Es werden automatisch Seiten aufgenommen die irgendwo im www verlinkt sind und keine andere Markierung haben (Noindex, robots.txt).

Sollte z.B. auf einer Domain ein Unterverzeichnis angelegt werden, das bisher nirgends verlinkt wird, empfiehlt es sich diese Seite wenigstens bei Google anzumelden.

Warum reden alle von Google und kaum von anderen Suchmaschinen? Google deckt über 80% aller weltweiten Suchanfragen.  Wiki > Google