Guter Tipp?!

[HannoM]

Heyho,
wie unten geschrieben hatte ich ja Probleme, dass Google mich nicht indexiert. Gestern kam ich dann auf die "glorreiche" Idee eine Sitemap zu erstellen. Nach einigem rumprobieren habe ich dann auch endlich ein Tool gefunden, dass für Sitemaps in diesem Umfang geeignet ist (http://gsitecrawler.com/) Für ein kostenloses Programm auf jedenfall sehr zu empfehlen. Die Wirkung blieb auch nicht aus muss ich sagen: Ich habe heute mal die Googlebot Zugriffe aus meinen Logs extrahiert und musste feststellen, dass Googlebot sich zwar nicht ausgetobt hat, aber endlich auch mal tiefer als die Rootebene gespidert hat.

Das einzige Manko ist, dass das Tool relativ langsam ist, obwohl mit 6 Crawlern gleichzeitig gearbeitet wird.

Viele Grüße
Hanno

[StefanB]

Hallo Hanno,

du machst es google ja auch nicht gerade einfach. Auf deiner Startseite befinden sich Links mit www. und ohne www. vor der URL. Wenn ich eine site-Abfrage bei google mit deiner Seite starte gibts genau 2 Ergebnisse -> Mit und ohne www. (einmal mit cache vom 6. August und einmal vom 8.August)Welche soll google nehmen und weitersuchen? Oder alles doppelt ?

Also erstmal entscheiden und Templates dementsprechend ändern !

Wenn du gestern das Programm ausprobiert hast, und heute kommt google vorbei glaube ich eher, das dies ein Zufall ist und nichts mit dem Programm zu tun hat.

Kurz und knapp:

Wenn du mehr Seiten von google gespidert haben willst, besorg dir eingehende Links auf deine Seite.
Wenn du möchtest, das diese im Index bleiben unterscheide dich von den anderen...

Gruß
Stefan

[HannoM]

Hallo Stefan,
ich wollte eigentlich nur ein Tipp geben, da sich dieses Tool sehr gut eignet um sehr große Sitemaps zu erstellen

Mit dem Programm hat die Indexierung absolut nix zu tun. Eigentlich ist das nur ein Crawler, welcher die Adressen aus HTML Seiten extrahiert. Das Programm ruft also die Index deiner Domain auf und sucht auf dieser dann nach Links. Die werden dann alle in einer Datenbank gespeichert. Der Crawler ruft dann die z.B. die erste URL in der Datenbank auf und macht dann das gleiche wie auf der Index Seite. So läuft das dann fort bis keine neuen URLs mehr gefunden werden oder du den Prozess abbrichst. Dann kannst du dann auf Knopfdruck eine XML Datei erzeugen, die alle gefunden URLs enthält (plus noch andere Informationen). Diese lädst du hoch und kannst die dann bei Google (https://www.google.com/webmasters/sitemaps) einreichen. Der Googlebot hat es dann ein wenig leichter die Seite zu indexieren.

Natürlich kann das ganze mit der Indexierung Zufall gewesen sein, aber wer weiß

Danke aber das du mich auf den Fehler mit dem www hingewiesen hast, hab ich gleich korrigiert.

Mit den Backlinks ist das leider so eine Sache. Ich hab einige kleine Linktrades und noch relativ viele Einträge in Webkataloge gemacht (was im Nachhinein ein Fehler war ), leider sind die Links noch nicht indexiert wie es mir scheint, im Gegensatz z.B. zu MSN, wo ich schon einige BLs habe.

Ob meine Seite sich von anderen Affilinator Seiten unterscheidet kann ich leider nicht sagen. Ich habe ein eigenes Design und auch ein wenig eigenen Content....

Viele Grüße
Hanno

[Carsten S]

Sag mal, wie lange hat das denn gedauert, bis das Programm fertig war? Ich wollte es aus Neugier mal testen. Es läuft jetzt seit ein paar Stunden nebenher und hat bis jetzt 4.800 URLs gelistet. Wenn ich daran denke, dass es ja zu jeder Produktseite eine URL gibt und wir damit so im Bereich 4.000.000 sind will ich gar nicht erst hochrechnen, wann es fertig ist.

[FrankW]

Wasläuft nebenher ?
Und meinst du mit "wie lange" hat es gedauert, gedauert das Skript zu schreiben ?
So wie du es jetzt siehst 1 1/2 Jahe mit pausen, Klärungen und Bugfixes bei affilinet usw.

Gruß
Frank

[Carsten S]

Demnächst quote ich, war wohl etwas missverständlich. Meine Frage bezog sich auf das Programm, das Hanno vorgeschlagen hatte, nicht auf den Affilinator. Ich wollte wissen wie lange es bei ihm gedauert hat bis die Sitemap fertig war. Dass euer Skript nicht nebenbei erstellt wurde ist mir klar

[FrankW]

Hm, was soll die Sitemap bringen ?

Überlegt doch mal, wenn Google auf der Durchschnittsaffilinatorseite landet sieht der Bot sofort <>100 Links, was evtl. schon zu viel ist.
Jedem Link dem er folgt folgen 50 weitere, was soll die Sitemap da verbessern ?

Gruß
Frank

[HannoM]

@Frank:
Eine Sitemap ist in dem Fall keine HTML Seite sondern eine XML/CSV Datei. Schau dir einfach mal die Webmaster Tools bei Google an (bekommst auch noch einige ganz nette Feautures wenn du das nutzt!=

@Carsten:
Jup richtig schnell ist das Programm wirlich nicht. Bei mir ca. 1000 URLs/Stunde

[JürgenK]

Hi Folks!

Ich habe das Tool auch getestet.
Es ist in der Tat relativ langsam - hängt aber wohl auch von der Menge der angebotenen (zu indizierenden) Produkte ab.
Weil es so langsam lief, ließ ich es unbeobachtet zwei Tage laufen. Dachte, es wäre problemlos mögich, da ich beruflich unterwegs war. Wollte halt die Zeit nutzen.
Als ich zurückkam, war die Site scheinbar immer noch nicht komplett indiziert.
Dazu lief die Affilinator-Site recht störrisch: es waren keine Dateimanagerfunktionen mehr möglich.

Was Wunder: der Cache war komplett voll - das Proggy hatte das Festplattenvolumen des Accounts auf dem Webserver gesprengt!
Erst nach Löschung des Caches lief der Affilinator wieder ordnungsgemäß. Seitdem lass ich die Finger von diesem Proggy.

Schönen Gruß

[FrankW]

Hm, was die Google Sitemap ist, ist mir klar, vielleicht unterschätze ich das ja

Mit welchem Programm erstellt ihr die noch mal ???
Ich hab da nämlich ein e ganz andere Idee, denn wenn das von euch besprochene Programm die URLs durchklickt, wären das evtl. j asauch erste Klicks für Adsense udn Relevance Ads und deren Bot kommt schneller um die Seite einzuordnen ?

Welches Programm ?

Ansonsten NIE den Cache vergessen ?

Wenn ihr euch selbst 24000 Hits am Tag reinhaut ist das schon ne ganze Masse - netter Servertest im Übrigen

Vielleicht sollten wir das in die QUELLE Edition einbauen, um auch mal neue Hosts ratz fatz testen zu können.

Gruß
Frank