xmlhttp der Alleskönner - Automatisiertes Anmelden bei Suchmaschinen

Wie immer haben wir das Problem unsere Seiten bei Suchmaschinen anzumelden. Nicht wegen der Metagtags, sondern weil unsere Seiten aus der Datenbank generiert werden.

Also "Was tun?" sprach der Webmaster zu den Entwicklern.

Die einhellige Antwort der XML Gläubigen antwortete XMLHTTP. Bereits in einigen anderen Artikeln habe wir das Thema dieses Alleskönners angesprochen.

Das Problem war jeden Artikel (und das heißt über 500) anzumelden. Die Lösung: xmlhttp!
Vorraussetzung ist, dass man der Suchamschine URLS als Anmeldung übergeben kann. Wie z.B:

www.devtrain.de/news.asp?artnr=12

http://www.suchmaschine.de/addurl?q=www.devtrain.de%2Fnews.asp%3Fartnr%3D12'" & i & " '&dq=Artikel+XML+asp+xsl+asp+sql

Wobei q für die URL steht und dq für einen Kommentar.

Achtung Falle: Zwei Fragezeichen in der URL machen sich nicht so besonders: daher am besten vorher die Suchamschine testen. Hier in unserem Beispiel haben wir das "/" mit "%2" das "?" mit "%3F" und das "= " mit %3D ersetzten müssen.
Sofern man diese URL aufruft ist man auch schon registriert. Nun das ganze noch automatisiert.

<%
Dim objXMLHTTP, strReturn
for i = 1 to 580 'Hier kann man auch noch die Datenbank bemühen
Set objXMLHTTP= Server.CreateObject("MSXML2.ServerXMLHTTP")<BR> objXMLHTTP.Open"GET","http://www.suchmaschione.de/addurl?q=www.devtrain.de/news.asp?artnr='" & i & " '&dq=Artikel+XML+asp+xsl+asp+sql", False
objXMLHTTP.Send "test"
Set objXMLHTTP = Nothing
next
%>

Via der Methode "GET", die der Suchmaschine den String in der URL übergibt, (dazu auch unter Dokumentenverweise bitte nachlesen) und einer Schleife senden wir die URLs an die Suchmaschine und warten auf die Antworten. Da dies sehr lange dauern kann bietet es sich natürlich an das Skript Timeout hoch anzusetzten.

Daher noch folgende Zeile einbauen:

<%Server.ScriptTimeout=5000%>

So das sollte es schon gewesen sein. Oder vielleicht doch nicht?! Haben sie auch einen Proxy Server. Dann vergessen sie nicht die Proxyeinstellungen für den Parser (unbedingt 3.0 oder höher) anzupassen. Dazu gibts einen Kommandozeilentool, das diese Aufgabe übernimmt. (Nachzulesen unter Dokumentenverweise).

So nun sollte es funktionieren!