Referrer stats bij een .tk domein

Veel bezitters van een gratis DotTK (.tk) domein zijn vertwijfeld over een probleem met de referrers in hun favoriete teller. Ze zien namelijk in de referrer-lijst niet de pagina's waarop naar hun website gelinkt wordt, maar ze zien alleen het .tk adres vermeld. Wat is hier aan de hand, en wat kun je er aan doen?

Voordat we technisch gaan worden, wil ik proberen het probleem uit te leggen aan de hand van twee simpele voorbeelden. Als je dit te simpel vindt, skip dan meteen door naar het gedeelte over "de techniek".

Stel ik ben het nieuws aan het lezen op nu.nl, en ik zie een link naar de website van Piet in een artikel over bijvoorbeeld weblogs. Als ik klik op die link, dan kom ik uiteraard terecht op de schitterende homepage van Piet. Piet is een slimme webmaster en heeft met behulp van tellertest.com een gratis tellertje gekozen, dat precies bij hem past, de teller op zijn website gezet, en hij kan nu zien dat er een bezoeker is geweest die op zijn homepage terecht is gekomen via nu.nl. De referrer is in dit geval nu.nl. Piet kijkt natuurlijk snel op nu.nl wat er over zijn website wordt geschreven en is blij met deze publiciteit (en met zijn tellertje).

Jan heeft ook een mooie website, maar er is niemand die naar hem linkt. Nu heeft hij begrepen dat dit komt omdat hij een homepage bij een Provider heeft, en de link naar zijn website is home.Provider.nl/~jan.met.de.korte.achternaam. Hij moet een eigen domein hebben om een grotere kans te hebben te worden gelinkt. Een hobby kost geld, maar waarom betalen voor een domein als je gratis jan.tk kunt registreren? En kijk: het helpt, want de bezoekersaantallen die de teller weergeeft nemen toe. Jan gaat snel bij de referrers kijken wie er naar zijn website linkt, en ziet dan slechts een referrer: jan.tk. En weet dus niet welke websites een link naar zijn homepage hebben opgenomen.

De techniek

De gratis DotTK domeinen zijn zogenaamde redirect-domeinen. Bij een "normaal" domein wordt in DNS geregistreerd welk IP-adres hoort bij de domeinnaam. Als je een webpagina opvraagt, dan wordt achter de schermen de domeinnaam vertaald naar het IP-adres en komt je browser rechtstreeks bij de webpagina uit. Bij een redirect-domein is er een tussenstap: DNS geeft het IP-adres van een server (van DotTK in ons geval) en die server stuurt je browser door naar de webpagina die je wilt zien. DotTK doet dit op deze manier omdat ze dan eventueel nog reclameboodschappen kunnen tonen.

Door het redirecten van de websurfer is er echter een probleem: de referrer wordt de server van DotTK en de oorspronkelijke referrer gaat verloren. Daarom zien we op de statistiekenpagina van onze teller ons eigen .tk domein als belangrijkste of enige referrer.

Bezitters van een .tk domein willen dus eigenlijk dat de teller een extra stap terug doet bij het tonen van de referrer. Dus die teller moet niet tonen waar de bezoeker vandaan komt, want dat is de server van DotTK, maar waar hij werkelijk op de link naar het .tk domein heeft geklikt. Kan dat? Het antwoord is enigszins teleurstellend, want negatief: geen enkele teller kan dit probleem op een adequate manier oplossen.

Het probleem zit 'm in HTTP, Hypertext Transfer Protocol. HTTP is het protocol dat regelt dat clients (webbrowsers) content kunnen ophalen van servers. Het meeste verkeer gaat dus van de server naar de client, namelijk de inhoud van de webpagina's, maar ook de client geeft informatie door aan de server, waaronder de referrer. Dit staat precies gespecificeerd in Request for Comments (RFC) 2616 voor HTTP v1.1. RFC's zijn zeg maar de standaarden voor Internet en om alles soepel te laten verlopen moeten zowel clients als servers zoveel mogelijk aan de RFC standaarden voldoen. RFC 2616 laat maar één referrer toe, en dat moet het adres zijn van de bron waar de link was verkregen. In ons .tk voorbeeld is dat dus de server van DotTK.

Voor de echte die-hards is hier de voor dit artikel relevante opdrachtregel, die de browser naar de server zal sturen als er geklikt wordt op een link naar tellertest.com vanuit een artikel op nu.nl:

    GET / HTTP/1.1
    host: tellertest.com
    Referer: http://nu.nl/news.jsp?n=316047&c=50

(dit kun je ook handmatig doen vanuit een telnet sessie op poort 80 van een willekeurige webserver. Zet dan wel local echo aan, anders zie je niet wat je intypt, en na de laatste http opdrachtregel moet je 2 maal op Enter drukken. Als je server logs hebt voor je website, en je gebruikt die in plaats van tellertest.com in het voorbeeld, dan kun je de referrer, die je op deze wijze invoert, terug zien in de logfile)

De teller-leveranciers kunnen er dus niets aan doen dat je met een .tk domein geen goede referrer-statistieken krijgt, dat komt door het HTTP-protocol dat slechts de laatste referrer ondersteunt. Maar waarom eigenlijk? Zou het misschien nuttig zijn, het HTTP-protocol zo uit te breiden dat een reeks van referrers wordt meegestuurd door de client, zodat de webmaster een compleet beeld krijgt van alle webpagina's die een bezoeker geklikt heeft om op zijn website te komen? Dat zou natuurlijk de privacy van de websurfer ernstig aantasten, en lijkt me niet zo'n goed idee.

Een andere oplossing zou zijn, dat een slimme browser bij het redirecten de oorspronkelijke referrer-url doorgeeft in plaats van de url van de redirect-server. Dit zal niet zo gemakkelijk zijn, want de browser moet dan wel kunnen achterhalen dat het om een redirect gaat in plaats van een link die is aangeklikt door de gebruiker. Als Microsoft dit in Internet Explorer weet in te bouwen, dan zijn de .tk-domein gebruikers van het probleem af. Al met al is het niet erg waarschijnlijk dat dit gebeuren zal.

Een goede oplossing zou zijn als DotTK toestaat dat je de redirect-pagina op hun server aanpast en daarin je teller-code plaatst. Dit is echter niet mogelijk bij de gratis .tk domeinen, alhoewel sommige andere redirect-domein leveranciers dit wel zouden toestaan. Helaas zit er dus niets anders op dan deze restrictie van je .tk-domein te accepteren, je weet nu tenminste wel wat er precies aan de hand is.