Často navštěvovaná neexistující URL ve statistikách - internetové priony

Priony jakožto samoreplikující se bílkoviny (které mohou být i toxické) jsou paralelou virů - s tím rozdílem, že vlastně ani nenesou jakoukoli abstraktní informaci - prostě jen "jsou" (jedna postava v posledním Gibsonově románu Pattern recognition se jmenuje Billy Prion - ale ted si nevybavuju, čím se vyznačuje...) Moje metafora s neexistujícími URL na čelných místech ve statistikách návštěvnosti sáhla po prionech - ale ve skutečnosti teda samozřejmě korektní by bylo označit "počítačové viry" spíše za "softwarové baktérie" - a v takovém případě má fenomén, který jsem "objevil" já, ke skutečným virům daleko blíže - a to sice tím, že nejde reálně o žádný "spustitelný" kód, ale pouze o parazitně existující adresu. Také bych to po sobě nejraději pojmenoval - co třeba "xChaosova URL" ... ne, to není ono, nazvěme to raději třeba "Polákův fenomén" :-) - ale obávám se, že tenhle fenomén už asi řadu názvů má - ať už je to Hlava XXII, Uroboros (had kousající se do vlastního ocasu), a nebo řada jiných.

Co se stane, když vaše webové stránky začne stahovat nějaký search engine, a nebo i třeba jenom hloupoučký mirorovací software (například wget s parametrem -r) ? Stáhnou se všechny stránky vašeho webu, na které odkazuje původní stránka.

Včetně stránky se statistikou nejnavštěvovanějších stránek, kterou generuje například webalizer, nebo jiný podobný software.

Robot se následně rekurzivně noří do dalších úrovní odkazů - včetně "nejnavštěvovanějších" odkazů, které jsou uvedené na stránce se statistikami.

Následně jsou statistiky vyhodnoceny - včetně (častých) dotazů na neexistující stránky, které byly uvedeny ve statistikách návštěvnosti.

To by samo o sobě nedostačovalo k vysvětlení, proč chybné odkazy přežívají. Aktivita normálních uživatelů, kteří klikají převážně na rozumnéa existující dotazy, by přeci měla postupně odsunout "rekurzivně" vyžadovaná chybná URL pod hranici sledovanou statistikami, ne ?

Skutečnost, že chybná URL ve statistikách přežívají, si vysvětluji tak, že různé Googleboty a ostatní zvěrstva se snaží častěji dotazovat na ta URL, na která sice na nějaké (často aktualizované - což statistiky návštěvnosti nepochybně jsou!) stránce nalezla odkaz - nicméně které v době prvního pokusu nebyly dostupné (což už tak neexistující URL většinou bývají).

Důsledkem je "zavirování" nebo chcete-li, "zaprionování" statistik neexistujícími URL - které ale v případě poměrně dlouhých neexistujících URL (jako jsou naše zkomolené dotazy na stránky s překódovanou češtinou) a jejich velkého množství můžou jednak docela vážně zatížit server, jednak generovat i docela značnou šířku pásma.

Důkazem, že nejde o zcela fiktivní problém, jsou myslím statistiky návštěvnosti firemních stránek Arachne Labs (jako příklad uvádím ty lednové - ale předesílám, že ). Ono by to bylo celkem zanedbatelné - kdyby robotů, které se snaží dělat stejnou věc jako Googlebot, ale přitom jsou ještě daleko hloupější, nebylo tak moc. To, jak moc těch robotů je, zase napovídá, jak moc si nejrůznější subjekty cení schopnosti, které všichni pozorujeme u Googlu - a jak moc by tuto schopnost chtěli získat, aniž by ale měli k dispozici programátory používající hlavu. No, jako jediné možné řešení mě napadá, že seznam nejnavštěvovanějích URL prostě na pár dní vypnu - čímž se chybná přestanou objevovat v každý den aktualizovaných stránách...

Co je obzvláštně znepokojivé je, že Googlebot (který je sám o sobě provozován jednou z nejvýkonějších serverových farem plně připojených k Internetu, které na téhle planetě lze najít) by asi ke "spamování" statistik generovaných webalizerem (nebo podobnými programy, které neověřují existenci URL) bylo možné "navést" podobným způsobem, jakým je možné naučit Google kdo nebo co je to "pazmrd" (ta finta je prostá: prostě potřebujete na dostatečném množství Googlem indexovaných stránek uvést odkaz ve tvaru <a href="http://tam-kam-chci.google.dostat">pazmrd</a>).

No, co zbývá dodat ... snad jen viroidní vtip, který mi přišel přes ICQ:

Jede webmaster vlakem, a slyší: <td></td>, <td></td> ...