Crawler

KompenaBot

Fandt du denne side via dine serverlogs, så er her hele historien: hvad der hentede dit site, hvorfor, og hvordan du stopper det.

Det du så i loggen

KompenaBot/1.0 (+https://kompena.dk/bot)

Det er den eneste user-agent, vi sender. Hver eneste forespørgsel fra os bærer den, og den linker herhen med vilje.

Hvorfor den kom forbi

Nogen bad om en analyse af et website, og så gik vi ud og kiggede på det. Som regel er den nogen sitets egen ejer, der kører vores gratis analyse på sit eget domæne.

Det andet tilfælde er konkurrentbillede: en kundes rapport kan sammenligne deres site med en navngiven konkurrent i deres branche. Er det dig, blev dine offentlige sider læst på samme måde, som enhver besøgende læser dem, og der gemmes intet om dit site ud over det, rapporten viser kunden.

Hvad den hentede

En håndfuld sider, én gang, i ét kort besøg. Forsiden og nogle få sider linket derfra. Vi læser den HTML, en browser ville vise: overskrifter, links, knapper, strukturerede data og den tekst, en besøgende ser.

  • Ingen formularer sendes, og der købes, bookes eller tilmeldes ingenting.
  • Intet bag et login røres. Vi har ingen adgangskoder til dit site.
  • Ingen sårbarhedsscanning, ingen søgen efter admin-stier, ingen brute force.
  • Det er ikke en løbende crawl. Den kører, når en analyse kører.

Sådan blokerer du den

Læg det her i din robots.txt, så stopper vi, før vi går i gang. Vi tjekker den ved hvert besøg.

User-agent: KompenaBot
Disallow: /

Grænsen, sagt ligeud

Vi adlyder et Disallow på roden stilet til KompenaBot eller til alle agenter. Vi læser i dag ikke regler pr. sti, fordi en analyse kun læser nogle få sider fra et site, nogen har bedt os kigge på. Har du brug for finere styring end til og fra, så skriv til os og sig det.

Spørg om hvad som helst

Der sidder et menneske og svarer. Har vores crawler givet dig et problem, vil vi hellere høre det end lade være.

hello@kompena.com

Og er du nysgerrig efter, hvad det skulle bruges til

Kompena giver en virksomheds markedsføring en score og fortæller, hvad der skal rettes først. Analysen, der besøgte dig, er gratis og offentlig.

Se hvad den producerer →