Blokace BOTů ze strany poskytovatelů hostingu

Minulý měsíc jsem na webu Wladass.cz psal o Ahrefs Webmaster Tools a postupem času se začaly objevovat komentáře (nejen na blogu), že některé hostingovky blokují BOTy, které nástroj využívá a zabraňují tak použití těchto nástrojů. Řekl jsem si, že už jsem dlouho netestoval hostingovky a tak se zeptám.

Oslovil jsem 20 společností s dotazem, zda tohoto BOTa a ostatní BOTy blokují a nebo, jak se k tomuto problému staví. Výstupem jsou data, které bych Vám rád přednesl na tomto webu, neboť tento portál je primárně určen hostingům.

Aktualizováno 24.10.2020

Co je to BOT?

Internetový bot (zkrácenina slova robot) je počítačový program, který pro svého majitele opakovaně vykonává nějakou rutinní činnost na internetu – obvykle sbírá data, odesílá a zpracovává požadavky na služby vzdálených serverů.

Zdroj: Wikipedia.org

V podstatě se jedná o program (v případě Ahrefs), který načítá stránky na základě nějakého klíče a tyto data uchovává a zpracovává – v tomto případě můžeme takového BOTa nazvat crawlerem. Stejné postupy využívají i jiné programy a třeba i vyhledávače, jako je Seznam či Google. Blokování těchto potřebných robotů může způsobit špatnou indexaci webu či použití různých analytických nástrojů.

Jedná se pouze o Ahrefs BOTa?

Ne. Řada hostingových společností blokují i BOTy od Majestic, Semrush a již zmíněněného Ahrefs BOTa.

Odpovědi jednotlivých společností

pozn: Jedná se o abecední seznam a ne o řazení dle nějakých výsledků.

Active24

Web Active24 | Slevové kupóny na hosting | Recenze Active24

Dobrý den,

máme cms ochranu proti robotickým útokům (FAQ). Tu je možné vypnout u virtuálního serveru a poté by nemělo dojít k blokaci daných modulů. Samozřejmě také hlídáme, zda servery nejsou přetěžované a případně o tom informuje zákazníka a blokujeme dané IP adresy a snažíme se hlídat aby k přetěžování nedošlo.

Doplnění:

Dobrý den,

ano, u sdíleného hostingu jde také vypnout CMS ochrana. Vypíná se pouze ale pro konkrétní virtuální server.

Doplnění:

Dobrý den,

defaultne je ta ochrana zapnuta, ale na pozadani je mozne ji kdykoliv vypnout. Staci o to pozadat skrze autorizovany pozadavek z vaseho uctu viz. FAQ

Takže u Active24 máte smůlu a musíte požádat o vypnutí v případě virtuálního serveru je to snadné, ale v případě sdíleného webhostingu Vám vypnutí ochrany musí schválit.

Blueboard

Web Blueboard | Slevové kupóny na hosting | Recenze Blueboard

Dobrý den pane Pilný,

snažíme se v tomto ohledu naše klienty nijak neomezovat. Určité filtrování však integrované máme. Je to především z důvodu ochrany serverů před přetěžováním při masívním skenování boty a často se také za určité identifikátory schovávají různé scannery hledající bezpečnostní díry ve webech uživatelů. Vámi zmiňované nijak neblokujeme.
Největším problémem letos byly čínské boty umístěné na Huawei cloudu, které jsme byli nuceni začít blokovat, abychom klientům ochránili jejich weby před přetěžováním.

A někdy jde o obecný problém na který jsme nuceni reagovat: 
Další informace například zde: https://www.hypernode.com/blog/performance/huawei-aspiegelbot-is-increasingly-impacting-european-online-stores

„Vámi zmiňované nijak neblokujeme“ hovoří za vše a u Blueboard máte zelenou.

Czechia.com

Web Czechia | Slevové kupóny na hosting | Recenze Czechia

Dobrý den,

děkuji za Váš dotaz.

Požádal jsem o vyjádření naše administrátory a všichni se shodují na tom, že aktivně žádné BOTy neblokujeme a řešíme až případné problémy, kdy dochází k přetížení serveru. V takovém případě dočasně zablokujeme příslušného BOTa a informujeme o vzniklém problému konkretního zákazníka.

Zároveň tímto uděluji souhlas ke zveřejnění odpovědi.

Ani u Czechia.com nebudete mít problém s používáním těchto nástrojů.

Český hosting

Web Český hosting | Slevové kupóny Český hosting | Recenze Český hosting

Vážený pane Pilný,

děkujeme za Váš dotaz.

Žádnou plošnou blokaci robotů na našem hostingu neprovádíme. Automaticky a dynamicky v čase ale sledujeme a blokujeme aktivitu škodlivých robotů, typicky útoky hrubou silou na přihlašovací stránky do administrací vybraných systémů, nejčastěji WordPressu. Jako základní nástroj pro to využíváme aplikační firewall mod_security2 webserveru Apache s vlastními pravidly. Sesbírané IP adresy, ze kterých přichází velké množství takových útočných přístupů, pak dočasně blokujeme na všech serverech jejich systémovým firewallem.

Co se týče zmíněných indexovacích robotů, k jejich blokaci přistupujeme ve výjimečných případech ručně, a to pouze v situacích, kdy jejich přístupy vedou k přetížení konkrétního serveru nebo služby na něm. Blokaci pak provádíme na úrovni jednotlivých (sub)domén, případně dotčeného serveru, tedy opět ne úplně všude plošně. O blokaci navíc vždy informujeme dotčeného klienta, ten se tudíž může rozhodnout, zda chce blokaci zachovat nebo zrušit s tím, že provede takové úpravy cílové aplikace, aby k dalšímu přetěžování již nemohlo dojít.

A ano, naši odpověď citovat můžete. Pokud byste ještě potřeboval nějaké doplňující informace, neváhejte se ozvat.

U Českého hostingu to rovněž vypadá, že vše bude fungovat v pořádku.

Ebola.cz

Web Ebola.cz | Slevové kupóny Ebola.cz | Recenze Ebola.cz

Dobrý den,
na serverech máme ochrany proti útokům a v případě zjištění problému může být posouzena IP adresa jako útočná a může být dočasně nebo trvale blokována. Na tomto seznamu blokovaných IP adres se mohou vyskytnout i IP adresy zmíněných botů.

S citací na stránce souhlasíme.

V případě dalších dotazů, podnětů či připomínek k poskytovaným službám jsme Vám nadále k dispozici.

Odpověděl jsem:

Dobrý den,
takže nemáte seznam BOTů, které blokujete? Protože mi nezávisle 2 lidé psali, že se Ahrefs BOT u Vás blokuje, tak zřejmě jeho IP adresa byla vyhodnocena takovým způsobem, že je blokována.

Přišla odpověď:

Dobrý den,
ano, je to možné pro daný server.

Takže u Eboly je dost možné, že narazíte na blokaci těchto BOTů. Souhrnný seznam toho, co blokují nemají, takže buď vám to půjde a nebo ne..

Exon.io

Web Exon.io | Slevové kupóny Exon.io | Recenze Exon.io

Dobrý den,

Na straně hostingu neblokujeme žádné boty.
Jediné limity jsou na počet spojení z jedné IP.

U Exon.io Vám tyto nástroje budou fungovat bez problémů.

Forpsi

Web Forpsi | Slevové kupóny na hosting | Recenze Forpsi

Odpověď přišla 26.10.2020 15:58

Dobrý den pane Pilný
omlouvám se za pozdní odpověd.
U nás ve výchozím stavu neblokujeme vyhledávací engine. Samozřejmě se sledují stavy serverů a někdy se prostě stane, že nadměrné/navýšené přístupy mohou servery zatěžovat. Pak se prostě k dočasnému blokování musí přistoupit.

Gigaserver

Web Gigaserver | Slevové kupóny Gigaserver | Recenze Gigaserver

Odpověď přišla až 5.11.2020

Ahoj,

promiň za odezvu. Ne vždy toto omezujeme – je to per server/doména nastaveno různě, třeba i z historických důvodů. Pár pravidel máme, a pokud s tím někdo má problém tak to řešíme individuálně. Bohužel jsme zaznamenali, že často tito boti opravdu značně masivně přístupují na weby. A nemusí nutně být zrovna jeden, ale i více na stejném serveru a pak to dělá neplechu při trafficu který vytvářejí.

G-hosting/station.cz

Web G-hosting | Slevové kupóny na hosting | Recenze G-hosting

Dobrý den,
žádné robotické přístupy neblokujeme, kromě pokusů o zneužití přihlášení nebo nadměrného množství.

S pozdravem a přáním hezkého dne,
G-Hosting

U G-hostingu a Station.cz nedochází k blokaci těchto BOTů.

Ignum

Web Ignum | Slevové kupóny na hosting| Recenze Ignum

Dobrý den,

BOTy neblokujeme záměrně. Vzhledem k naší škálovatelné infrastruktuře se jen ojediněle setkáváme s tím, že by BOTi velkých vyhledávačů a dalších nástrojů přetěžovali naše služby.

Ano, souhlasím s citací ve Vašem článku.

Přeji pěkný den

U Ignumu nedochází k blokaci těchto BOTů.

MyDreams

Web MyDreams | Slevové kupóny MyDreams | Recenze MyDreams

Každá společnost by měla mít svůj business plán, plán návratnosti investic, plán krizového řízení a další plány firmy, a v těchto plánech se počítá s cenou za jeden běžný webhosting staženou na HW výbavu serveru/cloudu, obecně architektury řešení. Cena nákladu na webhosting se pak zvyšuje, pokud je vyvíjena větší zátěž na jednotlivé weby i na jednotlivé servery. Boti jsou smutným příkladem problému, který zvyšuje cenu nákladu na jeden webhosting.
Cílem každého webhostera na světě je tvořit zisk, to znamená co nejefektivněji využít každý server, a zároveň zákazníkům garantovat bezpečnost a vysokou kvalitu a rychlost načítání webu. Boti při hromadném procházení webů zapříčiňují zvýšenou zátěž na CPU, RAM a IOPS, proto webhosteři musí zachovat dostatečné rezervy serveru, aby se weby zákazníku stále rychle načítaly. Pokud webhosteři opravdu vyčlení rezervu na serveru, znamená to, že webhosteři nemohou plně vytížit své servery a tím se zvyšuje cena na jeden webhosting a prodlužuje návratnost investic do HW. Řešení jsou dvě. Výrazně zdražit a stát se nekonkurence schopný nebo vymyslet systém a pravidla na nejlepší způsob procházení botů i za cenu jejich blokace.
V MyDreams stále vylepšujeme systém vhodného procházení dobrých botu a naši klienti jsou šťastný.

Onebit

Web Onebit | Slevové kupóny na hosting | Recenze Onebit

Dobrý den, pane Pilný,

děkuji za kontaktování podpory. Našim cílem je zajistit plynulý provoz prezentací zákazníků s co nejmenším zásahem z naší strany. Proto obecně neblokujeme žádné BOTy, jen ty některé velmi agresivní omezujeme v počtu hitů za určitý čas (rate limit).

Momentálně se jedná především o:

ahrefsbot
semrushbot
mj12bot

Seznam se může v čase změnit, v závislosti na chování konkrétního BOTa.

Odpověď s odkazem na nás citovat můžete. V případě dalších dotazů se neváhejte ptát. Jsem tu pro Vás.

U Onebit tedy dochází k blokací těchto BOTů, ale jen co se četnosti requestů týče. Jaký vliv to může mít na daný nástroj toť otázkou..

Savana

Web Savana | Slevové kupóny Savana | Recenze Savana

Dobrý den, 

z naší strany nejsou roboti nijak omezovány. Obecně je typ chování a chtěnost přístupů ze strany určitých robotů plně v rukou autora / správce webové prezentace. 

V případě, že detekujeme větší přístupy které vyústí v nadměrnou zátěž u konkrétní webové prezentace / služby tak uživatele informujeme, ale i v této fázi se musí rozhodnout jak moc přísně zareaguje ze své strany. 
My mu pouze poskytneme podklady aby viděl kolik, jací roboti přistupují a jak se lze bránit.


V případě jakýchkoli dotazů či nejasností, nás neváhejte kdykoli kontaktovat. Rádi Vám vše vysvětlíme.

S přáním hezkého dne

U Savany rovněž nedochází k blokaci těchto BOTů.

Stable.cz

Web Stable.cz | Slevové kupóny Stable.cz | Recenze Stable.cz

Dobrý den,
boty na serverech defaultně neblokujeme. K blokaci dochází buď na přání klienta nebo pokud, jak jste zmiňoval, nějaký bot z jakéhokoli důvodu konkrétní server přetěžuje.

U Stable vše v pořádku a k blokování BOTů nedochází.

Svethostingu.cz

Web Svethostingu.cz | Slevové kupóny na hosting | Recenze Svethostingu.cz

Dobry den,
ano, nektere typy robotu blokujeme. Mezi blokovane patri:
AhrefsBot
SemrushBot
spbot
ezooms
mj12bot

Blokace je provadena primo na sitove urovni, takze neni zatez na hosting klienta prenasena. Pokud klient danou blokaci nechce, pak mame vyhrazenou IP adresu, kde blokace neni a roboti se na stranky dostanou (u stranek staci zmenit IP adresu).

Duvodem blokace je primarne ochrana proti pretezovani stranek, ktere je nejmarkantnejsi u mj12bot.

V pripade jakychkoliv dalsich dotazu nas nevahejte kontaktovat.

Světhostingu tedy blokaci provádí. Pro odblokování lze požádat o vyhrazenou IP a tím se blokaci vyhnout.

TELE3

Web TELE3 | Slevové kupóny TELE3 | Recenze TELE3

Váš hosting

Web Váš hosting | Slevové kupóny Váš hosting | Recenze Váš hosting

Zdravím Vláďo,
u nás boty defaultně neblokujeme. Mohlo by to mít velmi negativní vliv na byznys klienta. Nemůžeme vědět jaký nástroj, služba, srovnávač nebo něco podobného může být klientovi prospěšná, žádoucí a tak. Automaticky blokujeme pomocí fail2ban – chybné pokusy o loginy.

Citovat samozřejmě můžete, jinak bych neodepisoval 🙂

Hezký den

U Váš hosting nedochází k blokaci těchto BOTů.

WEB4U

Web WEB4U | Slevové kupóny na hosting | Recenze WEB4U

Ani po 48 hodinách nepřišla žádná odpověď.
Odpověď přišla až 23.10.2020

Dobrý den, pane Pilný,

děkujeme za dotaz, odpověď citovat můžete.
K plošnému blokování konkrétních BOTů nedochází, infrastruktura je postavena tak, aby běžní BOTi provoz zákaznických prezentací neohrozili. Zákazník si si může případně blokaci nastavit sám nebo nás o ni požádat.
Blokujeme pouze IP rozsahy, ze kterých je prováděno tak agresivní skenovaní, že ohrožuje stabilitu serverů a dostupnost prezentací, k tomu ale dochází výjimečně a zcela jistě ne ze strany běžných BOTů.

Wedos

Web Wedos | Slevové kupóny Wedos | Recenze Wedos

Wedos se před časem vyjádřili na Twitteru, tak asi neměli potřebu to opakovat, takže přikládám Twitter konverzaci s původním příspěvkem.

Ani po 48 hodinách nepřišla žádná odpověď.

Odpověď dorazila 23.10.2020:

Zdravím,
blokujeme všechen škodlivý provoz, který by mohl jakkoliv negativně ovlivnit weby našich zákazníků. Co se týká robotů, tak s ochranami jsem udělali za poslední rok velký krok dopředu. Pokud výslovně nějaký robot nehledá zranitelnosti anebo jinak úmyslně neškodí, tak může narazit maximálně na limity procházení. Tyto limity mohou být pro různé servery odlišné a odrážet také aktuální vytížení jednotlivých serveru.

Samozřejmě bereme v potaz i důležitost vyhledávačů a roboti vyhledávačů mají o dost volnější limity a to i zahraniční. Roste nám počet zákazníků ze zahraničí a při filtrování jsme k tomuto museli přihlédnout.

Na základě Vašeho dotazu jsme provedli detailní analýzu přístupů robotů za posledních 7 dnů a připravili k tomu článek, kde najdete bližší technické detaily, grafy a seznam nejaktivnějších robotů včetně přístupů. Počet blokovaných přenosů přesáhl 60 % aneb jak jsme pokročili s ochranou vašich webů

WP Hosting

Web WP Hosting | Slevové kupóny WP Hosting | Recenze WP Hosting

Ahoj Vladimíre,

Blokaci robotů má možnost nastavovat uživatel.
Co se týče známých služeb např. externí monitoring či marketingové nástroje nastavujeme pro ně whitelisty na firewallu, pokud mají veřejné listy IP adres (např. uptimerobot, google crawler list si sestavujeme sami).
Pokud nám zákazník dodá list IP adres k méně známé službě, nastavujeme whitelisty i pro ně.

Roboti, které získávají informace z webových stránek našich zákazníků, nejsou účelně blokovány.
Naopak blokujeme útoky na uživatelské sekce, komentářový spam a roboty, které se snaží využít bezpečnostních slabin WordPressu (ať šablon či pluginu).
Aktivně též provádíme vynucené aktualizace zneužitelných částí WordPressu.

Bezproblémový chod WordPressu potřebuje mít možnost připojovat se na nejrůznější IP adresy třetích stran různých služeb (repozitáře pluginy a šablon, api platebních brán, zálohování do cloudu, online fakturační služby, atd.).

Na hostingu připravujeme mnoho změn, které bude mít uživatel více pod dohledem.
Co vše jsme si pro zákazníky připravili, prozradíme se spuštěním nových webových stránek.

Citace s odkazem povolena :). Pošli pak odkaz.

Díky za spolupráci.

U WP Hosting vám tyto nástroje budou rovněž fungovat bez problémů.

OpenServis.cz

Web OpenServis.cz | Slevové kupóny OpenServis.cz | Recenze OpenServis.cz

Dobrý den,

blokaci externích robotů provádíme systematicky, jelikož se jedná o rušivé elementy, které akorát vytěžují zákaznické hostingy i server jako takový a nemají žádný přínos pro naše zákazníky, ani zákazníky našich zákazníků, ani nikoho jiného.

Blokace takového provozu je naprosto žádoucí, jelikož zbytečně vytěžuje servery trafficem, který nikoho nezajímá a nic dobrého nepřináší. Cca 60% trafficu na všech našich serverech tvoří právě tento nežádoucí provoz, který je filtrován.

Samozřejmě máme interní whitelist robotů, kteří jsou regulerní, aby nedošlo k odfiltrování důležitých botů jako je například Google, Seznam a další.

Souhrnná tabulka

SpolečnostBlokují BOTy
Active24ANO
BlueboardNE
Czechia.comNE
Český hostingNE
Ebola.czANO
Exon.ioNE
ForpsiNE
GigaserverNE
G-hosting/station.czNE
IgnumNE
MyDreamsČástečně
OnebitČástečně
SavanaNE
Stable.czNE
Svethostingu.czANO
TELE3Nevíme
Váš hostingNE
WEB4UNE
WedosANO
WP HostingNE
OpenServis.czNE

Samozřejmě plně chápu ty hostingy, které tyto BOTy, z důvodu agresivních přístupů na servery, blokují. Věřím, že většina z nich je schopna navrhnout nějaké řešení při žádosti nebo podnětu na technickou podporu o zrušení blokace.

Ty hostingové společnosti, které toto nedělají a dělat nebudou, nemohou být dle mého konkurence schopné. Ten, kdo to myslí s podnikáním na internetu vážně, tak určité analytické nástroje potřebuje a myslím si, že součástí každých takových nástrojů Ahrefs, nebo Semrush jsou.

Všem zúčastněným hostingovkám děkuji za odpovědi – přikládám odkaz a posílám klíčenku 🙂

Rate this post

Podobné příspěvky

3 Komentáře

  1. Je úplně šílené, že tak základní nástroj jako ahrefs ty webhostingy blokují a ani neumožní odblokování (dívám se na tebe wedosi). Pro mě nepochopitelné. No nic, jednodušší je změnit hosting než se s tímto smířit – co by jsi doporučil v ČR případně v zahraníčí?

  2. Díky, dobrá práce. Věřím ale, že se to bude postupně vyvíjet podle důležitosti AWT a taky jak rozumný bude jejich robot. Celkem mě nepřekvapuje opatrnost webhostingů.

  3. Ahrefs není základní nástroj. Tedy pro nás, marketéry, optimalizátory a další je, ale pro klienty a hostingy zdaleka není.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

Tato stránka používá Akismet k omezení spamu. Podívejte se, jak vaše data z komentářů zpracováváme..