Perplexity: Miért blokkolta a Cloudflare a weboldalainkat?

A legfrissebb SEO hírekben jelentős változásokat tapasztalhatunk, különösen a webes crawlereket és azok működését illetően. A Cloudflare, a weboldalak védelmére és teljesítményének javítására specializálódott cég, bejelentette, hogy eltávolította a Perplexity nevű crawler-t a megbízható botok listájáról, és blokkolja annak minden rejtett botját is. Ez a döntés számos felhasználói panaszra reagálva született, amelyek a Perplexity által a robots.txt protokoll megsértéséről szóltak. Az ezt követő vizsgálat során kiderült, hogy a Perplexity agresszív, csalárd technikákat alkalmazott a weboldalakra való bejutás érdekében.

A Cloudflare és a megbízható botok programja

A Cloudflare által üzemeltetett Verified Bots program célja, hogy lehetőséget biztosítson a megbízható crawlerekkel való együttműködésre. Ezek a botok csak abban az esetben élvezhetik a kedvezményes hozzáférést a védett weboldalakhoz, ha betartják a robots.txt szabályait, amelyek meghatározzák, hogy a crawerek milyen tartalmakhoz férhetnek hozzá. A Perplexity azonban megszegte ezeket a követelményeket, amikor a vizsgálatok során kiderült, hogy nemcsak figyelmen kívül hagyta a robots.txt utasításait, hanem a címzett IP-címekkel is manipulált.

A Perplexity viselkedése

A Cloudflare megfigyelései alapján a Perplexity különböző, agresszív crawling technikákat alkalmazott, amelyek célja a robots.txt protokoll megkerülése volt. Az egyik ilyen módszer a dinamikusan váltogatott IP-címek használata, amely lehetővé tette számukra, hogy elkerüljék a blokkolást azáltal, hogy más ASNs (Autonomous System Numbers) IP-címeket használtak. Ezen kívül a Perplexity álcázta a crawlerét, például úgy, hogy a Chrome böngészőre jellemző user agent-et használt, így próbálta megmagyarázni a blokkolásokat. Ez a fajta „spoofing” gyakorlat azt mutatja, hogy a Perplexity nem tiszteli a weboldalak tulajdonosainak preferenciáit.

Mit jelent ez a SEO közösség számára?

A Cloudflare döntése, hogy eltávolítja a Perplexity-t a megbízható botok listájáról, komoly következményekkel járhat a SEO világában. Azok a weboldal-tulajdonosok, akik szeretnék, hogy a Perplexity crawljai hozzáférjenek az oldalaikhoz, most ellenőrizniük kell Cloudflare beállításaikat, hogy lehetővé tegyék a crawlinak a hozzáférést. A Perplexity által alkalmazott technikák nemcsak etikailag megkérdőjelezhetők, hanem a SEO szempontjából is problémásak, mivel a megbízható crawerek hiánya csökkentheti a weboldalak láthatóságát.

Császár Viktor véleménye a Perplexity ügyről

Megkérdeztük Császár Viktor SEO szakértőt, hogy mit gondol a Perplexity és a Cloudflare közötti konfliktusról. Viktor elmondta: „A Cloudflare lépései világosan mutatják, hogy az etikus crawling és a weboldalak védelme kiemelt fontosságú. A Perplexity által alkalmazott technikák nemcsak, hogy a webes közösség bizalmát rombolják, hanem a SEO stratégiák hatékonyságát is aláássák. Fontos, hogy a crawerek tiszteletben tartsák a weboldalak tulajdonosainak kéréseit, hiszen a keresőoptimalizálás egyik alappillére a bizalom és a transzparencia. A jövőben remélhetőleg több cég fogja követni a Cloudflare példáját, és a megbízhatóbb botok használatára fog törekedni.” További információkért látogasson el Császár Viktor weboldalára: csaszarviktor.hu.

Forrás: SearchEngineJournal.com