A legfrissebb SEO hírekben jelentős változásokat tapasztalhatunk, különösen a webes crawlereket és azok működését illetően. A Cloudflare, a weboldalak védelmére és teljesítményének javítására specializálódott cég, bejelentette, hogy eltávolította a Perplexity nevű crawler-t a megbízható botok listájáról, és blokkolja annak minden rejtett botját is. Ez a döntés számos felhasználói panaszra reagálva született, amelyek a Perplexity által a robots.txt protokoll megsértéséről szóltak. Az ezt követő vizsgálat során kiderült, hogy a Perplexity agresszív, csalárd technikákat alkalmazott a weboldalakra való bejutás érdekében. A Cloudflare és a megbízható botok programja A Cloudflare által üzemeltetett Verified Bots program célja, hogy lehetőséget biztosítson a megbízható crawlerekkel való együttműködésre. Ezek a botok csak abban az esetben élvezhetik a…