3人贊同了該回答
? 你可以在 robots 添加一條記錄禁止搜索爬蟲(chóng)抓取,但是他們會(huì)不會(huì)遵守呢?你懂得,這段時(shí)間360和百度炒翻天就是這個(gè)東東鬧的
要不然你自家識(shí)別搜索爬蟲(chóng)的ip,然后進(jìn)行301跳轉(zhuǎn),不讓他們?cè)L問(wèn)
發(fā)布于2023-05-06
很可惜 T 。T 您現(xiàn)在還不是作者身份,不能自主發(fā)稿哦~
如有投稿需求,請(qǐng)把文章發(fā)送到郵箱tougao@appcpx.com,一經(jīng)錄用會(huì)有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒?qǐng)聯(lián)系:鳥(niǎo)哥筆記小羽毛(ngbjxym)