欧美无砖专区一中文字在线观看_熟女丝袜脚交国产_中文字幕AV毛片在线观看_91婷婷精选国产色_就去吻亚洲精品欧美日韩在线_刺激妇乱子伦交换_69堂久久精品正在播放_青青草原网站91_亚洲欧洲免费黄色视频_亚州免费中文写幕AV一区

1、蜘蛛一直抓取的URL，是否有通道，如果有通道，這就是URL規(guī)劃存在問(wèn)題；

2、如果這個(gè)URL，是不存在URL，那么勢(shì)必是需要返回碼變404，做死鏈接提交刪除，返回碼404，后期蜘蛛也不會(huì)再抓??；

3、Robots封禁，只能是用robots文件，再網(wǎng)頁(yè)里面寫(xiě)的代碼不管用，用robots，你封禁那個(gè)頁(yè)面，寫(xiě)好就行，能測(cè)試是否已封禁，如果害怕誤封禁某個(gè)頁(yè)面，可以在站長(zhǎng)平臺(tái)robots哪里進(jìn)行測(cè)試，隨時(shí)可調(diào)整；

4、屏蔽admin，，這種無(wú)影響；

5、首先要確保前端沒(méi)有給蜘蛛留不想被抓取爬行的頁(yè)面URL通道，其次robots問(wèn)題，可操作后去檢測(cè)下。