有些變態
應該是這麼個思路 最起碼應該有這麼個情況
如果你是視頻站
他會抓取你flv和mp4資源文件 用於判斷視頻文件的指紋信息
理論上應該是作為內容重複的判斷依據
如果你考慮帶寬問題 屏蔽了這種格式
你的頁面內容會被抓取 但是不會短期釋放在搜索結果裡
你抓了10M帶寬還不屏蔽你 玩個毛……
有些變態
應該是這麼個思路 最起碼應該有這麼個情況
如果你是視頻站
他會抓取你flv和mp4資源文件 用於判斷視頻文件的指紋信息
理論上應該是作為內容重複的判斷依據
如果你考慮帶寬問題 屏蔽了這種格式
你的頁面內容會被抓取 但是不會短期釋放在搜索結果裡
你抓了10M帶寬還不屏蔽你 玩個毛……