搜索引擎”蜘蛛”是一種智能機器人程序，是按照一定的規(guī)則，自行發(fā)出指令去搜集互聯(lián)網(wǎng)上的網(wǎng)頁信息。每個搜索引擎都會有一套蜘蛛程序系統(tǒng)，模擬人工訪問網(wǎng)站的方式，對網(wǎng)站進行評估和審核，如果…