網(wǎng)絡(luò)爬蟲（web crawler）的高層體系結(jié)構(gòu)如下：

　　一個(gè)爬蟲不能像上面所說的，僅僅只有一個(gè)好的抓取策略，還需要有一個(gè)高度優(yōu)化的結(jié)構(gòu)。

　　Shkapenyuk和Suel(Shkapenyuk和Suel，2002)指出：設(shè)計(jì)一個(gè)短時(shí)間內(nèi)，一秒下載幾個(gè)頁面的頗慢的爬蟲是一件很容易的事情，而要設(shè)計(jì)一個(gè)使用幾周可以下載百萬級(jí)頁面的高性能的爬蟲，將會(huì)在系統(tǒng)設(shè)計(jì)，I/O和網(wǎng)絡(luò)效率，健壯性和易用性方面遇到眾多挑戰(zhàn)。

　　網(wǎng)路爬蟲是搜索引擎的核心，他們算法和結(jié)構(gòu)上的細(xì)節(jié)被當(dāng)作商業(yè)機(jī)密。當(dāng)爬蟲的設(shè)計(jì)發(fā)布時(shí)，總會(huì)有一些為了阻止別人復(fù)制工作而缺失的細(xì)節(jié)。人們也開始關(guān)注主要用于阻止主要搜索引擎發(fā)布他們的排序算法的“搜索引擎垃圾郵件”。

　　2.1 URL一般化

　　爬蟲通常會(huì)執(zhí)行幾種類型的URL規(guī)范化來避免重復(fù)抓取某些資源。URL一般化也被稱為URL標(biāo)準(zhǔn)化，指的是修正URL并且使其前后一致的過程。這里有幾種一般化方法，包括轉(zhuǎn)化URL為小寫的，去除逗號(hào)(如‘.’ ‘..’等)，對(duì)非空的路徑，在末尾加反斜杠。