筆者曾認(rèn)真研究和分析過(guò)產(chǎn)品從企業(yè)到消費(fèi)者手中的路徑，得出一個(gè)結(jié)論，消費(fèi)者向企業(yè)購(gòu)買產(chǎn)品共經(jīng)歷了以下四個(gè)步驟：找到你、了解你、滿意你、忠誠(chéng)你。企業(yè)在建立好網(wǎng)站之后，首先就是要讓客戶找到你。很顯然，要想讓客戶找到你，那么網(wǎng)站就必須被搜索引擎收錄，能在搜索引擎的搜索結(jié)果頁(yè)面上查找到。因此“網(wǎng)站收錄”是企業(yè)網(wǎng)站進(jìn)行網(wǎng)絡(luò)營(yíng)銷的當(dāng)務(wù)之急，如下圖所示：

 

產(chǎn)品從企業(yè)到消費(fèi)者手中共經(jīng)歷的四個(gè)步驟

不同的搜索引擎對(duì)網(wǎng)站收錄情況不一樣，但基本收錄功能是差不多的，下面以百度收錄為例介紹搜索引擎收錄網(wǎng)站的原理。

 

網(wǎng)絡(luò)蜘蛛的基本原理：

要想了解網(wǎng)站收錄，首先要了解網(wǎng)絡(luò)蜘蛛的基本工作原理。網(wǎng)絡(luò)蜘蛛又稱為網(wǎng)絡(luò)機(jī)器人，英文名字叫Web Spider，這是一個(gè)非常形象的名字，如果把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來(lái)爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛是通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)，從網(wǎng)站的某個(gè)頁(yè)面（通常是首頁(yè)）開始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中其他鏈接地址，然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，如此循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完。

 

筆者更愿意把網(wǎng)絡(luò)蜘蛛稱為抓取機(jī)器人，這是因?yàn)榫W(wǎng)絡(luò)蜘蛛在抓取所有的頁(yè)面文件之后，會(huì)把抓取到的文件存入數(shù)據(jù)庫(kù)，可以把這個(gè)數(shù)據(jù)庫(kù)比作為一個(gè)非常龐大的Excel表格，這個(gè)Excel表格的每一行就代表一個(gè)網(wǎng)頁(yè)，而網(wǎng)頁(yè)的文字則被分解到每個(gè)單元格里。

 

當(dāng)用戶在搜索引擎界面中輸入關(guān)鍵詞時(shí)，搜索引擎程序就會(huì)對(duì)撞索詞進(jìn)行處理，從搜索引擎數(shù)據(jù)庫(kù)找到所有包含搜索詞的頁(yè)面，并根據(jù)排名算法計(jì)算出各個(gè)網(wǎng)頁(yè)的排名。對(duì)于這個(gè)“搜索詞處理”的環(huán)節(jié)，就好像在一個(gè)龐大的虛擬的Excel表格進(jìn)行“條件篩選”的過(guò)程，當(dāng)然整個(gè)搜索引擎的過(guò)程比這復(fù)雜得多。

 

網(wǎng)絡(luò)蜘蛛在抓取網(wǎng)頁(yè)時(shí)，一般有兩種策略：廣度優(yōu)先和深度優(yōu)先，如下圖所示。

網(wǎng)絡(luò)蜘蛛抓取網(wǎng)頁(yè)策略

(1）廣度優(yōu)先

廣度優(yōu)先是指網(wǎng)絡(luò)蜘蛛會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)，然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè)，繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。這是最常用的方式，因?yàn)檫@個(gè)方法可以讓網(wǎng)絡(luò)蜘蛛并行處理，提高其抓取速度。

 

(2）深度優(yōu)先

深度優(yōu)先是指網(wǎng)絡(luò)蜘蛛會(huì)從起始頁(yè)開始，一個(gè)鏈接一個(gè)鏈接地跟蹤下去，處理完這條線路之后再轉(zhuǎn)人下一個(gè)起始頁(yè)，繼續(xù)跟蹤鏈接。這個(gè)方法有一個(gè)優(yōu)點(diǎn)就是網(wǎng)絡(luò)蜘蛛在抓取的時(shí)候比較容易。

每個(gè)網(wǎng)絡(luò)蜘蛛都有自己的名字，在抓取網(wǎng)頁(yè)時(shí)，都會(huì)向網(wǎng)站表明自己的身份。例如Google網(wǎng)絡(luò)蜘蛛稱為GoogleBot，百度網(wǎng)絡(luò)蜘蛛稱為BaiDuSpider，雅虎網(wǎng)絡(luò)蜘蛛稱為Inktomi Slurp等。

     本文鏈接：http://www.ufengcn.com/xinwenzhongxin/562.html