柚子快報(bào)激活碼778899分享：深入淺析帶你理解網(wǎng)絡(luò)爬蟲(chóng)

http://yzkb.51969.com/

目錄

一.引言

二.網(wǎng)絡(luò)爬蟲(chóng)產(chǎn)生的背景

三.爬蟲(chóng)背后的相關(guān)技術(shù)和原理

1.插入U(xiǎn)RL的概念解析

2.常見(jiàn)的幾種URL格式

四.網(wǎng)絡(luò)爬蟲(chóng)的分類

1.通用網(wǎng)絡(luò)爬蟲(chóng)

2.聚焦網(wǎng)絡(luò)爬蟲(chóng)

3.增量式網(wǎng)絡(luò)爬蟲(chóng)

4.Deep Web爬蟲(chóng)

一.引言

網(wǎng)絡(luò)爬蟲(chóng)是一種自動(dòng)獲取網(wǎng)頁(yè)內(nèi)容的程序或技術(shù)。它就像一只“小蜘蛛”，在互聯(lián)網(wǎng)上爬行，抓取各種信息。 ? 想象一下，網(wǎng)絡(luò)就像一張大網(wǎng)，上面有無(wú)數(shù)的網(wǎng)頁(yè)，而爬蟲(chóng)就是在這張網(wǎng)上穿梭的“小蟲(chóng)子”。它可以根據(jù)預(yù)設(shè)的規(guī)則和目標(biāo)，自動(dòng)訪問(wèn)大量的網(wǎng)頁(yè)，并提取出有用的數(shù)據(jù)。 ? 爬蟲(chóng)的工作原理通常是通過(guò)發(fā)送請(qǐng)求給服務(wù)器，獲取網(wǎng)頁(yè)的源代碼，然后解析這些源代碼，找到需要的信息。這些信息可以是文本、圖片、鏈接、表格等等。爬蟲(chóng)可以將這些信息存儲(chǔ)下來(lái)，以便后續(xù)的分析和處理。 ? 網(wǎng)絡(luò)爬蟲(chóng)有很多用途。比如，搜索引擎需要使用爬蟲(chóng)來(lái)索引網(wǎng)頁(yè)，以便用戶可以搜索到相關(guān)的內(nèi)容。數(shù)據(jù)分析師可以使用爬蟲(chóng)來(lái)收集數(shù)據(jù)，進(jìn)行市場(chǎng)研究、競(jìng)品分析等

二.網(wǎng)絡(luò)爬蟲(chóng)產(chǎn)生的背景

隨著網(wǎng)絡(luò)的迅速發(fā)展，萬(wàn)維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。搜索引擎（Search Engine），例如傳統(tǒng)的通用搜索引擎AltaVista，Yahoo！和Google等，作為一個(gè)輔助人們檢索信息的工具成為用戶訪問(wèn)萬(wàn)維網(wǎng)的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：

（1）不同領(lǐng)域、不同背景的用戶往往具有不同的檢索目的和需求，通過(guò)搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁(yè)。（2）通用搜索引擎的目標(biāo)是盡可能大的網(wǎng)絡(luò)覆蓋率，有限的搜索引擎服務(wù)器資源與無(wú)限的網(wǎng)絡(luò)數(shù)據(jù)資源之間的矛盾將進(jìn)一步加深。（3）萬(wàn)維網(wǎng)數(shù)據(jù)形式的豐富和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，圖片、數(shù)據(jù)庫(kù)、音頻、視頻多媒體等不同數(shù)據(jù)大量出現(xiàn)，通用搜索引擎往往對(duì)這些信息含量密集且具有一定結(jié)構(gòu)的數(shù)據(jù)無(wú)能為力，不能很好地發(fā)現(xiàn)和獲取。（4）通用搜索引擎大多提供基于關(guān)鍵字的檢索，難以支持根據(jù)語(yǔ)義信息提出的查詢。

網(wǎng)絡(luò)爬蟲(chóng)

為了解決上述問(wèn)題，定向抓取相關(guān)網(wǎng)頁(yè)資源的聚焦爬蟲(chóng)應(yīng)運(yùn)而生。聚焦爬蟲(chóng)是一個(gè)自動(dòng)下載網(wǎng)頁(yè)的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問(wèn)萬(wàn)維網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所需要的信息。與通用爬蟲(chóng)（general purpose web crawler）不同，聚焦爬蟲(chóng)并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。

三.爬蟲(chóng)背后的相關(guān)技術(shù)和原理

網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。傳統(tǒng)爬蟲(chóng)從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲(chóng)的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL，并重復(fù)上述過(guò)程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。另外，所有被爬蟲(chóng)抓取的網(wǎng)頁(yè)將會(huì)被系統(tǒng)存儲(chǔ)，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢和檢索；對(duì)于聚焦爬蟲(chóng)來(lái)說(shuō)，這一過(guò)程所得到的分析結(jié)果還可能對(duì)以后的抓取過(guò)程給出反饋和指導(dǎo)。

（1）對(duì)抓取目標(biāo)的描述或定義；（2）對(duì)網(wǎng)頁(yè)或數(shù)據(jù)的分析與過(guò)濾；（3）對(duì)URL的搜索策略。

1.插入U(xiǎn)RL的概念解析

URL 是“Uniform Resource Locator”的縮寫(xiě)，中文叫“統(tǒng)一資源定位符”。它就像是互聯(lián)網(wǎng)世界的地址，用來(lái)定位和訪問(wèn)各種資源。

一個(gè) URL 通常由幾個(gè)部分組成，例如“https://www.example.com/page.html”。其中，“https”是協(xié)議部分，指定了使用的網(wǎng)絡(luò)協(xié)議（這里是 HTTPS，一種安全的 HTTP 協(xié)議）；“www.example.com”是域名，它對(duì)應(yīng)著互聯(lián)網(wǎng)上的一個(gè)服務(wù)器；“page.html”是資源路徑，指定了要訪問(wèn)的具體文件或頁(yè)面。 ? 通過(guò)輸入或點(diǎn)擊 URL，我們的瀏覽器就知道要去哪里獲取我們想要的資源，比如網(wǎng)頁(yè)、圖片、音頻、視頻等等。所以，URL 是互聯(lián)網(wǎng)中非常重要的一部分，它使得我們能夠方便地找到和訪問(wèn)各種信息

2.常見(jiàn)的幾種URL格式

- http://：這是最常見(jiàn)的 URL 格式，用于訪問(wèn)通過(guò) HTTP（超文本傳輸協(xié)議）傳輸?shù)馁Y源。例如：“http://www.example.com/”。 - https://：這是一種安全的 URL 格式，使用了 HTTPS（安全的 HTTP）協(xié)議來(lái)進(jìn)行加密傳輸。例如：“https://www.secured-site.com/”。 - ftp://：用于訪問(wèn)通過(guò) FTP（文件傳輸協(xié)議）傳輸?shù)奈募?。例如：“ftp://ftp.example.org/”。 - mailto://：用于創(chuàng)建一個(gè)電子郵件鏈接。例如：“mailto:info@example.com”。 - tel://：用于創(chuàng)建一個(gè)電話號(hào)碼鏈接。例如：“tel:+123-456-7890”。 - ssh://：用于訪問(wèn)通過(guò) SSH（安全外殼協(xié)議）連接的遠(yuǎn)程服務(wù)器。例如：“ssh://user@server.example/”。 - irc://：用于訪問(wèn) IRC（互聯(lián)網(wǎng)中繼聊天）頻道。例如：“irc://irc.example.net/#channel”。 - magnet://：用于磁力鏈接，通常用于下載torrent 文件。例如：“magnet:?xt=urn:btih:1234567890”。

四.網(wǎng)絡(luò)爬蟲(chóng)的分類

網(wǎng)絡(luò)爬蟲(chóng)按照系統(tǒng)結(jié)構(gòu)和實(shí)現(xiàn)技術(shù)，分為以下幾種類型：通用網(wǎng)絡(luò)爬蟲(chóng)（General Purpose Web Crawler）、聚焦網(wǎng)絡(luò)爬蟲(chóng)（Focused Web Crawler）、增量式網(wǎng)絡(luò)爬蟲(chóng)（Incremental Web Crawler）、深層網(wǎng)絡(luò)爬蟲(chóng)（Deep Web Crawler）。實(shí)際的網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)通常是幾種爬蟲(chóng)技術(shù)相結(jié)合實(shí)現(xiàn)的。

1.通用網(wǎng)絡(luò)爬蟲(chóng)

通用網(wǎng)絡(luò)爬蟲(chóng)又稱全網(wǎng)爬蟲(chóng)（Scalable Web Crawler），爬行對(duì)象從一些種子URL擴(kuò)充到整個(gè)Web，主要為門(mén)戶站點(diǎn)搜索引擎和大型Web服務(wù)提供商采集數(shù)據(jù)。由于商業(yè)原因，它們的技術(shù)細(xì)節(jié)很少公布出來(lái)。這類網(wǎng)絡(luò)爬蟲(chóng)的爬行范圍和數(shù)量巨大，對(duì)于爬行速度和存儲(chǔ)空間要求較高，對(duì)于爬行頁(yè)面的順序要求相對(duì)較低，同時(shí)由于待刷新的頁(yè)面太多，通常采用并行工作方式，但需要較長(zhǎng)時(shí)間才能刷新一次頁(yè)面。雖然存在一定缺陷，通用網(wǎng)絡(luò)爬蟲(chóng)適用于為搜索引擎搜索廣泛的主題，有較強(qiáng)的應(yīng)用價(jià)值。

通用網(wǎng)絡(luò)爬蟲(chóng)的結(jié)構(gòu)大致可以分為頁(yè)面爬行模塊、頁(yè)面分析模塊、鏈接過(guò)濾模塊、頁(yè)面數(shù)據(jù)庫(kù)、URL隊(duì)列、初始URL集合幾個(gè)部分。為提高工作效率，通用網(wǎng)絡(luò)爬蟲(chóng)會(huì)采取一定的爬行策略。常用的爬行策略有：深度優(yōu)先策略、廣度優(yōu)先策略。

（1）深度優(yōu)先策略：其基本方法是按照深度由低到高的順序，依次訪問(wèn)下一級(jí)網(wǎng)頁(yè)鏈接，直到不能再深入為止。爬蟲(chóng)在完成一個(gè)爬行分支后返回到上一鏈接節(jié)點(diǎn)進(jìn)一步搜索其它鏈接。當(dāng)所有鏈接遍歷完后，爬行任務(wù)結(jié)束。這種策略比較適合垂直搜索或站內(nèi)搜索，但爬行頁(yè)面內(nèi)容層次較深的站點(diǎn)時(shí)會(huì)造成資源的巨大浪費(fèi)。（2）廣度優(yōu)先策略：此策略按照網(wǎng)頁(yè)內(nèi)容目錄層次深淺來(lái)爬行頁(yè)面，處于較淺目錄層次的頁(yè)面首先被爬行。當(dāng)同一層次中的頁(yè)面爬行完畢后，爬蟲(chóng)再深入下一層繼續(xù)爬行。這種策略能夠有效控制頁(yè)面的爬行深度，避免遇到一個(gè)無(wú)窮深層分支時(shí)無(wú)法結(jié)束爬行的問(wèn)題，實(shí)現(xiàn)方便，無(wú)需存儲(chǔ)大量中間節(jié)點(diǎn)，不足之處在于需較長(zhǎng)時(shí)間才能爬行到目錄層次較深的頁(yè)面。

2.聚焦網(wǎng)絡(luò)爬蟲(chóng)

聚焦網(wǎng)絡(luò)爬蟲(chóng)（Focused Crawler），又稱主題網(wǎng)絡(luò)爬蟲(chóng)（Topical Crawler），是指選擇性地爬行那些與預(yù)先定義好的主題相關(guān)頁(yè)面的網(wǎng)絡(luò)爬蟲(chóng)。和通用網(wǎng)絡(luò)爬蟲(chóng)相比，聚焦爬蟲(chóng)只需要爬行與主題相關(guān)的頁(yè)面，極大地節(jié)省了硬件和網(wǎng)絡(luò)資源，保存的頁(yè)面也由于數(shù)量少而更新快，還可以很好地滿足一些特定人群對(duì)特定領(lǐng)域信息的需求。

聚焦網(wǎng)絡(luò)爬蟲(chóng)和通用網(wǎng)絡(luò)爬蟲(chóng)相比，增加了鏈接評(píng)價(jià)模塊以及內(nèi)容評(píng)價(jià)模塊。聚焦爬蟲(chóng)爬行策略實(shí)現(xiàn)的關(guān)鍵是評(píng)價(jià)頁(yè)面內(nèi)容和鏈接的重要性，不同的方法計(jì)算出的重要性不同，由此導(dǎo)致鏈接的訪問(wèn)順序也不同。

（1）基于內(nèi)容評(píng)價(jià)的爬行策略：DeBra將文本相似度的計(jì)算方法引入到網(wǎng)絡(luò)爬蟲(chóng)中，提出了Fish Search算法，它將用戶輸入的查詢?cè)~作為主題，包含查詢?cè)~的頁(yè)面被視為與主題相關(guān)，其局限性在于無(wú)法評(píng)價(jià)頁(yè)面與主題相關(guān)度的高低。Herseovic對(duì) Fish Search算法進(jìn)行了改進(jìn)，提出了Sharksearch算法，利用空間向量模型計(jì)算頁(yè)面與主題的相關(guān)度大小。（2）基于鏈接結(jié)構(gòu)評(píng)價(jià)的爬行策略：Web頁(yè)面作為一種半結(jié)構(gòu)化文檔，包含很多結(jié)構(gòu)信息，可用來(lái)評(píng)價(jià)鏈接重要性。PageRank算法最初用于搜索引擎信息檢索中對(duì)查詢結(jié)果進(jìn)行排序，也可用于評(píng)價(jià)鏈接重要性，具體做法就是每次選擇PageRank值較大頁(yè)面中的鏈接來(lái)訪問(wèn)。另一個(gè)利用Web結(jié)構(gòu)評(píng)價(jià)鏈接價(jià)值的方法是HITS方法，它通過(guò)計(jì)算每個(gè)已訪問(wèn)頁(yè)面的Authority權(quán)重和Hub權(quán)重，并以此決定鏈接的訪問(wèn)順序。（3）基于增強(qiáng)學(xué)習(xí)的爬行策略：Rennie和McCallum將增強(qiáng)學(xué)習(xí)引入聚焦爬蟲(chóng)，利用貝葉斯分類器，根據(jù)整個(gè)網(wǎng)頁(yè)文本和鏈接文本對(duì)超鏈接進(jìn)行分類，為每個(gè)鏈接計(jì)算出重要性，從而決定鏈接的訪問(wèn)順序。（4）基于語(yǔ)境圖的爬行策略：Diligenti等人提出了一種通過(guò)建立語(yǔ)境圖（Context Graphs）學(xué)習(xí)網(wǎng)頁(yè)之間的相關(guān)度，訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)，通過(guò)該系統(tǒng)可計(jì)算當(dāng)前頁(yè)面到相關(guān)Web頁(yè)面的距離，距離越近的頁(yè)面中的鏈接優(yōu)先訪問(wèn)。印度理工大學(xué)（IIT）和IBM研究中心的研究人員開(kāi)發(fā)了一個(gè)典型的聚焦網(wǎng)絡(luò)爬蟲(chóng)。該爬蟲(chóng)對(duì)主題的定義既不是采用關(guān)鍵詞也不是加權(quán)矢量，而是一組具有相同主題的網(wǎng)頁(yè)。它包含兩個(gè)重要模塊：一個(gè)是分類器，用來(lái)計(jì)算所爬行的頁(yè)面與主題的相關(guān)度，確定是否與主題相關(guān)；另一個(gè)是凈化器，用來(lái)識(shí)別通過(guò)較少鏈接連接到大量相關(guān)頁(yè)面的中心頁(yè)面。

3.增量式網(wǎng)絡(luò)爬蟲(chóng)

增量式網(wǎng)絡(luò)爬蟲(chóng)（Incremental Web Crawler）是指對(duì)已下載網(wǎng)頁(yè)采取增量式更新和只爬行新產(chǎn)生的或者已經(jīng)發(fā)生變化網(wǎng)頁(yè)的爬蟲(chóng)，它能夠在一定程度上保證所爬行的頁(yè)面是盡可能新的頁(yè)面。和周期性爬行和刷新頁(yè)面的網(wǎng)絡(luò)爬蟲(chóng)相比，增量式爬蟲(chóng)只會(huì)在需要的時(shí)候爬行新產(chǎn)生或發(fā)生更新的頁(yè)面，并不重新下載沒(méi)有發(fā)生變化的頁(yè)面，可有效減少數(shù)據(jù)下載量，及時(shí)更新已爬行的網(wǎng)頁(yè)，減小時(shí)間和空間上的耗費(fèi)，但是增加了爬行算法的復(fù)雜度和實(shí)現(xiàn)難度。增量式網(wǎng)絡(luò)爬蟲(chóng)的體系結(jié)構(gòu)[包含爬行模塊、排序模塊、更新模塊、本地頁(yè)面集、待爬行URL集以及本地頁(yè)面URL集]。

增量式爬蟲(chóng)有兩個(gè)目標(biāo)：保持本地頁(yè)面集中存儲(chǔ)的頁(yè)面為最新頁(yè)面和提高本地頁(yè)面集中頁(yè)面的質(zhì)量。為實(shí)現(xiàn)第一個(gè)目標(biāo)，增量式爬蟲(chóng)需要通過(guò)重新訪問(wèn)網(wǎng)頁(yè)來(lái)更新本地頁(yè)面集中頁(yè)面內(nèi)容，常用的方法有：

（1）統(tǒng)一更新法：爬蟲(chóng)以相同的頻率訪問(wèn)所有網(wǎng)頁(yè)，不考慮網(wǎng)頁(yè)的改變頻率；（2）個(gè)體更新法：爬蟲(chóng)根據(jù)個(gè)體網(wǎng)頁(yè)的改變頻率來(lái)重新訪問(wèn)各頁(yè)面；（3）基于分類的更新法：爬蟲(chóng)根據(jù)網(wǎng)頁(yè)改變頻率將其分為更新較快網(wǎng)頁(yè)子集和更新較慢網(wǎng)頁(yè)子集兩類，然后以不同的頻率訪問(wèn)這兩類網(wǎng)頁(yè)。

為實(shí)現(xiàn)第二個(gè)目標(biāo)，增量式爬蟲(chóng)需要對(duì)網(wǎng)頁(yè)的重要性排序，常用的策略有：廣度優(yōu)先策略、PageRank優(yōu)先策略等。IBM開(kāi)發(fā)的WebFountain是一個(gè)功能強(qiáng)大的增量式網(wǎng)絡(luò)爬蟲(chóng)，它采用一個(gè)優(yōu)化模型控制爬行過(guò)程，并沒(méi)有對(duì)頁(yè)面變化過(guò)程做任何統(tǒng)計(jì)假設(shè)，而是采用一種自適應(yīng)的方法根據(jù)先前爬行周期里爬行結(jié)果和網(wǎng)頁(yè)實(shí)際變化速度對(duì)頁(yè)面更新頻率進(jìn)行調(diào)整。北京大學(xué)的天網(wǎng)增量爬行系統(tǒng)旨在爬行國(guó)內(nèi)Web，將網(wǎng)頁(yè)分為變化網(wǎng)頁(yè)和新網(wǎng)頁(yè)兩類，分別采用不同爬行策略。為緩解對(duì)大量網(wǎng)頁(yè)變化歷史維護(hù)導(dǎo)致的性能瓶頸，它根據(jù)網(wǎng)頁(yè)變化時(shí)間局部性規(guī)律，在短時(shí)期內(nèi)直接爬行多次變化的網(wǎng)頁(yè)，為盡快獲取新網(wǎng)頁(yè)，它利用索引型網(wǎng)頁(yè)跟蹤新出現(xiàn)網(wǎng)頁(yè)。

4.Deep Web爬蟲(chóng)

Web頁(yè)面按存在方式可以分為表層網(wǎng)頁(yè)（Surface Web）和深層網(wǎng)頁(yè)（Deep Web，也稱Invisible Web Pages 或Hidden Web）。表層網(wǎng)頁(yè)是指?jìng)鹘y(tǒng)搜索引擎可以索引的頁(yè)面，以超鏈接可以到達(dá)的靜態(tài)網(wǎng)頁(yè)為主構(gòu)成的Web頁(yè)面。Deep Web是那些大部分內(nèi)容不能通過(guò)靜態(tài)鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關(guān)鍵詞才能獲得的Web頁(yè)面。例如那些用戶注冊(cè)后內(nèi)容才可見(jiàn)的網(wǎng)頁(yè)就屬于Deep Web。2000年Bright Planet指出：Deep Web中可訪問(wèn)信息容量是Surface Web的幾百倍，是互聯(lián)網(wǎng)上最大、發(fā)展最快的新型信息資源。

Deep Web爬蟲(chóng)體系結(jié)構(gòu)包含六個(gè)基本功能模塊（爬行控制器、解析器、表單分析器、表單處理器、響應(yīng)分析器、LVS控制器）和兩個(gè)爬蟲(chóng)內(nèi)部數(shù)據(jù)結(jié)構(gòu)（URL列表、LVS表）。其中LVS（Label Value Set）表示標(biāo)簽/數(shù)值集合，用來(lái)表示填充表單的數(shù)據(jù)源。

Deep Web爬蟲(chóng)爬行過(guò)程中最重要部分就是表單填寫(xiě)，包含兩種類型：

（1）基于領(lǐng)域知識(shí)的表單填寫(xiě)：

此方法一般會(huì)維持一個(gè)本體庫(kù)，通過(guò)語(yǔ)義分析來(lái)選取合適的關(guān)鍵詞填寫(xiě)表單。Yiyao Lu等人提出一種獲取Form表單信息的多注解方法，將數(shù)據(jù)表單按語(yǔ)義分配到各個(gè)組中，對(duì)每組從多方面注解，結(jié)合各種注解結(jié)果來(lái)預(yù)測(cè)一個(gè)最終的注解標(biāo)簽；鄭冬冬等人利用一個(gè)預(yù)定義的領(lǐng)域本體知識(shí)庫(kù)來(lái)識(shí)別Deep Web頁(yè)面內(nèi)容，同時(shí)利用一些來(lái)自Web站點(diǎn)導(dǎo)航模式來(lái)識(shí)別自動(dòng)填寫(xiě)表單時(shí)所需進(jìn)行的路徑導(dǎo)航。

（2）基于網(wǎng)頁(yè)結(jié)構(gòu)分析的表單填寫(xiě)：

此方法一般無(wú)領(lǐng)域知識(shí)或僅有有限的領(lǐng)域知識(shí)，將網(wǎng)頁(yè)表單表示成DOM樹(shù)，從中提取表單各字段值。Desouky等人提出一種LEHW方法，該方法將HTML網(wǎng)頁(yè)表示為DOM樹(shù)形式，將表單區(qū)分為單屬性表單和多屬性表單，分別進(jìn)行處理；孫彬等人提出一種基于XQuery的搜索系統(tǒng)，它能夠模擬表單和特殊頁(yè)面標(biāo)記切換，把網(wǎng)頁(yè)關(guān)鍵字切換信息描述為三元組單元，按照一定規(guī)則排除無(wú)效表單，將Web文檔構(gòu)造成DOM樹(shù)，利用XQuery將文字屬性映射到表單字段。

Raghavan等人提出的HIWE系統(tǒng)中，爬行管理器負(fù)責(zé)管理整個(gè)爬行過(guò)程，分析下載的頁(yè)面，將包含表單的頁(yè)面提交表單處理器處理，表單處理器先從頁(yè)面中提取表單，從預(yù)先準(zhǔn)備好的數(shù)據(jù)集中選擇數(shù)據(jù)自動(dòng)填充并提交表單，由爬行控制器下載相應(yīng)的結(jié)果頁(yè)面

柚子快報(bào)激活碼778899分享：深入淺析帶你理解網(wǎng)絡(luò)爬蟲(chóng)

http://yzkb.51969.com/

推薦文章