網友評分: 5分
搜貓軟件是款功能強大的網絡蜘蛛工具。用戶可以通過這款軟件快速抓取網站上的所有網頁地址,將網頁下載并寫到本地文件夾,或者寫進數據庫中。同時,它還可以幫助用戶分析網頁數據,非常好用。
基于目標網頁特征的爬蟲所抓取、存儲并索引的對象一般為網站或網頁。根據種子樣本獲取方式可分為:
(1)預先給定的初始抓取種子樣本;
(2)預先給定的網頁分類目錄和與分類目錄對應的種子樣本,如Yahoo!分類結構等;
(3)通過用戶行為確定的抓取目標樣例,分為:(a)用戶瀏覽過程中顯示標注的抓取樣本;(b)通過用戶日志挖掘得到訪問模式及相關樣本。
其中,網頁特征可以是網頁的內容特征,也可以是網頁的鏈接結構特征,等等。
基于目標數據模式:基于目標數據模式的爬蟲針對的是網頁上的數據,所抓取的數據一般要符合一定的模式,或者可以轉化或映射為目標數據模式。
基于領域概念:另一種描述方式是建立目標領域的本體或詞典,用于從語義角度分析不同特征在某一主題中的重要程度。
抓取目標的描述和定義是決定網頁分析算法與URL搜索策略如何制訂的基礎。而網頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務形式和爬蟲網頁抓取行為的關鍵所在。這兩個部分的算法又是緊密相關的。