網友評分: 5分
WebScraper是Mac平臺上的一款數據導出工具,該工具可以快速提取與某個網頁(包括文本內容)相關的信息,使你能夠以最少的工作從在線源快速提取內容,你可以完全控制將數據導出到CSV或JSON文件。
使用多線程快速掃描任何網站
在WebScraper主窗口中,必須指定要掃描的網頁的URL地址以及用于完成此過程的線程數。你可以借助一個簡單的滑塊來調整后面的參數。
為避免任何不必要的掃描,您可以選擇僅抓取單個網頁,然后通過簡單的鼠標點擊開始此過程。在實時查看窗口中,您可以看到每個鏈接返回的狀態消息,這在處理調試任務時可能會很有用。
提取各種類型的信息,并將數據導出為CSV或JSON
在WebScraper輸出面板中,您可以選擇希望實用程序從網頁中提取的信息類型:URL,標題,描述,與不同類或ID關聯的內容,標題,頁面內容各種格式(純文本,HTML或MarkDown)和最后修改日期。
您還可以選擇輸出文件格式(CSV或JSON),決定合并空格,并在文件超出一定大小時設置警報。如果您選擇采用CSV格式,則可以選擇何時在列周圍使用引號,采用引號替換引號或行分隔符類型。
最后但并非最不重要的是,WebScraper還允許您更改用戶代理,設置鏈接數量和來自主頁的點擊數量的限制,可以忽略查詢字符串,并可將根域的子域作為內部頁面。
標簽: WebScraper 數據導出