你能用這個插件做什么?
WordPress的Crawlomatic Multisite Scraper Post Generator插件是一個突破性的網站爬行和爬行,Post Generator自動日志插件,它使用網站爬行或爬行將您的網站變成自動日志,甚至賺錢機器!
從幾乎任何網頁獲取內容!您不再需要需要注冊并提供有限訪問權限的API,也可以從非API提供網站檢索數據。安排它一次,讓它像主人一樣,全天候自動駕駛你的帖子!
它是如何工作的?
這個插件將對你給它的種子URL進行爬網(爬網意味著它將搜索網頁包含的所有鏈接),并將訪問每個爬網的URL并從中提取內容。爬網過程是可自定義的:您可以設置爬網深度、爬網速率、最大爬網文章數、僅爬網特定類或ID的鏈接以及更多自定義設置。
Crawlomatic v2.0更新
在v2.0更新中,插件中添加了一個新的實時scraper短代碼:[crawomatic scraper]。這個新特性使這個插件成為一個易于實現的WordPress網頁數據提取器。因此,它可以用于將任何網站的實時數據直接顯示到您的帖子、頁面或側邊欄中。它也會臨時緩存被刪除的內容,這樣您的網站就不會過度使用資源。你可以使用這個插件來包括實時股票報價、板球或足球得分或任何其他來自公共領域的通用內容!
此更新中包含的新功能:
可以通過自定義模板標簽、頁面中的短代碼、帖子和側邊欄(通過文本小部件)顯示廢棄的輸出。
刮取數據的可配置緩存。緩存超時可以以分鐘為單位為每一個刮取的數據定義。
可以為每個刮板設置刮板的可配置用戶代理。
可配置的默認設置,如啟用、用戶代理、超時、緩存、錯誤處理。
查詢內容的多種方式–CSS選擇器、XPath或Regex、自動檢測。
用于解析內容的各種參數。
將post參數傳遞給要刪除的URL的選項。
使用不同的字符集從站點中刪除數據,將刪除的內容動態轉換為指定的字符編碼。
使用動態生成的URL,根據頁面的get或post參數,動態創建scrap頁面,以scrap或post變量。
回調函數,用于對刮取的數據進行高級解析。