你能用這個插件做什么?
Crawlomatic Multisite Scraper Post Generator Plugin for WordPress是一個突破性的網站抓取和抓取,帖子生成器自動博客插件,它使用網站抓取和抓取將您的網站變成自動博客甚至賺錢機器!
從幾乎任何網頁獲取內容!您不再需要需要注冊并提供有限訪問權限的 API,您也可以從非 API 提供的網站檢索數據。安排一次,讓它像大師一樣為您自動駕駛您的帖子 7/24!
它是如何工作的?
這個插件會爬取你給它的種子 URL(爬取意味著它會搜索網頁包含的所有鏈接),并且會訪問并從每個爬取的 URL 中提取內容。爬取過程是可定制的:您可以設置爬取深度、爬取速率、最大爬取文章數、僅爬取具有特定類或 ID 的鏈接以及更多自定義設置。
Crawlomatic v2.0 更新
在 v2.0 更新中,插件中添加了一個新的實時抓取短代碼:[crawlomatic-scraper]。這個新功能使這個插件成為一個易于實現的 WordPress 網絡數據提取器。因此,它可用于將來自任何網站的實時數據直接顯示到您的帖子、頁面或側邊欄中。它還會臨時緩存抓取的內容,因此您的網站不會過度使用資源。您可以使用此插件來包含實時股票報價、板球或足球比分或來自公共領域的任何其他通用內容!
此更新中包含的新功能:
- 抓取的輸出可以通過自定義模板標簽、頁面中的簡碼、帖子和側邊欄(通過文本小部件)顯示。
- 抓取數據的可配置緩存。可以為每個抓取的數據以分鐘為單位定義緩存超時。
- 可以為每次抓取設置刮板的可配置用戶代理。
- 可配置的默認設置,例如啟用、用戶代理、超時、緩存、錯誤處理。
- 多種查詢內容的方法——CSS 選擇器、XPath 或正則表達式、自動檢測。
- 用于解析內容的各種參數。
- 將發布參數傳遞給要抓取的 URL 的選項。
- 將抓取的內容動態轉換為指定的字符編碼,以使用不同的字符集從站點抓取數據。
- 使用動態生成的 URL 即時創建抓取的頁面,以根據頁面的獲取或發布參數來抓取或發布參數。
- 用于高級解析抓取數據的回調函數。