男同gay片av网站,美女视频黄8频美女视频,男人j放进女人p全黄,柠檬福利精品视频导航,免费涩情网站

首頁
手機(jī)版
熱門搜索：
當(dāng)前位置：電腦軟件編程開發(fā)程序源碼ScrapydWeb(爬蟲管理平臺(tái))

ScrapydWeb(爬蟲管理平臺(tái)) 官方版v1.4.0

  • 大?。?74MB
  • 語言：簡體中文
  • 類別：程序源碼
  • 類型：免費(fèi)軟件
  • 授權(quán)：國產(chǎn)軟件
  • 時(shí)間：2021/04/26
  • 官網(wǎng)：http://goqiche.cn
  • 環(huán)境：Windows7, Windows10, WindowsAll

相關(guān)軟件

ScrapydWeb是一個(gè)用于Scrapyd集群管理的Web應(yīng)用程序，可以有效地管理分布式Web抓取項(xiàng)目。在將SCRAPY_PROJECTS_DIR選項(xiàng)設(shè)置為包含Scrapy項(xiàng)目的路徑之后，ScrapydWeb將列出該目錄中的所有項(xiàng)目，并選擇最新修改的項(xiàng)目。只需選擇一個(gè)項(xiàng)目并按按鈕即可提交，然后在后臺(tái)自動(dòng)打包。

ScrapydWeb圖片1

軟件特色

💠 Scrapyd集群管理

💯 支持所有Scrapyd JSON API

☑️ 分組，過濾和選擇任意數(shù)量的節(jié)點(diǎn)

🖱️ 只需單擊幾下即可在多節(jié)點(diǎn)上執(zhí)行命令

🔍 Scrapy日志分析

📊 統(tǒng)計(jì)資料收集

📈 進(jìn)度可視化

📑 日志分類

🔋 增強(qiáng)功能

📦 汽車包裝

🕵️‍♂️ 與整合 🔗 LogParser

⏰ 計(jì)時(shí)器任務(wù)

📧 監(jiān)控和警報(bào)

📱 行動(dòng)使用者介面

🔐 Web UI的基本身份驗(yàn)證

瀏覽器支持

最新版本的Google Chrome，F(xiàn)irefox和Safari。

使用說明

訪問http://127.0.0.1:5000，然后使用上面的USERNAME / PASSWORD登錄。

服務(wù)器頁面將自動(dòng)顯示所有Scrapyd服務(wù)器的工作狀態(tài)。您可以通過分組和過濾來選擇任意數(shù)量的Scrapyd服務(wù)器，然后只需單擊幾下即可在群集上調(diào)用Scrapyd的HTTP JSON API。

與LogParser集成后，“作業(yè)”頁面可以自動(dòng)顯示您的抓取作業(yè)的頁面和項(xiàng)目信息。默認(rèn)情況下，ScrapydWeb會(huì)定期創(chuàng)建您的抓取作業(yè)的快照并將其保存在數(shù)據(jù)庫中，以避免在重新啟動(dòng)Scrapyd服務(wù)器時(shí)丟失作業(yè)信息。

更新內(nèi)容

新的功能

添加用于通過Slack，Email發(fā)送文本或警報(bào)的API

改進(jìn)之處

側(cè)邊欄和多節(jié)點(diǎn)按鈕上的UI改進(jìn)

其他

將配置文件更新為scrapydweb_settings_v10.py

標(biāo)簽： 爬蟲工具

下載地址

ScrapydWeb(爬蟲管理平臺(tái)) 官方版v1.4.0

普通下載通道

網(wǎng)友評(píng)論

返回頂部