华南俳烁实业有限公司

python

當前位置:中華考試網(wǎng) >> python >> python爬蟲 >> 文章內(nèi)容

python爬蟲利器:Scrapyrt的安裝(Scrapy分布式)

來源:中華考試網(wǎng)  [2020年10月12日]  【

  crapyrt為Scrapy提供了一個調(diào)度的HTTP接口,有了它,我們就不需要再執(zhí)行Scrapy命令而是通過請求一個HTTP接口來調(diào)度Scrapy任務(wù)了。Scrapyrt比Scrapyd更輕量,如果不需要分布式多任務(wù)的話,可以簡單使用Scrapyrt實現(xiàn)遠程Scrapy任務(wù)的調(diào)度。

  1. 相關(guān)鏈接

  GitHub:https://github.com/scrapinghub/scrapyrt

  官方文檔:http://scrapyrt.readthedocs.io

python課程免費試聽預(yù)約

  • 地區(qū):
  • 姓名:
  • 手機:

  2. pip安裝

  這里推薦使用pip安裝,命令如下:

  pip3 install scrapyrt

  接下來,在任意一個Scrapy項目中運行如下命令來啟動HTTP服務(wù):

  scrapyrt

  運行之后,會默認在9080端口上啟動服務(wù),類似的輸出結(jié)果如下:

  scrapyrt

  2017-07-12 22:31:03+0800 [-] Log opened.

  2017-07-12 22:31:03+0800 [-] Site starting on 9080

  2017-07-12 22:31:03+0800 [-] Starting factory

  如果想更換運行端口,可以使用-p參數(shù),如:

  scrapyrt -p 9081

  這樣就會在9081端口上運行了。

  3. Docker安裝

  另外,Scrapyrt也支持Docker。比如,要想在9080端口上運行,且本地Scrapy項目的路徑為/home/quotesbot,可以使用如下命令運行:

  docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

  這樣同樣可以在9080端口上監(jiān)聽指定的Scrapy項目。

責(zé)編:hym
  • 會計考試
  • 建筑工程
  • 職業(yè)資格
  • 醫(yī)藥考試
  • 外語考試
  • 學(xué)歷考試
加查县| 新丰县| 神池县| 张家界市| 景德镇市| 孝感市| 华宁县| 中山市| 大埔县| 马鞍山市| 精河县| 勐海县| 龙江县| 长沙市| 贺兰县| 芦溪县| 邵阳县| 广河县| 丰原市| 扎鲁特旗| 西华县| 神农架林区| 巍山| 麟游县| 峨眉山市| 比如县| 江永县| 太康县| 周宁县| 太谷县| 维西| 临沂市| 阳曲县| 清水县| 漳州市| 镇坪县| 东阳市| 南丹县| 仲巴县| 仙游县| 芦溪县|