crapyrt為Scrapy提供了一個調(diào)度的HTTP接口,有了它,我們就不需要再執(zhí)行Scrapy命令而是通過請求一個HTTP接口來調(diào)度Scrapy任務(wù)了。Scrapyrt比Scrapyd更輕量,如果不需要分布式多任務(wù)的話,可以簡單使用Scrapyrt實現(xiàn)遠程Scrapy任務(wù)的調(diào)度。
1. 相關(guān)鏈接
GitHub:https://github.com/scrapinghub/scrapyrt
官方文檔:http://scrapyrt.readthedocs.io
2. pip安裝
這里推薦使用pip安裝,命令如下:
pip3 install scrapyrt
接下來,在任意一個Scrapy項目中運行如下命令來啟動HTTP服務(wù):
scrapyrt
運行之后,會默認在9080端口上啟動服務(wù),類似的輸出結(jié)果如下:
scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory
如果想更換運行端口,可以使用-p參數(shù),如:
scrapyrt -p 9081
這樣就會在9081端口上運行了。
3. Docker安裝
另外,Scrapyrt也支持Docker。比如,要想在9080端口上運行,且本地Scrapy項目的路徑為/home/quotesbot,可以使用如下命令運行:
docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt
這樣同樣可以在9080端口上監(jiān)聽指定的Scrapy項目。
初級會計職稱中級會計職稱經(jīng)濟師注冊會計師證券從業(yè)銀行從業(yè)會計實操統(tǒng)計師審計師高級會計師基金從業(yè)資格稅務(wù)師資產(chǎn)評估師國際內(nèi)審師ACCA/CAT價格鑒證師統(tǒng)計資格從業(yè)
一級建造師二級建造師消防工程師造價工程師土建職稱房地產(chǎn)經(jīng)紀人公路檢測工程師建筑八大員注冊建筑師二級造價師監(jiān)理工程師咨詢工程師房地產(chǎn)估價師 城鄉(xiāng)規(guī)劃師結(jié)構(gòu)工程師巖土工程師安全工程師設(shè)備監(jiān)理師環(huán)境影響評價土地登記代理公路造價師公路監(jiān)理師化工工程師暖通工程師給排水工程師計量工程師
人力資源考試教師資格考試出版專業(yè)資格健康管理師導(dǎo)游考試社會工作者司法考試職稱計算機營養(yǎng)師心理咨詢師育嬰師事業(yè)單位教師招聘公務(wù)員公選考試招警考試選調(diào)生村官
執(zhí)業(yè)藥師執(zhí)業(yè)醫(yī)師衛(wèi)生資格考試衛(wèi)生高級職稱護士資格證初級護師主管護師住院醫(yī)師臨床執(zhí)業(yè)醫(yī)師臨床助理醫(yī)師中醫(yī)執(zhí)業(yè)醫(yī)師中醫(yī)助理醫(yī)師中西醫(yī)醫(yī)師中西醫(yī)助理口腔執(zhí)業(yè)醫(yī)師口腔助理醫(yī)師公共衛(wèi)生醫(yī)師公衛(wèi)助理醫(yī)師實踐技能內(nèi)科主治醫(yī)師外科主治醫(yī)師中醫(yī)內(nèi)科主治兒科主治醫(yī)師婦產(chǎn)科醫(yī)師西藥士/師中藥士/師臨床檢驗技師臨床醫(yī)學(xué)理論中醫(yī)理論