爬蟲(chóng)好學(xué)么？

相對(duì)于人工智能、數(shù)據(jù)分析、深度學(xué)習(xí)來(lái)講，Python爬蟲(chóng)還是比較簡(jiǎn)單的。想要從事爬蟲(chóng)工作，需要掌握以下知識(shí)：

學(xué)習(xí)Python基礎(chǔ)知識(shí)并實(shí)現(xiàn)基本的爬蟲(chóng)過(guò)程

一般獲取數(shù)據(jù)的過(guò)程都是按照 發(fā)送請(qǐng)求-獲得頁(yè)面反饋-解析并且存儲(chǔ)數(shù)據(jù) 這三個(gè)流程來(lái)實(shí)現(xiàn)的。這個(gè)過(guò)程其實(shí)就是模擬了一個(gè)人工瀏覽網(wǎng)頁(yè)的過(guò)程。

Python中爬蟲(chóng)相關(guān)的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests
負(fù)責(zé)連接網(wǎng)站，返回網(wǎng)頁(yè)，Xpath 用于解析網(wǎng)頁(yè)，便于抽取數(shù)據(jù)。

2.了解非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)

爬蟲(chóng)抓取的數(shù)據(jù)結(jié)構(gòu)復(fù)雜 傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)可能并不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。

3. 掌握一些常用的反爬蟲(chóng)技巧

使用代理IP池、抓包、驗(yàn)證碼的OCR處理等處理方式既可以解決大部分網(wǎng)站的反爬蟲(chóng)策略。

4.了解分布式存儲(chǔ)

分布式這個(gè)東西，聽(tīng)起來(lái)很恐怖，但其實(shí)就是利用多線(xiàn)程的原理讓多個(gè)爬蟲(chóng)同時(shí)工作，需要你掌握 Scrapy + MongoDB + Redis
這三種工具就可以了。

python爬蟲(chóng)難還是后端難

這個(gè)問(wèn)題并沒(méi)有一個(gè)標(biāo)準(zhǔn)的答案，因?yàn)椴煌拈_(kāi)發(fā)者的經(jīng)驗(yàn)和技能水平也不同。但是可以從以下幾個(gè)角度來(lái)討論。
首先，Python爬蟲(chóng)和后端開(kāi)發(fā)都有其具有挑戰(zhàn)性的地方。在Python爬蟲(chóng)中，要處理的頁(yè)面結(jié)構(gòu)非常復(fù)雜，需要對(duì)HTML、CSS、等語(yǔ)言有很深的理解，并且對(duì)正則表達(dá)式和XPath等技術(shù)有一定掌握程度。而在后端開(kāi)發(fā)中，要面對(duì)的則是多線(xiàn)程、多進(jìn)程、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)安全等方面的問(wèn)題，需要有較強(qiáng)的編程能力和系統(tǒng)設(shè)計(jì)能力。
其次，Python爬蟲(chóng)對(duì)于初學(xué)者來(lái)說(shuō)可能會(huì)更加難一些。因?yàn)镻ython爬蟲(chóng)講究的是從整個(gè)網(wǎng)站中獲取數(shù)據(jù)，因此需要掌握一定的網(wǎng)絡(luò)請(qǐng)求方面的知識(shí)，以及爬蟲(chóng)的相關(guān)規(guī)則和限制。此外，Python爬蟲(chóng)需要處理爬蟲(chóng)被禁止訪(fǎng)問(wèn)、網(wǎng)站IP被封鎖等問(wèn)題，而這些問(wèn)題需要的經(jīng)驗(yàn)很少有入門(mén)者能夠掌握。
總的來(lái)說(shuō)，Python爬蟲(chóng)和后端開(kāi)發(fā)都是需要時(shí)間和精力投入的，但對(duì)于編程經(jīng)驗(yàn)和網(wǎng)絡(luò)技術(shù)方面技能相對(duì)欠缺的學(xué)習(xí)者來(lái)說(shuō)，Python爬蟲(chóng)可能會(huì)更難一些。

Python爬蟲(chóng)好學(xué)嗎？

對(duì)于有一定編程經(jīng)驗(yàn)的人來(lái)說(shuō)，python相對(duì)好學(xué)些。
而其他人，則要看一點(diǎn)毅力和天賦了，因?yàn)閷W(xué)以致用，最終用python達(dá)到你的學(xué)習(xí)目的，才算有價(jià)值。若只是單純的學(xué)學(xué)，開(kāi)始也不算太難，但深入還是有一定難度的，特別是一些大項(xiàng)目。相比之下，python的一大好處，就是各類(lèi)現(xiàn)成的實(shí)用庫(kù)，幾行代碼就可以實(shí)現(xiàn)一個(gè)小目標(biāo)。
python，將來(lái)還是蠻有用的，就連地產(chǎn)大佬潘石屹，都開(kāi)始學(xué)python了（雖然不明白他的意圖）。
人生苦短，我用python！

Python語(yǔ)言的爬蟲(chóng)好寫(xiě)嗎？

不難的，python3自帶的urllib模塊可以編寫(xiě)輕量級(jí)的簡(jiǎn)單爬蟲(chóng)。至于怎么定位一個(gè)網(wǎng)頁(yè)中具體元素的url可自行百度火狐瀏覽器的firebug插件或者谷歌瀏覽器的自帶方法
歡迎您關(guān)注我，遇到問(wèn)題可以與我交流溝通

Python爬蟲(chóng)好寫(xiě)嗎？

python爬蟲(chóng)不簡(jiǎn)單的，基礎(chǔ)爬蟲(chóng)：
（1）基礎(chǔ)庫(kù)：urllib模塊/requests第三方模塊
首先爬蟲(chóng)就是要從網(wǎng)頁(yè)上把我們需要的信息抓取下來(lái)的，那么我們就要學(xué)習(xí)urllib/requests模塊，這兩種模塊是負(fù)責(zé)爬取網(wǎng)頁(yè)的。這里大家覺(jué)得哪一種用的習(xí)慣就用哪一種，選擇一種精通就好了。我推薦讀者使用使用requests模塊，因?yàn)檫@一種簡(jiǎn)便很多，容易操作、容易理解，所以requests被稱(chēng)為“人性化模塊”。
（2）多進(jìn)程、多線(xiàn)程、協(xié)程和分布式進(jìn)程：
為什么要學(xué)著四個(gè)知識(shí)呢？假如你要爬取200萬(wàn)條的數(shù)據(jù)，使用一般的單進(jìn)程或者單線(xiàn)程的話(huà)，你爬取下載這些數(shù)據(jù)，也許要一個(gè)星期或是更久。試問(wèn)這是你想要看到的結(jié)果嗎？顯然單進(jìn)程和單線(xiàn)程不要滿(mǎn)足我們追求的高效率，太浪費(fèi)時(shí)間了。只要設(shè)置好多進(jìn)程和多線(xiàn)程，爬取數(shù)據(jù)的速度可以提高10倍甚至更高的效率。
（3）網(wǎng)頁(yè)解析提取庫(kù)：xpath//正則表達(dá)式
通過(guò)前面的（1）和（2）爬取下來(lái)的是網(wǎng)頁(yè)源代碼，這里有很多并不是我們想要的信息，所以需要將沒(méi)用的信息過(guò)濾掉，留下對(duì)我們有價(jià)值的信息。這里有三種解析器，三種在不同的場(chǎng)景各有特色也各有不足，總的來(lái)說(shuō)，學(xué)會(huì)這三種靈活運(yùn)用會(huì)很方便的。推薦理解能力不是很強(qiáng)的朋友或是剛?cè)腴T(mén)爬蟲(chóng)的朋友，學(xué)習(xí)是很容易掌握并能夠快速應(yīng)用實(shí)戰(zhàn)的，功能也非常強(qiáng)大。
（4）反屏蔽：請(qǐng)求頭/代理服務(wù)器/cookie
在爬取網(wǎng)頁(yè)的時(shí)候有時(shí)會(huì)失敗，因?yàn)閯e人網(wǎng)站設(shè)置了反爬蟲(chóng)措施了，這個(gè)時(shí)候就需要我們?nèi)窝b自己的行為，讓對(duì)方網(wǎng)站察覺(jué)不到我們就是爬蟲(chóng)方。請(qǐng)求頭設(shè)置，主要是模擬成瀏覽器的行為；IP被屏蔽了，就需要使用代理服務(wù)器來(lái)破解；而cookie是模擬成登錄的行為進(jìn)入網(wǎng)站。
（5）異常：超時(shí)處理/異常處理，這里不做介紹了，自己去了解一下。
（6）數(shù)據(jù)儲(chǔ)存庫(kù)：文件系統(tǒng)儲(chǔ)存/MySQL/MongoDB
數(shù)據(jù)的儲(chǔ)存大概就這三種方式了，文件系統(tǒng)儲(chǔ)存是運(yùn)用了python文件操作來(lái)執(zhí)行的；而MySQL要使用到數(shù)據(jù)庫(kù)創(chuàng)建表格來(lái)儲(chǔ)存數(shù)據(jù)；MongoDB在爬蟲(chóng)里是非常好的儲(chǔ)存方式，分布式爬蟲(chóng)就是運(yùn)用了MongoDB來(lái)儲(chǔ)存的。各有特色，看自己需要哪種，在靈活運(yùn)用。
（7）動(dòng)態(tài)網(wǎng)頁(yè)抓取：Ajax/PhantomJS/Selenium這三個(gè)知識(shí)點(diǎn)
（8）抓包：APP抓包/API爬蟲(chóng)
（9）模擬登陸的 爬蟲(chóng)