開(kāi)發(fā)爬蟲(chóng)，既簡(jiǎn)單又困難。簡(jiǎn)單是因?yàn)樵赑ython這一門(mén)語(yǔ)言的幫助下，要入門(mén)開(kāi)發(fā)爬蟲(chóng)幾乎沒(méi)有門(mén)檻，幾行代碼就能寫(xiě)出一個(gè)爬蟲(chóng)。而爬蟲(chóng)相關(guān)的框架更是多如牛毛，稍稍配置一下就能實(shí)現(xiàn)非常不錯(cuò)的爬取效果。困難在于目前大多數(shù)的爬蟲(chóng)書(shū)籍，還停留在工具的講解上，只告訴讀者怎么用工具，卻不告訴讀者在遇到各種情況時(shí)應(yīng)該如何舉一反三，通過(guò)思考，用學(xué)過(guò)的技藝來(lái)處理第一次遇到的問(wèn)題。
  爬蟲(chóng)的開(kāi)發(fā)有兩個(gè)層面。一個(gè)是“技”的層面，也就是各種語(yǔ)言和框架的使用。這種層面更像是軟件文檔，現(xiàn)在市面上大部分的爬蟲(chóng)書(shū)籍還停留在這個(gè)層面。而另一個(gè)層面是“術(shù)”的層面，遇到各種反爬蟲(chóng)問(wèn)題時(shí)，應(yīng)該如何突破，如何隱藏爬蟲(chóng)，如何模擬人的行為，以及遇到?jīng)]有見(jiàn)過(guò)的反爬蟲(chóng)策略時(shí)，應(yīng)該如何思考及如何使用爬蟲(chóng)爬取非網(wǎng)頁(yè)內(nèi)容等。在“術(shù)”的層面，框架和工具都不是問(wèn)題，用任何框架甚至Python自帶的模塊都能夠處理，“術(shù)”的層面更強(qiáng)調(diào)思想、流程和調(diào)度。
  使用Python作為爬蟲(chóng)的開(kāi)發(fā)語(yǔ)言。由于Python具有語(yǔ)法簡(jiǎn)單、入門(mén)容易等特點(diǎn)，現(xiàn)在已經(jīng)成為眾多領(lǐng)域的首選語(yǔ)言。由于Python的語(yǔ)法接近原生的英語(yǔ)語(yǔ)法，因此只要能看懂單詞就能看懂Python代碼，這使得Python學(xué)習(xí)者能夠很容易地通過(guò)學(xué)習(xí)別人的代碼得到提高。
  爬蟲(chóng)的主要目的是獲取網(wǎng)頁(yè)內(nèi)容并解析。只要能達(dá)到這個(gè)目的，用什么方法都沒(méi)有問(wèn)題。關(guān)于獲取網(wǎng)頁(yè)，主要介紹了Python的兩個(gè)第三方模塊，一個(gè)是requests，另一個(gè)是爬蟲(chóng)框架Scrapy。關(guān)于解析網(wǎng)頁(yè)內(nèi)容，本書(shū)主要介紹了3種方式——正則表達(dá)式、XPath和BeautifulSoup。兩種網(wǎng)頁(yè)獲取方式和3種網(wǎng)頁(yè)解析方式可以自由搭配，隨意使用。
  由于網(wǎng)站必然不會(huì)這么輕易地讓人把數(shù)據(jù)全給拿走，因此很多網(wǎng)站都會(huì)采取各種反爬蟲(chóng)措施。應(yīng)對(duì)各種反爬蟲(chóng)措施正是本書(shū)所要講到的重點(diǎn)。常規(guī)的反爬蟲(chóng)措施包括但不限于訪問(wèn)頻率檢查、驗(yàn)證碼、登錄驗(yàn)證、行為檢測(cè)。對(duì)這些反爬蟲(chóng)策略都會(huì)進(jìn)行一一破解。除此之外，還會(huì)將中間人攻擊技術(shù)與爬蟲(chóng)結(jié)合在一起，再把Android自動(dòng)化測(cè)試技術(shù)與爬蟲(chóng)結(jié)合在一起，從而構(gòu)造一個(gè)超級(jí)自動(dòng)化爬蟲(chóng)，做到幾乎無(wú)法被網(wǎng)站發(fā)現(xiàn)，也無(wú)法被封鎖，同時(shí)不需要人工干預(yù)就能實(shí)現(xiàn)數(shù)據(jù)的爬取。
  在成功突破了網(wǎng)站的封鎖以后，就需要提高爬蟲(chóng)的爬取效率了，于是分布式爬蟲(chóng)框架Scrapy。宗旨是“術(shù)”，而不是“技”，因此對(duì)Scrapy這個(gè)框架，并不會(huì)像其官方文檔一樣講解每一個(gè)功能。在介紹完Scrapy的基本功能以后，將著重講解使用Scrapy來(lái)實(shí)現(xiàn)自動(dòng)化的重試，自動(dòng)修改爬蟲(chóng)的頭部信息，自動(dòng)更換IP，自動(dòng)處理異常和批量部署。