如何用python爬取網頁中隱藏的div內容？

這是js實現的。所以后面的內容其實是動態生成的，網絡爬蟲抓取的是靜態頁面。至于解決辦法，網上有幾種:

一種是使用自動化測試工具，比如s

有什么好的python3爬蟲入門教程或書籍嗎？

Scrapytutorial()是一個用Python編寫的快速開源的網絡爬蟲框架，用于在基于XPath的選擇器的幫助下從網頁中提取數據。

Scrapy于2008年6月26日在BSD下首次發布，milestone1.0于2015年6月發布。

為什么是Scrapy？

更容易構建和擴展大型爬行項目。

它有一個稱為選擇器的內置機制，可以從網站中提取數據。

它異步處理請求，速度非常快。

它采用自動調節機制，自動調節爬網速度。

確保開發者的可訪問性。

羊瘙癢病的特征

Scrapy是一個開源的免費網絡爬蟲框架。

Scrapy生成JSON、CSV和XML格式的Feed輸出。

Scrapy內置了通過XPath或CSS表達式從數據源中選擇和提取數據的支持。

基于爬蟲的Scrapy允許從網頁中自動提取數據。

優勢

Scrapy易于擴展，速度快，功能強大。

它是一個跨平臺的應用框架(Windows、Linux、MacOS和BSD)。

Scrapy請求是異步調度和處理的。

Scrapy自帶一個名為Scrapyd的內置服務，允許你上傳項目，使用JSONWeb服務控制蜘蛛。

雖然網站沒有訪問原始數據的API，但是你可以取消任何網站。

劣勢

Scrapy僅在Python2.7中可用。

不同的操作系統安裝不同。