課程特價中
什麼是網頁爬蟲？
假設你的老闆給了你一個任務，他希望你從一個網站上提取大約 1000 個產品，將資料結構化並儲存到資料庫中，你會手動複製貼上所有的產品細節，包括產品名稱、網址和價格？我可以想像你會工作幾天幾夜，但你不會完成這個任務，所以這就是網頁爬蟲的優勢。因此，網頁爬蟲，或網頁採集或網頁資料提取就像寫一個指令碼，可以在幾分鐘內自動從網站上提取資料！。
為什麼是 LXML 而不是 BeautifulSoup？
LXML 是一個輕量級的 HTML 解析器，即使是最流行的網頁抓取框架（Scrapy）也是建立在LXML之上的，BeautifulSoup 在開放給我們的功能數量上有點過剩，它有更多的功能可以使用，是的，沒錯 然而，在Web Scraping中，大多數時候我們使用 XPath 和 CSS 選擇器來瀏覽和選擇要從HTML網頁（樹）中爬取的內容，所以沒有必要學習新的功能，也沒有必要浪費那麼多時間來熟悉 BeautifulSoup 的 API 和內部架構，此外，LXML在效能方面也比BeautifulSoup好得多。
https://softnshare.com/web-scraping-with-python-using-requests-lxml-splash/
html 爬蟲 在 [問題] 網頁爬蟲讀不到完整資料- 看板Python 的推薦與評價
大家好
我想讀下面網頁的表格
https://pchome.megatime.com.tw/stock/sto3/ock1/sid6505.html
雖然在在document的sid6505.html裡看得到需要的資料
但是程式讀出來卻讀不出來
只能讀到下面幾行
想請教這個問題該如何解決 非常謝謝
<html>
<head>
</head>
<body>
<form id='submit_form' name='submit_form'
action='https://pchome.megatime.com.tw/stock/sto3/ock1/sid6505.html'
method='post'>
<input type='hidden' name='is_check' value='1' />
</form>
<script type="text/javascript">
document.getElementById('submit_form').submit();
</script>
</body>
</html>
程式碼：
import requests
res =
requests.get("https://pchome.megatime.com.tw/stock/sto3/ock1/sid6505.html")
print (res.text)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.239.185
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1485354796.A.810.html
※ 編輯: ckcy (123.192.239.185), 01/25/2017 22:57:26
... <看更多>