NT590 特價中
學習使用真實的網站範例以 Nodejs 開發網頁爬蟲
從這 11 小時的課程,你會學到
✅ 可以從 Craigslist 的網頁中爬取工作描述
✅ 學習如何使用請求( Request )
✅ 學習如何使用 NightmareJS
✅ 學習如何使用 Puppeteer
✅ 學習如何爬取沒有任何可識別的類別 ( classes ) 或 id 的元素
✅ 學習如何將抓取資料儲存到 CSV 檔案
✅ 學習如何將抓取資料儲存到 MongoDB
✅ 學習如何爬取 Facebook 只使用請求( Request )
✅ 學習如何逆向工程網站和發現隱藏的 API
✅ 學習不同的爬取技術,以及最好什麼時候使用它們
✅ 學習如何爬取使用認證的網站
https://softnshare.com/web-scraping-in-nodejs/
同時也有227部Youtube影片,追蹤數超過4萬的網紅吳老師教學部落格,也在其Youtube影片中提到,因應疫情,剛好可以好好學習網路爬蟲,最簡單的還是用EXCEL裡的VBA來抓資料,這個範例適用IE物件來抓取,程式可以用本來改一改就好,細節不要出錯,很快資料就全部下來了,如下。 EXCEL VBA金融數據之網路爬蟲實作16 01_下載股市資訊網與YAHOO股市 02_用IE物件下載YAHOO股市說...
「抓 取 網頁 檔案」的推薦目錄:
- 關於抓 取 網頁 檔案 在 軟體開發學習資訊分享 Facebook 的最佳解答
- 關於抓 取 網頁 檔案 在 氣球達人 宋俊霖 Facebook 的最讚貼文
- 關於抓 取 網頁 檔案 在 吳老師excel函數與vba大數據教學 Facebook 的最佳解答
- 關於抓 取 網頁 檔案 在 吳老師教學部落格 Youtube 的最佳貼文
- 關於抓 取 網頁 檔案 在 吳老師教學部落格 Youtube 的最佳解答
- 關於抓 取 網頁 檔案 在 吳老師教學部落格 Youtube 的最佳貼文
- 關於抓 取 網頁 檔案 在 Re: [算表] 批次查詢、抓取資料到excel檔案裡的方法- 看板Office 的評價
- 關於抓 取 網頁 檔案 在 05.網路檔案自動下載-3.網頁檔案下載與網頁表格下載- YouTube 的評價
- 關於抓 取 網頁 檔案 在 5 資料讀取與匯出| 資料科學與R語言 - 曾意儒Yi-Ju Tseng 的評價
- 關於抓 取 網頁 檔案 在 連結分享中的圖像- Sharing - 文件 的評價
- 關於抓 取 網頁 檔案 在 如何從GitHub下載檔案? / How to Download Files in GitHub? 的評價
抓 取 網頁 檔案 在 氣球達人 宋俊霖 Facebook 的最讚貼文
2021.05.31(一)
編織小熊與草莓蛋糕
感謝阿桂老師點給學生的 15 歲生日禮物
原本因為疫情關係許久沒發文
現在又可以再發個氣球文
順便更新一下現況
最近手機會自動跳出今日疫情狀況
每日來個 2、300+ 的本土病例
或者是 10+ 的死亡案例
雖然現在住的清水尚無任何一個案例
不過不久就會有數字出現的感覺
最近花了很多時間
研讀之前在 Hahow 買的兩門課程
一個是 "財富自由 x 程式交易:通往財富自由之路"
另一個是 "Python 小資族選股策略"
關於程式交易這門課
內容約有 40 多個小時
前 20 小時都在講財經知識
後面 20 小時才進入程式實作的部分
簡單來說這門課的宗旨
在於用 MultiCharts 這個軟體
寫各種嚴謹的交易策略並回測歷史績效
檢驗策略是否可行
製作出一個能打敗大盤績效的自動交易程式
如此一來不用害怕沒時間顧電腦
也能幫我做買賣
不過課程看到後半段
發現要餵給 MultiCharts 的歷史資料
只有付上萬元買資料
或者學寫 Python 爬蟲免費抓
所以就把好久以前買但都沒時間看的
"Python 小資族選股策略" 拿來重看
一看發現 Python 程式語言有多麼的厲害
短短幾行就能爬取到網頁資料
整理成自己想要的各種檔案
建立好資料庫後還能每日更新爬取所有股票、法人、券商等
他們的歷年與最新的股價、財報、籌碼等資訊
有了可以分析用的數字
配上指標公式帶入
就可以交叉分析篩選比較
選出歷史績效能打敗大盤的優質潛力股
最重要的是要用來更新 MultiCharts 的資料也是拿的到手
現在也試著用課堂教的東西
拿去股市大富翁裡面測試一籃子股票買下去後
成效到底是好還是不好
然而這門 Python 的課沒有分析到期貨的部分
程式交易的課程卻都以台指期為主軸
之後想要有期貨相關歷史資料
可能還是要再鑽研一下期貨歷史資料爬下來後
怎麼整理輸出成 MultiCharts 可以用的 CSV 檔吧?
目前進度是程式交易的課程快看完了
群益證券也先線上預約開戶了
希望之後的程式交易之路可以順利上路
對於我這種有時候要凌晨工作折氣球
早上常會起不來看盤的人來說
希望之後程式交易可以一勞永逸
不用因為三更半夜美股突然大跌的關係
爬起來趕快賣出台指期之類的
最近歐比變得越來越大隻
肚子皮感覺垂垂的可以摸到肉肉
我睡覺時她突然跳到身上會感受到重量的衝擊
然後毛也變得越來越長
根本就一隻毛茸茸的小怪獸
把她把玩在身邊真的是人生一大樂趣
昨天趁著歐比睡在電腦桌旁邊
就用貓用的指甲剪把爪子修剪一番
深怕歐比醒來或者我剪到血管
手上的冷汗流了一把
最近歐比偶爾還是會把手當獵物咬
我也會用指頭插她嘴巴讓她不敢咬
不過情況似乎沒有好轉
覺得是時候買新玩具轉移她想咬人的注意力
雖然聽說再養第二隻貓的話
兩隻貓互咬後
知道咬和被咬有多痛
就會知道不能隨便亂咬人
但是已經沒有多餘的錢養更多貓
所以就先作罷
蠻多人把 6/14 當作一個指標
說是這天之後疫情可能會明朗化
之後生意又能做下去了
不過我覺得可能還沒那麼快脫離險境
這意味著如果要繼續用氣球賺錢的話
我只能靠線上教學、做 Youtuber、
做電子書之類的方式有個額外收入
不過搬出家裡住之後
已經不像當初退伍時住家裡沒有經濟壓力
現在每個月除了有固定支出的壓力外
還有定期存款的壓力
希望逐漸增加的本金與複利能早日財富自由
根據"Python小資族選股策略"裡面的財務規劃來說
如果財富自由是我的目標
買房可能要到很久約是 10 年後
甚至要一直租房下去也不一定
不然少了一大筆可以滾的本金
多了需要持續支出的房貸與利息
財富自由只會離我越來越遙遠
我希望未來每月被動收入能有個 5 萬
這樣就能足夠維持我想要的生活
折我想折的氣球
偶爾一點生活上的娛樂
有工作依舊會照接
對於金錢的壓力或許也就不會那麼大了
感謝您的收看
我們下篇圖文不符的氣球文再見了
#BalloonArt #造型氣球 #バルーンアート
#客製化氣球 #生日禮物 #生日氣球 #氣球達人
抓 取 網頁 檔案 在 吳老師excel函數與vba大數據教學 Facebook 的最佳解答
因應疫情,剛好可以好好學習網路爬蟲,最簡單的還是用EXCEL裡的VBA來抓資料,這個範例適用IE物件來抓取,程式可以用本來改一改就好,細節不要出錯,很快資料就全部下來了,如下。
EXCEL VBA金融數據之網路爬蟲實作16
01_下載股市資訊網與YAHOO股市
02_用IE物件下載YAHOO股市說明
03_用IE物件下載YAHOO股市細節
04_改為下載股市所有資料
05_下載資料日期用className
完整影音
http://goo.gl/aQTMFS
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介:進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者:廖敏宏(廖志煌)
出版社:碁峰 出版日期:2019/06/30
Python大數據特訓班(第二版)
作者:鄧文淵,文淵閣工作室
出版社:碁峰?出版日期:2020/06/01
吳老師 110/5/22
抓 取 網頁 檔案 在 吳老師教學部落格 Youtube 的最佳貼文
因應疫情,剛好可以好好學習網路爬蟲,最簡單的還是用EXCEL裡的VBA來抓資料,這個範例適用IE物件來抓取,程式可以用本來改一改就好,細節不要出錯,很快資料就全部下來了,如下。
EXCEL VBA金融數據之網路爬蟲實作16
01_下載股市資訊網與YAHOO股市
02_用IE物件下載YAHOO股市說明
03_用IE物件下載YAHOO股市細節
04_改為下載股市所有資料
05_下載資料日期用className
完整影音
http://goo.gl/aQTMFS
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介:進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者:廖敏宏(廖志煌)
出版社:碁峰 出版日期:2019/06/30
Python大數據特訓班(第二版)
作者:鄧文淵,文淵閣工作室
出版社:碁峰?出版日期:2020/06/01
吳老師 110/5/22
抓 取 網頁 檔案 在 吳老師教學部落格 Youtube 的最佳解答
因應疫情,剛好可以好好學習網路爬蟲,最簡單的還是用EXCEL裡的VBA來抓資料,這個範例適用IE物件來抓取,程式可以用本來改一改就好,細節不要出錯,很快資料就全部下來了,如下。
EXCEL VBA金融數據之網路爬蟲實作16
01_下載股市資訊網與YAHOO股市
02_用IE物件下載YAHOO股市說明
03_用IE物件下載YAHOO股市細節
04_改為下載股市所有資料
05_下載資料日期用className
完整影音
http://goo.gl/aQTMFS
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介:進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者:廖敏宏(廖志煌)
出版社:碁峰 出版日期:2019/06/30
Python大數據特訓班(第二版)
作者:鄧文淵,文淵閣工作室
出版社:碁峰?出版日期:2020/06/01
吳老師 110/5/22
抓 取 網頁 檔案 在 吳老師教學部落格 Youtube 的最佳貼文
因應疫情,剛好可以好好學習網路爬蟲,最簡單的還是用EXCEL裡的VBA來抓資料,這個範例適用IE物件來抓取,程式可以用本來改一改就好,細節不要出錯,很快資料就全部下來了,如下。
EXCEL VBA金融數據之網路爬蟲實作16
01_下載股市資訊網與YAHOO股市
02_用IE物件下載YAHOO股市說明
03_用IE物件下載YAHOO股市細節
04_改為下載股市所有資料
05_下載資料日期用className
完整影音
http://goo.gl/aQTMFS
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介:進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者:廖敏宏(廖志煌)
出版社:碁峰 出版日期:2019/06/30
Python大數據特訓班(第二版)
作者:鄧文淵,文淵閣工作室
出版社:碁峰?出版日期:2020/06/01
吳老師 110/5/22
抓 取 網頁 檔案 在 5 資料讀取與匯出| 資料科學與R語言 - 曾意儒Yi-Ju Tseng 的推薦與評價
以下介紹由檔案、網路等來源匯入多種資料格式的匯入方式,以及建議的資料匯出方法。 ... 或是使用XML工具分析擷取網頁( XML package),使用方法與XML檔案處理方法 ... ... <看更多>
抓 取 網頁 檔案 在 Re: [算表] 批次查詢、抓取資料到excel檔案裡的方法- 看板Office 的推薦與評價
https://210.241.111.220:8080/LandRiseTax.asp?Town=08&Sect=0329&LandNo=00010000&RegNo=0000000128
https://kuso.cc/4fKo
可看看看板上或精華區抓網頁資料的文章
會用到一些vba(新增web查詢時錄巨集可得)
需要知道的是要抓的網址 及哪些是變數
在vba碼中用 & 接起來變成新網址
而所需要的網址如上
變化如
"...Town=" & [A1] & "&Sect=" & [B1] & "...
※ 引述《Caddawyc (Caddawyc)》之銘言:
: 軟體:excel
: 版本:2003
: 現在又可以連線了 >//<
: 補充:
: 文章PO出來之後,網站就掛了 T_T
: 大概是有大德在幫忙TRY吧
: 不過,沒想到我丟問題出來造成反效果了 XD
: 如果一直連不上,板友能指點解答的方向嗎?
: 我看頁框資訊,有看到路徑是 *.asp 內容是 text/html
: 因為用excel匯入外部資料無法達到我要的結果,
: 稍微google後,有些答案似乎說 無法僅以excel完成。
: 不過,還是想來問問看是否可以得到解答,或是我可以往哪邊詢問。
: 先謝謝囉!
: 因為P幣不多,只能全數給提供我實際操作後覺得OK的解答的那位大德,
: 如果有其他好心的板友,只能說抱歉了 >_<
: 問題開始:
: https://img165.imageshack.us/img165/8283/20090116112038cy0.png
: 上圖是這個網頁https://210.241.111.220:8080/normalQry.asp開啟的樣子。
: 點選<土地增值稅試算>後,出現右側的畫面。
: 也可以點選這個網頁https://210.241.111.220:8080/LandRiseTax.asp,
: 會直接出現右側的畫面。
: 目前有右上紅框的4個欄位資料,資料建立在EXCEL檔案。
: 想請問,可以用什麼軟體或方式,讓電腦能夠自動把上述EXCEL檔內的4個欄位,送到網頁
: 查詢,再將<用以查詢的紅框的四個欄位>加上<亮綠色框的資料>回傳到EXCEL檔。
: 需要注意的地方,是亮橘色框的5個欄位可能不只一個,也許會有2個、3個或是更多的亮
: 橘色框。若是不只一個,則必須<用以查詢的紅框的四個欄位+每個淺黃色框+一個亮橘色
: 框>必須自成一列,幾個橘框就幾列。
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.47.37.246
※ 編輯: JieJuen 來自: 114.47.37.246 (01/16 20:14)
... <看更多>