從EXCEL高階函數到VBA程式設計工作坊(師大)
01_手機範例利用TEXT與VALUE與樞紐分析表與圖
02_開啟開發人員與錄製巨集與增加按鈕
03_範例151括弧字串用FIND與MID與IFERROR
04_北市住宅竊盜點位公式MID與FIND與IFERROR函數
完整影音
https://www.youtube.com/playlist?list=PLgzs-Q3byiYMAO45ZAemuL9p3Hxhi2EBp
課程目標
提高工作效率：自然不用加班、工作更愜意
培養VBA程式專業技能：增加職場升遷或轉職籌碼
課程目標：
1.熟悉EXCEL內建各類別250幾個函數(理解代替死背)
2.從函數到VBA設計(Sub)與自訂函數(Function)
3.錄製巨集與編修VBA程式
4.學會VBA的重要使用技巧(變數、迴圈與邏輯)
5.學會VBA表單設計與將EXCEL當資料庫
6.學會快速下載網頁資料(巨集錄製、迴圈、邏輯)
進階班
7.用EXCEL做銷貨單與查詢系統
8.資料庫、多工作表、工作簿、網路爬蟲等應用
?9.EXCEL VBA與樞紐分析表視覺化報表
10. EXCEL VBA與Python程式協同應用
五大類函數與自訂函數
一、文字和資料函數
二、邏輯函數
三、日期和時間函數
四、數學和三角函數
五、檢視和參照函數
上課用書：
Excel VBA一點都不難：一鍵搞定所有報表
作者： Excel Home
出版社：博碩
出版日期：2013/06/26
定價：380元
超圖解 Excel VBA 基礎講座
作者： 亮亨/譯 出版社：旗標
出版日期：2006/05/15 定價：420元
日本Amazon網站同類書籍銷售No.1
吳老師 110/4/21
台灣師範大學,運算思維融入教學,函數,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻
python網頁 查詢 在 [問題] 爬蟲- requests後的資料查詢(新手) - 看板Python 的推薦與評價
大家好，小弟剛接觸python幾天...
有個資料查詢的問題一直無法解決
(https://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx )
該網站查詢的資料結果是url不變並以js呈現(請見諒非本科系的形容@@")
且結果若超過60筆，才會出現下一頁的按鈕可以點選
所以碰到的問題是在顯示資料之前
第2、3頁...下一頁的按鈕不會出現
而按鈕的方式是以javascripl：__doPostBack的方式寫入
因此問題有兩個：
1.我該如何才能獲得第1頁之後的資料
目前查到的方法好像要利用requests.session方法
但是怎麼寫都跑不出來
2.有辦法可以在查詢後，直接利用"下載"這個按鈕下載資料嗎
爬文後不知道能否利用request後，再配合selenium
只是找到的文章大多是利用cookie帶入，好像不適合這個網頁
不知道是否有善心版友可以協助指導新手...
以下附上查詢的code跟試著加入session的code
單純查詢一次性資料：
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import pandas as pd
resp =
requests.get('https://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx')
soup = BeautifulSoup(resp.text, 'html5lib')
view_state = soup.find(id='__VIEWSTATE')['value']
event_validation = soup.find(id='__EVENTVALIDATION')['value']
viewstate_generator = soup.find(id='__VIEWSTATEGENERATOR')['value']
form_data = {
'__VIEWSTATE': view_state,
'__VIEWSTATEGENERATOR': viewstate_generator,
'__EVENTVALIDATION': event_validation,
'ctl00$contentPlaceHolder$txtStartDate':'106/12/01',
'ctl00$contentPlaceHolder$txtEndDate':'107/03/15',
'ctl00$contentPlaceHolder$ucCoopVegFruitMarket$radlMarketRange':'P',
'ctl00$contentPlaceHolder$ucCoopVegFruitMarket$lstMarket':'109',
'ctl00$contentPlaceHolder$ucCoopVegFruitMainProduct$radlProductType':'V',
'ctl00$contentPlaceHolder$ucCoopVegFruitMainProduct$lstProduct':'FA0',
'ctl00$contentPlaceHolder$dropProductClass':'1',
'ctl00$contentPlaceHolder$btnQuery':'查詢'
}
resp =
requests.post('https://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx',
data=form_data)
df = pd.read_html(resp.text)[6].dropna(axis=0, how='any')
print(df)
---------------------------------------------------------------------------
加上session，但是資料一直無法跳到第2頁> < ：
import requests
from bs4 import BeautifulSoup
import pandas as pd
resp =
requests.get('https://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx')
soup = BeautifulSoup(resp.text, 'html5lib')
with requests.session() as s:
s.headers['user-agent'] = 'Mozilla/5.0'
soup = BeautifulSoup(resp.content, 'html5lib')
target = (
'ctl00$contentPlaceHolder$dataPager$ctl02$ctl{:02d}'
)
# unsupported CSS Selector 'input[name^=ctl00][value]'
data = { tag['name']: tag['value']
for tag in soup.select('input[name^=ctl00]') if tag.get('value')
}
state = { tag['name']: tag['value']
for tag in soup.select('input[name^=__]')
}
data.update(state)
view_state = soup.find(id='__VIEWSTATE')['value']
event_validation = soup.find(id='__EVENTVALIDATION')['value']
viewstate_generator = soup.find(id='__VIEWSTATEGENERATOR')['value']
form_data = {
'__VIEWSTATE': view_state,
'__VIEWSTATEGENERATOR': viewstate_generator,
'__EVENTVALIDATION': event_validation,
'ctl00$contentPlaceHolder$txtStartDate':'106/12/01',
'ctl00$contentPlaceHolder$txtEndDate':'107/03/15',
'ctl00$contentPlaceHolder$ucCoopVegFruitMarket$radlMarketRange':'P',
'ctl00$contentPlaceHolder$ucCoopVegFruitMarket$lstMarket':'109',
'ctl00$contentPlaceHolder$ucCoopVegFruitMainProduct$radlProductType':'V',
'ctl00$contentPlaceHolder$ucCoopVegFruitMainProduct$lstProduct':'FA0',
'ctl00$contentPlaceHolder$dropProductClass':'1',
'ctl00$contentPlaceHolder$btnQuery':'查詢'
}
#
data['ctl00$FhMainContent$FhContent$ctl00$AnalysesCourse$CustomPager$total']
resp =
requests.post('https://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx',
data=form_data)
soup = BeautifulSoup(resp.text, 'html5lib')
sl = soup.find_all("span")
last_page = '+'.join([span.get_text() for span in sl][-2])
# for page in range(last_page + 1):
for page in range(int(last_page)):
data['__EVENTTARGET'] = target.format(page)
df = pd.read_html(resp.text)[7].dropna(axis=0, how='any')
print(df)
謝謝大家
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.217.170.50
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1521254934.A.7ED.html
※ 編輯: truth1999 (180.217.170.50), 03/17/2018 10:51:12
ctl00$contentPlaceHolder$dataPager$ctl02$ctl00，並且不會變動
所以我原本想簡單一點，直接由結果抓到共x頁，然後執行x-1次換頁即可
謝謝f大、v大跟a大的回覆與建議，v大提到的部份我有注意到
承上回覆，所以我有嘗試將換頁按鈕js的dopostback參數寫入。
不管是頁碼按鈕(值為頁數-1)、或者是下一頁按鈕(值不變)，
還是寫不出如何在第一次取得requests後，再送出eventTarget
來拿到下一頁的查詢結果...
可能是因為此網站的設定是，要取到第一次的查詢後，
才會觀察(搜尋?)到eventTarget，所以這是我困擾的點><
※ 編輯: truth1999 (180.217.170.50), 03/17/2018 18:02:07
謝謝C大的資訊，真的在第二頁開始加上參數就可以了
超級感謝您
※ 編輯: truth1999 (180.217.170.50), 03/18/2018 14:07:34
... <看更多>