關於 r讀取資料 ，我們在網路上蒐集到這些相關的討論、資訊與評價

本篇文章是個技術分享文，Netflix 分享內部過去四年來是如何打造一個分散式的 Tracing System。
Netflix 的串流服務想必大家都很熟悉，但是作為服務提供者來說，要如何維運這套分散式的串流服務就沒有這麼簡單。

舉例來說，當一個特定的使用者回報其服務有問題時，內部的系統要如何把下列資訊給全部串接起來組合出一個可以讓內部工程人員除錯的機制
1. Streaming Session
2. 微服務之間的流量
3. CDN 的處理

對使用者來說就是串流有問題，但是背後的網路封包實際上經過哪些 app，走過哪些節點，踏過哪些機房都是很複雜的事情，不把這些全部資訊都組合起來則非常困難除錯。

Netflix 決定要針對這個問題打造一個分散式的 Tracing 平台，而那時還沒有這麼多如 Opentracing, Zipkin, Jaeger 等相關的開源專案可以用，所以 Netflix 必須要自己去打造這套系統。
這套系統的組成跟現今常見的架構雷同，Application 本身要透過 Library 來產生出 Tracing 需要的資料，接者透過一套串流處理將資料給傳送到後端的儲存空間，最後則是由UI等相關服務來讀取資料方便使用

本篇文章基於這種架構下去探討 Netflix 的心路歷程，其中幾個比較有趣的問題這邊列出來
1. Tracing 資料的取樣該如何設計，過於頻繁會造成資料空間使用過量，過於稀少則會造成資料不夠完整，這部分 Netflix 採用基於 hybrid head-based 的取樣方式，針對特定區間採用 100% 的取樣方式，而其餘則是根據設定來隨機取樣
2. 資料儲存的部分則是有非常豐富的變化歷史，早期使用 ElasticSearch 後來對其 R/W 的效能感到不滿而輾轉到使用 Cassandra，而 Cassandra 最初使用 AWS 的 SSD 做為底層應用，後來改轉使用 EBS 並且搭配資料壓縮與一些過濾機制， 2021 決定要引入 Storage Gateway 的方式來處理

儲存方面幾乎是每年都在改善與改進，真的要遇到問題才有辦法針對問題下藥，這也是架構方面很難一口氣做到最好，隨者業務與流量擴大，很多現有的架構可能都需要打掉重來才有辦法應付

全文不算太短，但是推薦有興趣的人可以閱讀全文來看看 Netflix 是如何打造這套系統的

https://netflixtechblog.com/building-netflixs-distributed-tracing-infrastructure-bb856c319304

【黃之鋒 Joshua Wong x 觀塘願景 - 梁凱晴 Jannelle R. Leung：燈柱監控存疑慮未能釋除】

自去年夏天開始，各區示威遍地開花，在觀塘最矚目的莫過於是示威者在遊行拉倒智慧燈柱，直斥設施侵犯港人私隱。事隔半年，政府委任的多功能智慧燈柱技術諮詢專責委員會發表報告，建議智慧燈柱不再安裝高清鏡頭。此舉固然有助減少批評，但其實委員會同時提議加設熱能探測器和光學雷達（LiDAR），即使兩者被業界稱為「非視像技術」，實際用途仍是蒐集影像。

熱能探測鏡頭 海外法院批評

美國最高法院在2001年於Kyllo v. US一案頒下判辭，表明聯邦探員在街道透過熱感探測器蒐集住戶影像，不單違反美國憲法增修條文第四條，更指明熱能探測器能提供當事人在家中活動的細節（the imaging provided by the camera revealed details about Kyllo's home）。所以，若要完全說服公眾，顯然絕不單是以熱能探測的黑白紅外線鏡頭取代彩色高清攝錄機便了事，尤其是熱能探測技術，根本沒可能只單純計算交通流量資料，定必會把行人活動盡錄於紅外線鏡頭底下。

藍牙功能未清 未知製造公司

與此同時，委員會提議新智慧燈柱取消「藍牙探測器」，相信是源於探測器被民間揭發可探測「網絡裝置身分證」和「智能手機ID」，即存在追蹤及提取電子裝置如手機資料的功能。當時政府已聲稱該功能因具爭議，所以從未啟動，現能取消確是樂見其成，但仍同時保留「藍牙傳送器」在新智慧燈柱，必然會是另一關注重點。畢竟普羅大眾未必清楚兩者分別在何，縱使報告提到「藍牙傳送器」單純為提供準確定位服務，傳媒報道亦引述指該裝置只用作確認燈柱位置，但到底侵害私隱或追蹤手機的功能，是否可以保證不再存在，此點實在有待政府資訊科技總監跟公眾說明，方有可能取信於民。

更重要的是，未來新智慧燈柱的零件來源為何，是至今仍未知悉的重要資料。過去提供「藍牙探測器」的訊科系統，在公司網站竟可離奇地連接至作為中國天網工程承辦商的「上海三思」，引來公眾質疑有意引入社會信用評分系統。同時，去年8月，香港眾志已指出燈柱裝置多由大陸生產，如行業乙太網絡交換器（Industrial Ethernet Switches）更獲中華人民共和國信息產業部頒發「進網許可」，可連接至中國大陸公用電訊網。與其斷言全面支持，當務之急定必是要求政府提供新智慧燈柱各裝置和零件的產地、製造商和技術規格。

隔空讀取資料 危機不曾消除

綜觀國際社會對發展智慧城市最大的保留，必然是智慧燈柱存有的無線射頻辨識（RFID），因該技術容許在當事人不知情、無接觸和遠距離的情况下掃描晶片資料。如倫敦曾有公司在回收桶安裝RFID標籤，用以辨認途人並為其提供適合廣告；美國也曾研究出RFID標籤讀取在30呎範圍駕駛人士之執照，以作執法之用。

坦然而言，若RFID標籤設定只限掃描視障人士手杖也沒大礙，但單靠委員會在報告寫上一句「此類裝置無法收集數據，因此不存在個人資料私隱問題」，未見完整解釋，實在難保智能燈柱不會掃描途人的信用卡和八達通，而掃描範圍到底達到多少公尺、會否得知市民位置，資料根本一概欠奉；這也說明為何民主派地區工作者，過去不時派發阻隔RFID信號的卡套予街坊，嘗試避免監控者讀取資料。

資料隨時送中 淪為執法工具

縱然委員會聲稱政府已嚴格遵守《個人資料（私隱）條例》規定，但主權移交23年以來，「禁止將個人資料移至香港境外」的《私隱條例》第33條尚未生效，即香港現行法例根本不能限制數據出境。正如傳真社曾揭發百度手機程式DU Caller自動將用戶資料傳送至北京的伺服器，在缺乏法例保障的情况下，到底燈柱所蒐集到的資料會否被送到中國，絕對是港府百辭莫辯也難以回應的問題。

歸根究柢，燈柱能否保障私隱不單成疑，落後法規亦未能應付「物聯網」科技帶來的挑戰，而政府最失語的位置，更是不能排除智慧燈柱所蒐集的影像和資料，會用作執法部門搜證拘捕和起訴示威者。無疑裝設燈柱有助發展智慧城市，但在警暴濫權屢見不鮮的情况下，實在不能怪責公眾抱持「寧願原地踏步都不想行差踏錯」的心態；而要釋除私隱疑慮責在政府，對於官員在觀塘區議會今天討論「多功能智慧燈柱試驗計劃」時會如何解說，民間定必拭目以待。

#寧願原地踏步都不想行差踏錯

https://news.mingpao.com/ins/%E6%96%87%E6%91%98/article/20200317/s00022/1584370718919/%E6%99%BA%E6%85%A7%E7%87%88%E6%9F%B1%E7%9B%A3%E6%8E%A7%E7%96%91%E6%85%AE%E6%9C%AA%E8%83%BD%E9%87%8B%E9%99%A4%EF%BC%88%E6%96%87-%E9%BB%83%E4%B9%8B%E9%8B%92-%E6%A2%81%E5%87%B1%E6%99%B4%EF%BC%89

從EXCEL VBA自動化到Python程式開發入門第15、16次重點回顧會員資料讀取與寫入練習&資料庫寫入修改與去除串列中的換行&改寫全省郵局地址轉入到資料庫&列出目錄下所有檔案名稱&開啟所有檔案並新增資料到資料庫

上課內容：
01_重點回顧會員資料讀取與寫入練習
02_資料庫寫入修改與去除串列中的換行
03_改寫全省郵局地址轉入到資料庫
04_如何列出目錄下所有檔案名稱
05_開啟所有檔案並新增資料到資料庫

設備問題有影無聲：
02_開檔與切割串列練習練習
03_將新增範例改為會員資料資料表
04_批次新增會員資料與查詢全部
05_刪除舊資料的兩種方法
06_改為關鍵字查詢功能
07_改用executemany寫法寫入資料
08_將範例改為學生成績

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/labor_vba2python_2018

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰? 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 107/4/26

EXCEL,VBA,Python,文化推廣部,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境