＃SiliconJazz （Silicon Jazz ）– #AI專用運算加速晶片
＃腦與腦的對決
2017年5月，由Google DeepMind開發的AlphaGo在圍棋比賽中擊敗人類棋王，並在圖像識別、語音識別等領域的正確率也超越人類後，掀起新一波AI(Artificial Intelligence)人工智慧發展與投資風潮。針對AI的運算晶片，美國科技巨頭 Google、蘋果、微軟、Facebook近年陸續開始研發AI專用晶片，連中國科技巨頭阿里巴巴也宣布正在研發 AI 晶片，FITI 團隊 ＃SiliconJazz（Silicon Jazz ）亦不落人後，研發低功耗AI運算加速晶片，期待能改變世界雲端的資訊流。
#AI晶片廣泛應用
AI專用的運算晶片應用的領域廣泛，如：NVIDIA開發適合應用於深度學習的AI晶片、Google開發優化網頁搜尋能力的AI晶片、Microsoft為加速頭戴顯示器的圖像辨識和語音辨識能力開發頭戴顯示器的AI晶片等。
在物聯網的應用環境，普遍要求AI的運算晶片具優秀的運算能力外，也要維持最低的功耗以達到更長的電池續航時間。低功耗AI運算晶片在成為全球半導體產業的發展焦點，Silicon Jazz團隊選擇針對 ＃雲端資源的終端設備 或 ＃物聯網端點，研發相關的 ＃低功耗AI運算晶片。
#運算加速晶片特色
Silicon Jazz團隊所開發的低功耗AI運算加速晶片，以 ＃並行處理大幅增加運算速度，不但 ＃有效減少CPU的負擔，與同類型的晶片比較下，＃功耗能降低500倍外，＃成本亦降低40倍，並解決雲端進行大量數據傳輸導致的高功耗、數據傳輸延遲、設備成本等問題。
＃看到未來之星
＃AI話題最近熱到一個不行
＃FITI 徵選報名即刻開放！大家快去報名！📣📣
https://fiti.stpi.narl.org.tw/index
ai專用運算加速晶片 在 Re: [討論] AI晶片- 看板Tech_Job - 批踢踢實業坊 的推薦與評價
這我來回答吧
AI晶片一般是指用來加速深度學習模型推理的晶片
如果是訓練通常還是利用Gpu 因為生態系比較成熟
那麼深度學習推理時間會耗在哪裡呢
通常就是convolution 或是Gemm
當然convolution 可以透過線性代數幾次的轉換
變成gemm 這也是一門學問
所以矩陣相乘等於是最重要的運算了
你只要能加速這麼簡單的東西
就能號稱你在做AI晶片了
不斷的堆硬體上去 性能就出來了
甚至有些公司走火入魔
連非矩陣運算的指令都做了
因為深度學習的模型越來越大
所以並行去運算矩陣相乘就是很重要的事了
你的硬體並行時 耗電跟降頻做得夠好的話
就能有點能見度了 現在中國的新創沒有一家做到的
所以就有一些人腦袋動到光計算上面
訊號轉成光能計算 算完再轉回電
但這非常的不穩定 基本上也是不可能回收成本
好了 你說這麼簡單的話 那也很容易啊
然而 深度學習在運行過程中 還有一個很大的耗損
就是算子與算子之間的資料傳輸
用硬體加速過後 每個算子的時間大幅縮短
但是彼此之間的memory copy仍然耗損嚴重
於是cache或是local memory變的異常重要
算子與算子之間的fusion做得好
搭配上速度夠快又大的memory基本上也很厲害了
中國那一堆新創耗電降頻不行
現在就往這方向拼命做
那麼AI晶片前景怎麼樣呢
老實說 前景是死路一條
CPU GPU 大公司都在從自家指令來優化模型
或是直接配上特殊資料格式 如tf32 fp8
華為的c4比起來就是個花拳繡腿 還推行不起來
我現在底下50多人就在做未來的方向
從模型優化演算法 記憶體策略 框架
到底層assembly加速 完整的一套方案
如果你有關注一些新的paper
優化到最後 對比常用硬體 AI晶片根本沒有優勢
就像挖礦沒有收益時的礦機一樣
純電子垃圾
※ 引述《QQmickey》之銘言
: 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的
: 自己也是理工背景 但是想問科技版的大大們
: 這是真的嗎?
: 我所學的 覺得不太可能
: 雖然很多事很難講 已知用火
: 諾貝爾物理獎也一堆錯的
: 難道是神學
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.76.1.30 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1663433702.A.04B.html
... <看更多>