AI伺服器

為何衍生AI伺服器?

在AI、5G、大數據、物聯網、邊緣運算..等網絡技術的應用中,網際網路中的數據呈現幾何倍數的增加,這對以CPU為主要算力來源的一般伺服器而言是嚴重的考驗,目前CPU的製程技術中單個CPU的核心數已接近極限,但數據量還在持續增加,因此必須提升伺服器的數據處理能力,因此AI伺服器應運而生。

AI伺服器帶來的影響?

生成式 AI點燃科技巨頭的競爭和商機,台灣掌握了全球近六成的先進製程產能以及近八成的伺服器出貨量,主要供應AI伺服器的電源模組廠家也都在台灣,生成式人工智慧(AI)需要龐大的算力,帶動伺服器晶片的耗電功率提升,從各個層面來看,AI 帶動電腦產業的再生,也為台灣企業帶來黃金契機,對電源供應器廠商來說是新的挑戰與機會。

甚麼是AI伺服器?

AI伺服器是專為處理複雜人工智慧訓練及推論而設計的先進運算系統,它結合了強大的硬體資源和專用的軟體工具,以支援各種需要高效處理大量資料和複雜運算的AI任務。它們可能採用多核心處理器、圖形處理器(GPU)或特定的AI加速器(如TPU),以加快訓練和推理運算的速度,這些硬體元件能夠處理大量的數據並進行並行運算,提供更快速和高效的AI處理。

AI伺服器應用場景

基於AI伺服器的優勢,應用端除聊天機器人外,更延伸到搜尋、辦公、金融、教育、娛樂等各種應用,從企業端到客戶端都已有越來越具象的應用出現,AI伺服器在醫療、搜尋引擎、遊戲、電商、金融、安防等行業有著廣泛的應用。

智慧醫療

管理病人的代價很昂貴,醫療系統必須從治療轉變成預防,以及長期的照護管理。通過機器視覺、知識圖譜、深度學習等人工智慧技術,模擬醫療專家思維,推理診斷,幫助醫生定位病情,輔助做出診斷,提高醫療照顧效能。應用場域: 1.身為病人:要掛哪一科?名醫難掛號?掛號等很久,何時到診間?醫生開立的藥怎麼吃,注意事項,副作用?2.身為醫生:一診排到150號,天天還有病人請求加掛,時間不夠用,每個病人講不了兩句話,特殊案例很挑戰需要時間思考治療方案,鑽研AI大量醫療資訊交流及分析運用,醫療診斷輔助提升醫療品質3.醫院管理:醫療流程怎麼設計才有效率,節省病人時間,檢驗流程怎麼設計才不會出錯,流行性傳染病管理&預警,成千上萬的醫材不能錯置遺失

人臉識別、語音識別、指紋識別

通過深度學習、機器學習等技術,可實現圖片,視頻等圖像資料訓練。高密集動態人流,啟用GPU加速,針對海量臉部資料庫,進行超快速搜尋演算法。應用場域: 1.安控與保全2.門禁管理及存取控制3.員工考勤打卡4.公共安全及科技執法,通緝犯比對&協尋失蹤人口&走失的長者5.公務電腦登入解鎖,隨著網路普及政府數位化推展,政府機密或個人資料洩漏的風險與時俱增,在資訊安全保護意識抬頭下,為保護機敏資訊,許多機關或單位都開始逐年推廣相關措施

安防監控

利用知識圖譜技術、深度學習等技術,可以應用到人體分析、圖像分析、車輛分析、行為分析等安防場景中。大型跨廠區的作業人員因長時間於戶外環境工作,加上防疫管理與人身安全之考量,需整日配戴口罩、安全帽、護目鏡、遮陽帽等,造成人臉局部被遮蔽,而增加臉部辨識困難度。應用場域: 1.智慧工廠和倉儲的保全2.居家用的智慧安控系統3.防止未知或黑名單人員進入場所4.公共運輸乘客與機組登機及報到,邊境入境管制5.使用特定資源或專業機械設備

智慧零售與個人化客戶體驗

運用科技,提供顧客更方便、快速、安全的消費體驗,幫助品牌打造線上、實體門市的銷售環境,優化消費者購物體驗和流程,基於線上消費者的購物行為分析與實體門店歷史銷售數據,更精準地對未來銷售進行預測,為經營者提供更準確的決策分析。此外在零售行業中,常見的還有無人售賣、人臉支付等應用場景。應用場域: 1.零售業:電子看板的智慧廣告2.服務業:識別VIP客戶並提供會員禮遇3.非接觸性支付4. AI分析顧客行為

智慧金融服務場景

在整個金融及保險作業中需加強防範詐騙,防止身分盜竊,使用快速且合乎成本效益的方式,安全地開立帳戶,讓客戶簡化遠端處理流程,同時保護帳戶的完整性,節省客戶現場等候時間,加速服務辦理效率加快並強化客戶身分驗證流程。應用場域: 1.判斷信用與借貸價值智慧分析2.投資交易自動化下單3. AI機器人理財顧問4. 客製化及快速的保險推薦5.信用卡盜刷偵測 6. AI選股投資下單,使用機器學習演算法來篩選可靠的投資策略

生成式AI伺服器與一般伺服器的電源差異

近年,『AI』應用進入了一個全新世代的應用與發展,隨著ChatGPT的實務應用與開發,全球對AI的展望,更是充滿了無限的想像。而這樣的一個AI應用,必須建構在非常強大的運算能力上。從幾年前的『礦機』(數位貨幣)發展,到今日『AI』的廣泛應用,除了CPU外,最主要且重要的晶片模組,就是GPU。因此隨著GPU,近來的急速發展,強化了所有運算能力,進而造就生成式應用系統的快速應對與學習。相較於一般伺服器,AI 伺服器的狹義定義是指搭載 AI 晶片(如前述的GPU/ TPU晶片)的伺服器,相對廣義的定義則是至少搭載一顆 GPU 的伺服器既被視作是 AI 伺服器。

而在這樣的嶄新應用下,對於『電源供應器』的應用與需求,是否有著全新的要求與規格, 可由下列幾點進行說明:

功率需求
電源瓦數需求,倍增化。

傳統伺服器運作,一台大約裝設二至四個CPU(中央處理器)模組,及較低階之GPU模組。 但生成式AI伺服器,使用軟體演算法,適用在大模型的訓練與推論上,不僅運算核心從CPU移到GPU(圖像處理器),晶片數量也倍增,可能需要到兩個CPU,加上八個GPU之多。 相較於過去通用型的一般伺服器,功率需求提高五至六倍之多。

電壓需求
系統需求電壓,變異化。

生成式AI伺服器之電壓需求高達54V,傳統伺服器則已12V為主流。主要的原因,既是為了效率的提升。 在功率需求一直不斷提高的前提下,相關耗能的議題,日益顯著。節能及省電(節約費用)的議題,已是必須面對的重大挑戰,因此唯有將『應用電壓』提升,效率既可再提升,進而減 少損耗。傳統伺服器的電壓(12V)轉換效率約96%,到了生成式AI伺服器的電壓(54V),則將往97.5%邁進。

穩定度要求
電壓飄移響應穩定度,極端化。

在強大的GPU進行演算的過程中,將不斷的產生瞬間大電流(Peak Current),而在這樣的進程中,PSU還是必須能維持穩定電壓,精準的提供供輸,以維持系統所需。因此相關之響應速度要夠快且穩定。

經由上述的應用發展,反觀電源的發展趨勢,將朝向「三高」:高效能、高功率、高密度 之定位做為開發方向。ZIPPY新巨企業在以往的發展歷程中,本就已提供市場高功率密度、極小化尺寸、最高性能之產品為主。因此在相對的研發量能皆已就定位下,新巨將全面供應市場,AI應用電源之相關產品。ZIPPY新巨企業期待能在AI的領域中,貢獻本身的技術能量,攜手全球系統開發商,一同將AI之應用推向下一個紀元。

推薦機種