時(shí)間:2023-11-01來(lái)源:本站
AI潮涌,大模型日新月異,但與此同時(shí)百戰正酣的AI大模型面臨著(zhù)算力不足的困境。于是,如何破解大模型算力之困、加速大模型落地到具體應用場(chǎng)景、如何降低大模型的使用成本等成為業(yè)界關(guān)注的焦點(diǎn)。此時(shí),智能邊緣技術(shù)應需而生,成為破解大模型算力之困的又一良方。
寶德智能邊緣產(chǎn)品煥新出發(fā),以低延遲、高效率和實(shí)時(shí)決策為突出優(yōu)勢的邊緣技術(shù)為基礎,深度融合人工智能、機器學(xué)習等新技術(shù),將AI能力帶到更接近數據和終端用戶(hù)的地方,有效補充大模型的邊緣側AI算力。
基于邊緣計算+AI技術(shù)
智能邊緣助攻大模型部署和應用
數字化時(shí)代,海量數據的產(chǎn)生和處理讓傳統云計算和數據中心計算的不足日益凸顯,邊緣計算成為有力補充,它采用分布式計算架構,將計算資源和數據存儲等放置在離數據源和終端用戶(hù)更近的位置,具有即時(shí)處理數據、顯著(zhù)降低延遲,高效利用資源、有效降低成本,增強安全性和隱私保護,以及釋放遠程設備潛力的突出能力。
近年來(lái),AIGC和大模型迅猛發(fā)展,其背后需要海量的AI算力支持。期間,如果大模型的訓練和推理都在云端,完成后再返回結果給前端的邊緣側,需要的通信時(shí)間就較長(cháng)。所以越來(lái)越多的客戶(hù)選擇在云端完成大模型訓練,在邊緣側完成微調后再推理并給出結果。這就需要邊緣側設備具有集計算能力與智能技術(shù)于一體的綜合能力,智能邊緣正當其時(shí)。
智能邊緣將邊緣計算與AI、機器學(xué)習算法、智能設備、邊緣數據中心和網(wǎng)絡(luò )等結合在一起,能夠幫助客戶(hù)將AI算法和模型部署到邊緣側,在本地進(jìn)行實(shí)時(shí)的數據處理、分析和決策,減少對云端的依賴(lài)。尤其突出的是,智能邊緣可以提供更高效率、更低延遲、更優(yōu)的隱私保護和數據通信能力,實(shí)現智能感知、智能分析和智能決策,堪稱(chēng)大模型部署和應用的“神助攻”,已經(jīng)在智能制造、智慧交通、智能電網(wǎng)、智能安防、智慧社區、智慧城市等數據傳輸及處理量極大、對數據實(shí)時(shí)處理能力要求極高的領(lǐng)域擁有杰出的表現。
寶德智能邊緣產(chǎn)品
助力破解大模型算力之困
作為中國領(lǐng)先的計算產(chǎn)品方案提供商和中國AI 服務(wù)器市場(chǎng)的TOP3,寶德深刻洞察大模型用戶(hù)的算力需求,充分發(fā)揮自身在算力尤其是AI領(lǐng)域的技術(shù)積累和市場(chǎng)經(jīng)驗,打造完善的智能邊緣計算產(chǎn)品線(xiàn),包括智能邊緣服務(wù)器、智能邊緣盒子和工控機,滿(mǎn)足提供異構計算的超強算力,適應復雜嚴苛的應用環(huán)境,并且可以支持靈活定制。
寶德雙路智能邊緣服務(wù)器PR2730P
寶德智能邊緣服務(wù)器PR2730P采用2U雙路高集成度設計,有限空間內蘊含強勁的計算性能。它采用Intel C621高性能芯片組,支持英特爾®至強®可擴展處理器,最大內存容量2TB,支持6塊熱插拔2.5寸硬盤(pán),可靈活擴展半高的PCI-E3.0設備,支持半高單寬的AI 加速卡。PR2730P專(zhuān)門(mén)為部署網(wǎng)絡(luò )邊緣小規模數據中心量身定制,符合電信標準的設計—2U高度+45cm深度,可與電信設備混合部署;強勁的性能充分解決本地化終端處理的需求,并且可以滿(mǎn)足URLLC和mMTC等超低延時(shí)需求。而且,經(jīng)過(guò)技術(shù)處理和優(yōu)化的PR2730P在耐高溫、防塵、電磁干擾、抗震等方面表現卓越,可以適應簡(jiǎn)陋、惡劣、嚴苛的邊緣應用環(huán)境要求。
寶德單路智能邊緣服務(wù)器PR2610W
PR2610W是寶德匠心推出的一款單路邊緣智能服務(wù)器,它采用Intel W580高性能芯片組,支持至強 W1200/1300系列和酷睿10/11代處理器 ,最多支持內存容量128GB,標配支持4個(gè)2.5+2*3.5寸非熱插拔SATA硬盤(pán),擁有4個(gè)PCIe擴展槽,并可靈活擴展全高全長(cháng)的PCI-E設備,保證了強勁的邊緣算力。它采用便于電信設備混合部署的短機箱設計,而且具有杰出的高擴展性,最大可以支持2張GPU加速卡,并且可以外接攝像頭等設備。尤其值得推薦的是,它創(chuàng )新的工業(yè)服務(wù)器+超靜音設計,非常適合商超終端、數字安防等人機共存工作環(huán)境。
寶德智能邊緣盒子IPC-1002M1
寶德智能邊緣盒子IPC-1002V1
當大模型的應用場(chǎng)景需要延展到高溫/酷寒/超濕/塵噪等更加嚴酷的邊緣工作環(huán)境中時(shí),功能強大、性能卓越可靠的寶德智能邊緣盒子IPC-1002M1和IPC-1002V1是算力優(yōu)選,它們基于最前沿的AI算法,擁有成熟的軟件生態(tài),能夠提供算力與價(jià)格的優(yōu)秀平衡點(diǎn)。其中,IPC-1002M1搭載Jetson Nano模塊,它集成了Maxwell架構的GPU,可提供最大0.5 TOPS(FP16)算力,配備4 core ARM A57 CPU,具備4K*2K@30fps(HEVC)編碼能力和4K*2K@60fps(HEVC)解碼能力,支持最多8路1080P視頻解碼。IPC-1002V1搭載Xavier NX模塊,它集成了Volta架構的GPU,可提供最大21 TOPS(INT8)算力,配備6-core NVIDIA Carmel ARM®v8.2 64-bit CPU,具備4K*2K@60fps(HEVC)編碼能力和4K*2K@60fps(HEVC)解碼能力,支持最多32路1080P視頻解碼。
而且,它們都支持定制擴展多路PCIe插槽、業(yè)界領(lǐng)先的多路4K Sensor輸入和多路圖像處理。尤其是,這兩款產(chǎn)品具有防震動(dòng)、抗沖擊能力、電磁兼容性強、抗干擾能力強等優(yōu)勢,能夠365*24H全天候穩定運行,特別適合對復雜嚴苛邊緣環(huán)境的圖像影像等數據進(jìn)行智能識別和即時(shí)分析處理。
寶德工控機NVR-941CT
NVR-941CT是寶德工控機的拳頭產(chǎn)品。它秉承工控機的高可靠性設計理念,機箱采用全鋼結構設計,對硬盤(pán)外加硬盤(pán)架和塑料減震圈減震抗震,實(shí)現卓越的抗沖擊、抗振動(dòng)性能。它采用優(yōu)良的散熱結構設計,對進(jìn)風(fēng)口進(jìn)行防塵海綿防護,降低灰塵、散熱、靜電三大不穩定因素的影響。此外,它采用高質(zhì)量高可靠硬盤(pán)和工控機專(zhuān)用電源,并對網(wǎng)口外加防雷防護。
在如此高可靠性的基礎上,NVR-941擁有更強功能和更優(yōu)的性能。首先,它支持獨立三顯(三個(gè)顯示器或監視器同時(shí)輸出不同內容),有獨立的雙通道音頻輸出,而且機箱設有10個(gè)硬盤(pán)位。其次,它采用Intel® Q470高速芯片組,支持LGA1200插槽處理器,4個(gè) DDR4 DIMM內存插槽,最高支持到128GB。它有10個(gè)USB接口、7個(gè)后窗接口和豐富的I/O接口, 并且可以根據實(shí)際應用需求靈活配置,是一款功能強大,適合長(cháng)時(shí)間不間斷穩定運行的產(chǎn)品,特別適于邊緣側的視覺(jué)檢測、光伏、醫療、智能制造、半導體測試等應用場(chǎng)景。