RM新时代实业有限公司

  • ?
    攜英特爾至強CPU Max系列,寶德服務(wù)器為大模型推理提供澎湃算力

    時(shí)間:2023-09-13來(lái)源:本站


    AI大模型空前火爆,模型數量破百沖千,戰場(chǎng)也從拼技術(shù)參數轉向拼開(kāi)放應用,促進(jìn)AI深度走進(jìn)尋常百姓工作和生活。其中,大語(yǔ)言模型(LLM)以其在圖像、語(yǔ)音、自然語(yǔ)言處理等方面表現出的卓越能力,使其成為最重要的AI技術(shù)之一。




    作為中國AI服務(wù)器市場(chǎng)的TOP3和中國領(lǐng)先的計算產(chǎn)品方案提供商,寶德堅持技術(shù)創(chuàng )新,積極學(xué)習和吸收包括英特爾等業(yè)界領(lǐng)先的AI技術(shù),打造多樣性的AI算力和解決方案,為AI產(chǎn)業(yè)快速發(fā)展和AI大模型落地應用做出積極的貢獻。



    英特爾®至強®CPU Max系列

    大語(yǔ)言模型工作負載的實(shí)力擔當


    一直以來(lái),英特爾以廣泛的AI硬件和軟件組合助力大語(yǔ)言模型的普及,推動(dòng)AI發(fā)展惠及各行各業(yè)。其中,第四代英特爾®至強®可擴展處理器以其原生AI加速能力和全面提升的整體性能,充分滿(mǎn)足大模型工作負載以及復雜AI計算場(chǎng)景的需求。


    第四代英特爾®至強®可擴展處理器具有英特爾高級矩陣擴展(AMX)的AI加速功能,有全新的指令集與電路設計,可幫助諸如圖像識別、對象探測等任務(wù)中的張量處理獲得多倍效率提升,并可用于INT8、BF16等不同數據格式以加速深度學(xué)習訓練和推理工作負載等多種類(lèi)型的AI模型,性能高達上一代10倍。




    英特爾®至強CPU Max系列


    在此基礎上,英特爾®至強CPU Max系列更是大模型的算力擔當,它每顆CPU提供64GB的高帶寬內存(HBM2E),兩顆共128GB,有效解決大語(yǔ)言模型工作負載經(jīng)常受到內存帶寬限制的窘境。數據顯示,其針對建模、人工智能、深度學(xué)習、高性能計算 (HPC) 和數據分析等實(shí)際工作負載的性能提升了 4.8 倍。



    基于英特爾®至強®CPU Max系列的寶德服務(wù)器

    為大模型推理應用提供澎湃算力




    寶德自研雙路服務(wù)器PR2715E


    寶德自研雙路服務(wù)器PR2715E,支持兩顆英特爾®至強CPU Max系列,以比較基礎的32核心+64GB HBM緩存的Max 9462為例,該產(chǎn)品就可輕松支持60B參數下8路推理需求。它采用CPU+GPU異構計算設計,有8個(gè)標準PCIe5.0插槽,可以支持8張單寬或3張雙寬包括英特爾®GPU Flex系列的GPU計算卡,強大的AI算力和安全技術(shù),能夠為大模型AI推理工作負載加速和護航。

    另外,該機型有32個(gè)DDR5內存插槽,最大可支持8TB,支持400Gb/s高速網(wǎng)絡(luò ),優(yōu)化低延遲應用體驗;它最大支持12個(gè)2.5”( 3.5”)和4個(gè)后置2.5 ” SATA/SAS/NVMe熱插拔硬盤(pán),或24個(gè)2.5”SATA/SAS/NVMe和2個(gè)后置2.5 ”SATA/SAS熱插拔硬盤(pán),支持內置1個(gè)M.2(NVMe/SATA),保障了整機性能的強勁可靠。此外,PR2715E支持液冷散熱方案,通過(guò)選用冷板液冷方案,可以有效減少AI大模型算力集群和數據中心的整體碳排放和顯著(zhù)降低客戶(hù)TCO(總體擁有成本)。




    寶德四子星服務(wù)器PR2745TE


    尤其值得一提的是寶德四子星服務(wù)器PR2745TE,在2U 機架中提供多達 4個(gè)雙路節點(diǎn)和高容量存儲,使得它1臺服務(wù)器就可以支持多達八顆英特爾®至強CPU Max系列,從而完美支持60B參數下32路推理需求。而且,它在2U規格內提供超常的吞吐量、存儲、網(wǎng)絡(luò )、I / O、內存和處理能力,形成一個(gè)靈活的平臺,為要求苛刻的AI、高性能和橫向擴展等工作負載提供強勁動(dòng)力。

    PR2745TE為簡(jiǎn)化部署和維護而設計,并以最高質(zhì)量組裝,以確保最大容量的連續操作??蛻?hù)可以通過(guò)它提供的解決方案滿(mǎn)足最具挑戰性的IT 需求,并受益于特殊的TCO。作為業(yè)界雙子星/多子星服務(wù)器的首創(chuàng ),寶德四子星服務(wù)器久經(jīng)市場(chǎng)考驗,已經(jīng)幫助AI用戶(hù)、數據中心、 高性能計算和云計算環(huán)境的客戶(hù)獲得了來(lái)自數據中心資源的強大競爭優(yōu)勢,也將是大模型推理應用堅實(shí)的算力基礎之一。

    熱門(mén)推薦
    ? RM新时代实业有限公司
  • RM新时代官网网址 RM新时代手机版下载 新时代RM|APP官网网址 RM新时代正规平台入口 RM新时代注册 RM新时代正规平台入口-百度知道 RM新时代平台 rm新时代跑路 rm新时代正规吗 RM新时代入口