[चीन, शेन्जेन, जुलाई 14, 2023] आज, Huawei ले ठूला मोडेलहरूको युगको लागि आफ्नो नयाँ AI भण्डारण समाधान अनावरण गर्यो, आधारभूत मोडेल प्रशिक्षण, उद्योग-विशेष मोडेल प्रशिक्षण, र विभाजित परिदृश्यहरूमा अनुमानको लागि इष्टतम भण्डारण समाधानहरू प्रदान गर्दै, यसरी। नयाँ एआई क्षमताहरू जारी गर्दै।
ठूला-ठूला मोडेल अनुप्रयोगहरूको विकास र कार्यान्वयनमा, उद्यमहरूले चार प्रमुख चुनौतीहरूको सामना गर्छन्:
सबैभन्दा पहिले, डेटा तयारीको लागि आवश्यक समय लामो छ, डेटा स्रोतहरू छरिएका छन्, र एकीकरण ढिलो छ, सयौं टेराबाइट डेटाको पूर्व-प्रक्रिया गर्न लगभग 10 दिन लाग्छ। दोस्रो, ठूला पाठ र छवि डेटासेटहरू भएका बहु-मोडल ठूला मोडेलहरूका लागि, ठूला साना फाइलहरूको लागि हालको लोडिङ गति १००MB/s भन्दा कम छ, जसले गर्दा प्रशिक्षण सेट लोडिङको लागि कम दक्षता हुन्छ। तेस्रो, ठूला मोडेलहरूका लागि बारम्बार प्यारामिटर समायोजनहरू, अस्थिर प्रशिक्षण प्लेटफर्महरूको साथमा, लगभग हरेक 2 दिनमा प्रशिक्षण अवरोधहरू निम्त्याउँछ, रिकभरी एक दिन भन्दा बढीको साथ, प्रशिक्षण पुनः सुरु गर्न चेकपोइन्ट मेकानिजम आवश्यक हुन्छ। अन्तमा, ठूला मोडेलहरूको लागि उच्च कार्यान्वयन थ्रेसहोल्डहरू, जटिल प्रणाली सेटअप, संसाधन समय निर्धारण चुनौतीहरू, र GPU स्रोत उपयोग प्रायः 40% भन्दा कम।
Huawei ठूला-ठूला मोडेलहरूको युगमा AI विकासको प्रवृत्तिसँग पङ्क्तिबद्ध छ, विभिन्न उद्योगहरू र परिदृश्यहरूको लागि उपयुक्त समाधानहरू प्रदान गर्दै। यसले OceanStor A310 Deep Learning Data Lake Storage र FusionCube A3000 Training/Inference Super-converged Appliances को परिचय दिन्छ। OceanStor A310 Deep Learning Data Lake Storage ले आधारभूत र उद्योग-स्तरको ठूला मोडेल डाटा लेक परिदृश्य दुवैलाई लक्षित गर्दछ, डाटा एग्रीगेसनबाट व्यापक AI डाटा व्यवस्थापन, मोडेल प्रशिक्षणमा पूर्व-प्रक्रिया, र अनुमान अनुप्रयोगहरू प्राप्त गर्दछ। OceanStor A310, एकल 5U र्याकमा, उद्योग-अग्रणी 400GB/s ब्यान्डविथ र 12 मिलियन IOPS सम्म समर्थन गर्दछ, 4096 नोडहरू सम्म रैखिक स्केलेबिलिटीको साथ, सिमलेस क्रस-प्रोटोकल संचार सक्षम पार्दै। ग्लोबल फाइल सिस्टम (GFS) ले डाटा एग्रीगेसन प्रक्रियाहरूलाई सुव्यवस्थित गर्दै, क्षेत्रहरूमा बुद्धिमानी डाटा बुनाई सुविधा दिन्छ। नियर-स्टोरेज कम्प्युटिङले नजिकैको डाटा प्रिप्रोसेसिङ, डाटा आवागमन घटाउने, र प्रि-प्रोसेसिङ दक्षतालाई ३०% ले सुधार गर्छ।
FusionCube A3000 Training/Inference Super-Converged Appliance, उद्योग-स्तरको ठूला मोडेल तालिम/अन्तर्करण परिदृश्यहरूको लागि डिजाइन गरिएको, अरबौं प्यारामिटरहरू भएका मोडेलहरू समावेश गर्ने अनुप्रयोगहरूलाई पूरा गर्दछ। यसले OceanStor A300 उच्च प्रदर्शन भण्डारण नोडहरू, प्रशिक्षण/अनुमान नोडहरू, स्विचिङ उपकरण, AI प्लेटफर्म सफ्टवेयर, र व्यवस्थापन र सञ्चालन सफ्टवेयरलाई एकीकृत गर्दछ, जसले ठूला मोडेल साझेदारहरूलाई एक-स्टप डेलिभरीको लागि प्लग-एन्ड-प्ले डिप्लोयमेन्ट अनुभव प्रदान गर्दछ। प्रयोग गर्न को लागी तयार छ, यो 2 घण्टा भित्र तैनात गर्न सकिन्छ। दुबै प्रशिक्षण/अंक र भण्डारण नोडहरू विभिन्न मोडेल स्केल आवश्यकताहरूसँग मेल खाने स्वतन्त्र र तेर्सो रूपमा विस्तार गर्न सकिन्छ। यसैबीच, FusionCube A3000 ले GPU हरू साझेदारी गर्न धेरै मोडेल प्रशिक्षण र अनुमान कार्यहरू सक्षम गर्न उच्च-सम्पादन कन्टेनरहरू प्रयोग गर्दछ, संसाधन उपयोग 40% बाट 70% मा बढाउँछ। FusionCube A3000 ले दुई लचिलो व्यापारिक मोडेलहरूलाई समर्थन गर्दछ: Huawei Ascend One-Stop Solution र तेस्रो-पक्ष साझेदार एक-स्टप समाधान खुला कम्प्युटिङ, नेटवर्किङ, र AI प्लेटफर्म सफ्टवेयर।
हुवावेको डाटा स्टोरेज प्रोडक्ट लाइनका अध्यक्ष झोउ युफेङले भने, “ठूलो मोडेलको युगमा डाटाले एआई इन्टेलिजेन्सको उचाइ निर्धारण गर्छ। डाटाको क्यारियरको रूपमा, डाटा भण्डारण एआई ठूला मोडेलहरूको लागि मुख्य आधारभूत पूर्वाधार बन्छ। Huawei डाटा स्टोरेजले एआई ठूला मोडलहरूको युगको लागि विविध समाधानहरू र उत्पादनहरू प्रदान गर्दै, उद्योगहरूको विस्तृत दायराहरूमा एआई सशक्तिकरण गर्न साझेदारहरूसँग सहकार्य गर्दै नवप्रवर्तन गर्न जारी राख्नेछ।
पोस्ट समय: अगस्ट-०१-२०२३
