An ce kamfanonin fasaha ko dai suna neman GPUs ko kuma a kan hanyar su. A cikin Afrilu, Shugaban Kamfanin Tesla, Elon Musk ya sayi GPUs 10,000 kuma ya bayyana cewa kamfanin zai ci gaba da siyan GPUs masu yawa daga NVIDIA. A bangaren kasuwanci, ma'aikatan IT suma suna matsawa don tabbatar da cewa ana amfani da GPUs koyaushe don haɓaka dawowa kan saka hannun jari. Koyaya, wasu kamfanoni na iya gano cewa yayin da adadin GPUs ya ƙaru, rashin aikin GPU yana ƙara tsananta.
Idan tarihi ya koya mana wani abu game da manyan ayyuka na kwamfuta (HPC), shi ne cewa bai kamata a sadaukar da ajiya da sadarwar ba tare da mai da hankali sosai kan lissafi ba. Idan ajiya ba zai iya canja wurin bayanai da kyau zuwa raka'a na kwamfuta ba, ko da kuna da mafi yawan GPUs a duniya, ba za ku sami ingantaccen aiki ba.
A cewar Mike Matchett, wani manazarci a Small World Big Data, ana iya aiwatar da ƙananan ƙira a cikin ƙwaƙwalwar ajiya (RAM), yana ba da damar ƙarin mai da hankali kan ƙididdigewa. Koyaya, manyan samfura kamar ChatGPT tare da biliyoyin nodes ba za a iya adana su cikin ƙwaƙwalwar ajiya ba saboda tsadar tsada.
"Ba za ku iya daidaita biliyoyin nodes a cikin ƙwaƙwalwar ajiya ba, don haka ajiya ya zama mafi mahimmanci," in ji Mattchett. Abin baƙin ciki shine, yawanci ana yin watsi da ajiyar bayanai yayin tsarin tsarawa.
Gabaɗaya, ba tare da la'akari da yanayin amfani ba, akwai abubuwa guda huɗu na gama-gari a cikin tsarin horon samfurin:
1. Horon Samfurin
2. Aikace-aikacen Inference
3. Adana Bayanai
4. Gaggauta Kwamfuta
Lokacin ƙirƙira da ƙaddamar da ƙira, yawancin buƙatu suna ba da fifikon saurin tabbaci na ra'ayi (POC) ko mahallin gwaji don fara horon ƙira, tare da buƙatun ajiyar bayanai ba a ba da la'akari sosai ba.
Koyaya, ƙalubalen ya ta'allaka ne akan gaskiyar cewa horarwa ko turawa na iya ɗaukar watanni ko ma shekaru. Kamfanoni da yawa suna haɓaka girman ƙirar su cikin hanzari a wannan lokacin, kuma dole ne kayan aikin su faɗaɗa don ɗaukar samfura masu girma da bayanan bayanai.
Bincike daga Google akan miliyoyin nauyin aikin horo na ML ya nuna cewa ana kashe kusan kashi 30% na lokacin horo akan bututun bayanan shigarwa. Duk da yake binciken da ya gabata ya mayar da hankali kan inganta GPUs don haɓaka horo, har yanzu kalubale da yawa suna ci gaba da inganta sassa daban-daban na bututun bayanai. Lokacin da kuke da mahimman ƙarfin ƙididdigewa, ainihin ƙugiya ta zama yadda sauri zaku iya ciyar da bayanai cikin ƙididdiga don samun sakamako.
Musamman, ƙalubalen da ke cikin ajiyar bayanai da gudanarwa suna buƙatar tsarawa don haɓaka bayanai, yana ba ku damar ci gaba da fitar da ƙimar bayanai yayin da kuke ci gaba, musamman lokacin da kuka shiga cikin lamuran amfani da ci gaba kamar zurfin koyo da hanyoyin sadarwa na jijiyoyi, waɗanda ke ba da buƙatu masu girma akan ajiya cikin sharuddan iya aiki, aiki, da scalability.
Musamman:
Ƙimar ƙarfi
Koyon na'ura yana buƙatar sarrafa bayanai masu yawa, kuma yayin da ƙarar bayanai ke ƙaruwa, daidaiton ƙirar kuma yana haɓaka. Wannan yana nufin kasuwancin dole ne su tattara da adana ƙarin bayanai kowace rana. Lokacin da ajiya ba zai iya yin ƙima ba, ɗimbin ayyuka masu ƙarfi na bayanai suna haifar da cikas, iyakance aiki da haifar da tsadar GPU mara amfani.
sassauci
Taimako mai sassauƙa don ƙa'idodi masu yawa (ciki har da NFS, SMB, HTTP, FTP, HDFS, da S3) ya zama dole don biyan buƙatun tsarin daban-daban, maimakon iyakancewa ga nau'in yanayi guda ɗaya.
Latency
Jinkirin I/O yana da mahimmanci don ginawa da amfani da samfura yayin da ake karanta bayanai da sake karantawa sau da yawa. Rage jinkirin I/O na iya rage lokacin horon samfura ta kwanaki ko watanni. Saurin haɓaka ƙirar ƙira yana fassara kai tsaye zuwa fa'idodin kasuwanci mafi girma.
Kayan aiki
Abubuwan da ake amfani da su na tsarin ajiya suna da mahimmanci don ingantaccen horar da samfuri. Hanyoyin horo sun ƙunshi bayanai masu yawa, yawanci a cikin terabytes a kowace awa.
Daidaiton Dama
Don cimma babban rabo mai yawa, ƙirar horarwa sun raba ayyuka zuwa ayyuka masu kama da juna. Wannan sau da yawa yana nufin cewa algorithms koyo na'ura suna samun damar fayiloli iri ɗaya daga matakai da yawa (mai yiwuwa akan sabobin jiki da yawa) a lokaci guda. Dole ne tsarin ajiya ya kula da buƙatun lokaci guda ba tare da lahani aiki ba.
Tare da ƙwaƙƙwaran ƙarfinsa a cikin ƙarancin latency, babban kayan aiki, da manyan sikelin I/O, Dell PowerScale shine ingantaccen ma'ajin ajiya ga haɓakar lissafin GPU. PowerScale yadda ya kamata yana rage lokacin da ake buƙata don ƙirar ƙira waɗanda ke horarwa da gwada saitin bayanan terabyte da yawa. A cikin PowerScale duk-flash ajiya, bandwidth yana ƙaruwa da sau 18, yana kawar da kwalabe na I / O, kuma za'a iya ƙarawa zuwa gungu na Isilon na yanzu don haɓakawa da buše ƙimar adadi mai yawa na bayanan da ba a tsara su ba.
Haka kuma, damar samun dama ga yarjejeniya da yawa na PowerScale yana ba da sassauci mara iyaka don gudanar da ayyukan aiki, ba da damar adana bayanai ta hanyar amfani da yarjejeniya ɗaya da samun dama ta amfani da wata. Musamman, fasalulluka masu ƙarfi, sassauƙa, haɓakawa, da aikin matakin kamfani na dandamali na PowerScale suna taimakawa magance ƙalubale masu zuwa:
- Haɓaka ƙididdigewa har zuwa sau 2.7, rage tsarin horarwa.
- Kawar da ƙwanƙolin I/O da samar da horon ƙirar ƙira da inganci da sauri, ingantaccen ƙirar ƙira, haɓaka aikin kimiyyar bayanai, da haɓakar dawowa kan saka hannun jari ta hanyar haɓaka fasalulluka na masana'antu, babban aiki, daidaitawa, da haɓakawa. Haɓaka daidaiton ƙirar ƙira tare da zurfafa, manyan bayanai masu ƙima ta hanyar yin amfani da har zuwa 119 PB na ingantaccen ƙarfin ajiya a cikin tari guda.
- Cimma turawa a ma'auni ta farawa ƙanana da ƙididdige ƙididdiga da ajiya mai zaman kansa, sadar da ƙaƙƙarfan kariyar bayanai da zaɓuɓɓukan tsaro.
- Haɓaka aikin kimiyyar bayanai tare da nazari a wuri da ingantattun hanyoyin da aka riga aka tabbatar don aika da sauri, ƙananan haɗari.
- Yin amfani da ingantattun ƙira dangane da mafi kyawun fasahar iri, gami da haɓakawar NVIDIA GPU da ƙirar gine-gine tare da tsarin NVIDIA DGX. Babban aikin PowerScale da haɗin kai sun cika buƙatun aikin ajiya a kowane mataki na koyon injin, daga sayan bayanai da shirye-shirye zuwa ƙirar horo da ƙima. Tare da tsarin aiki na OneFS, duk nodes na iya aiki ba tare da wani lahani ba a cikin gungu na OneFS guda ɗaya, tare da fasalulluka na matakin kasuwanci kamar sarrafa ayyuka, sarrafa bayanai, tsaro, da kariyar bayanai, yana ba da damar kammala saurin ƙirar ƙirar ƙira da tabbatarwa ga kasuwanci.
Lokacin aikawa: Jul-03-2023
