Hvordan påvirker AI markedet for HPC i 2019?

AI-prosessering er i ferd med å bli allestedsværende, inkludert det å kjøre på verdens raskeste datamaskiner og dermed endre for alltid det som vi kaller HPC. Når vi nå planlegger for fremtiden, er AI høyt på agendaen: hvordan påvirkes programmering, programvarebehov, maskinvarekrav og opplæringsbehov?

Faktorer som påvirker HPC utviklingen fremover:

Tensorer: Universalspråk for AI-beregninger

Bruken av vektoralgebra ga datamaskiner designet for vektordata. De første superdatamaskinene fra Cray var vektor-baserte, som igjen førte til å uttrykke applikasjoner som vektor- og matrisealgebra-problemer. Dette igjen forsterket datamaskiner som ble designet for å sikre at vektorberegninger ble prosessert raskt. Denne forsterkende syklusen har definert HPC sterkt opp igjennom årene. Tensoralgebra kan beskrives som en generalisert matrisealgebra, slik at det er en naturlig utvikling av en superdatamaskins matematiske evner og ikke en revolusjon. Enhver maskin som støtter matriseoperasjoner kan allerede utføre tensor-operasjoner. I dag ser brukere av CPUer en økende støtte for vektorer og tensorer, med høy ytelse via støtte fra generelle formålskompilatorer, akselererte Python, forbedrede arkiver og optimaliserte rammeverk. Alle disse lar programvareutviklere bruke, med høy ytelse, vektorer og tensorer tatt fra sine foretrekkende miljøer.

Tensorer har preget de siste årene HPC innen maskinvare, programvare og vår tenkning, slik som vektorer gjorde før dem.

Språk: Programmering på høyere nivå

Fortran-programmer dominerer HPC i dag med tanke på foretrekkende sykluser, med C- og C++ -programmer som bruker nesten alle de andre syklusene i HPC. Akselerasjonssykluser støttes ofte gjennom C-grensesnitt, utvidelser og arkiver. Forsøk på å forstyrre dette med nye programmerings-språk har mislyktes fordi de sittende programmeringsspråkene har brukere, kode og støtte som passer til applikasjonene som utgjør HPC.

AI bringer med seg nye brukere med nye krav, noe som vil utvide hvilke programmeringsspråk vi forbinder med HPC. De vil ikke endre aktivitetene til de fleste fysikere som bruker Fortran-kode, men en dataforsker som bruker MATLAB og Python vil ha løsninger tilpasset deres behov.

Python, samt et utvalg av andre produktivitetsspråk og rammeverk, vil tilsynelatende være den regjerende part i flere og flere HPC-sykluser. Deres hemmelighet vil være at deres faktiske antall rutiner fremdeles vil bli skrevet i C/C++/Fortran, men AI-programmereren vil verken vite det eller bry seg om det.

Frihet til å tenke annerledes: Erstatte legacy-koder ved å bruke muligheten (og farene) til å tenke ut nye tilnærminger

HPC er gjennomsyret med legacy-koder, mens AI er ny og relativt fritt for legacy. Når AI modnes vil det åpenbart skape en egen legacy som vil trenge støtte. Foreløpig, mens de to samhandler, vil det føre til tilnærminger om å gjeninnføre legacy-koder, som det i noen tilfeller burde ha blitt gjort tidligere.

Akkurat som i den første Java-perioden vil ethvert rush for å omskrive kode til en ny form ha vinnere og tapere. ROI vil være nøkkelen, men evnen til å forutsi resultatet av innsatsen for innovasjoner er ofte svært mangelfull.

Bærbarhet og sikkerhet: Virtualisering og containere

Sikkerhet og portabilitet, som f.eks. «kan jeg kjøre trygt på min maskin?» og «fungerer det på min maskin?», er problemer som virtualisering og containere prøver å løse. Selvfølgelig kommer sikkerhet fra en godt konstruert kobling av sikkerhetsfunksjoner for maskinvare og programvare. For mange virker virtualisering og containere å være beste måten å etablere denne kombinasjonen.

Containere har fanget oppmerksomheten til mange utviklere av virtuelle maskiner, fordi de blir sett på som mer smidige enn virtuelle maskiner for distribusjon, oppdateringer for programvare, skyallsidighet og at de kan spare på lisensieringskostnader med virtuelle maskiner.

Det er ikke overraskende at samtaler som omhandler containere på alle slags HPC- eller AI-orienterte konferanser alltid ser ut til å være kun om stående rom. Interessen er der og virkeligheten ser ut til å støtte opp under interessen. Python og Julia, for eksempel, skalerer mye bedre når de er nøye konfigurert, noe containere kan hjelpe med å distribuere.

Containere tilbyr en naturlig måte å gi et godt miljø til brukere og vi vil se mer og mer bruk av containere, delvis på grunn av interesse fra AI-brukere. HPC-markedet vil utvilsomt ha fokus på presteringsinstanser, noe som krever optimaliserte økosystemer. Det er mye finarbeid som skjer på dette feltet: HPC-samfunnet vil bidra til å bringe dette fram for alle, slik at man får tilfredsstilt etterspørrselen etter containere.

Størrelse teller: Stordata (Big data)

Der det er AI, er det stordata. Mye av fokuset i AI-markedet er på å få frem betydningsfulle data ut av veldig store datasett ved å bruke store datamodeller. Det er nok av HPC-applikasjoner med store filbehov, nok til at mange HPC-sentre allerede har mye av infrastrukturen som kreves til å håndtere stordataproblemer.

Alle HPC-sentre vil ta stordata i betraktning som et hovedkrav for nye systemer, med workloads for AI som en viktig motivasjon for beregning av store datamengder.

På grunn av de høye kostnadene for minne har vi sett forholdet mellom minnestørrelse og FLOP/s erodere i mange år. Dette er en trend mot stordata. Nye egenskaper rundt minnebehandling gir et håp om å snu denne trenden og støtte stordatamodeller, inkludert HPC-maskiner. Disse nye minneteknologiene tilbyr utvidelse av hovedminne, så vel som lokal lagring (SSD-er).

Å legge data nærmere prosessoren, som er best egnet til å gjøre ekte datavisualisering, er en av de beste måtene HPC kan påvirke AI/ML. Konseptet med å bruke og forstå stordata, samt visualisere dataene og analyser, er veldig sammenvevd.

Beregne for massene: Nettskyen

AI-utviklere kan allerede ha omfavnet skydata mer enn HPC-utviklere. Mens HPC «i skyen» allerede har dukket opp, vil høyytelsesberegning for AI-applikasjoner akselerere med «HPC i skyen.» Nvidia, partner med VMware tilbyr nå virtualiserte GPUer på AWS for virtualisering av AI, machine learning og deep learning. Alle de store HW leverandørene vil levere dette gjennom enterprice datasentre fremover.

Maskinvare: Interaktive evner og fokus på å drive biblioteker og rammeverk

Antall lastmengder for AI er ikke stort. Dette betyr igjen at et lite antall biblioteksgrensesnitt og -rammeverk dominerer hva enhver “AI-akselerator” trenger for å fungere som en fordel.

Interaktivitet, en langvarig forespørsel som generelt har holdt seg «på sparebluss» for HPC-systemer, er plassert «fremst» av AI-programmerere. Hvor raskt dette endrer «HPC» gjenstår å se, men innovasjon på dette området i 2019 vil være bemerkelsesverdig selv om den vil være spredt og noe skjult. Interaktivitet kan også kalles «personalisering».

Mer maskinvaremangfold, interaktivitetsstøtte og ekstra abstraksjoner for bibliotek/rammeverk som er optimalisert for ytelse, er nødvendig for at HPC støtter AI-lastmengder. HPC-samfunnets fokus på ytelse vil bidra til å belyse hvor ytterligere konvergens i infrastruktur vil være til nytte for datasenterinstallasjoner.

Brukere: Brukermangfold og økt spenning rundt HPC

AI vil sørge for nye, friske talenter med forskjellige bakgrunner. Matematiske og fysiske problemer kan ha drevet de tidligere superdataberegningene, men i det siste har mange flere brukere funnet HPC-lastmengder som uunnværlige innen fagfelt som medisin, værvarsling og risikostyring osv.

AI fører sammen et mye større fellesskap av brukere enn HPC tidligere har sett, noe som fører fram en helt ny dimensjon til utbredelsen av HPC. HPC-spesialister og AI-eksperter slår seg sammen for å generere resultater som vi alle kan glede oss over.

Nye investeringer: Inferensing

Maskinlæring kan generelt sett tenkes å bestå av en læringsfase som kalles «øving», og en «utføring» -fase som kalles inferensing. Det ser ut til at man trenger mange flere sykluser som gjør inferensing enn sykluser som øver, spesielt ettersom vi ser at maskinlæring er innebygd i løsninger overalt rundt oss. Markedsanalytikere har en tendens til å anslå at markedet for maskinvare knyttet til inferensing er 5-10x størrelsen på maskinvaren for øving.

Med en såpass stor markedsmulighet er det ingen overraskelse at det føles ut som om hele verden sikter mot å ta en større andel av inferensmarkedet. Inferensing er implementert på prosessorer, FPGAer, GPUer, DSPer og en mengde tilpassede ASIC-er. Strøm, latency og de totale kostnadene er viktige faktorer som gir oss et felt med alternativer med forskjellige profiler. CPUer med høy ytelse, kombinert med lav latency, letthet for omprogrammering og forutsigbar latency gjør at FPGA-er virker som et logisk valg til å forsyne det nåværende CPU-dominerte markedet med inferensing. Tiden vil vise hva utfallet blir.

Sammensmelting av applikasjoner:

Det er mange muligheter når HPC og AI slås sammen. Ideer dukker opp overalt nå. Et generativt adversarial nettverk (GAN) er en klasse av maskinlæringssystemer som mange har stor tiltro til GANer og vil uten tvil bidra til å mikse HPC-verdenen og AI / ML-arbeidet.

Selv om det er få applikasjoner som kombinerer HPC-algoritmer og AI-teknikker i dag, basert på tidlige resultater på dette området, er det lett å forutsi at dette er fremtiden for HPC-applikasjoner og vil utgjøre den største endringen som kommer til HPC på grunn av AI.

Å kunne forstå disse ti faktorene

Historien om databehandling er konstant på én måte: det handler om hva systemet som helhet kan gjøre for brukerne. Selv om behovet endres, endrer ikke det faktum at et helhetlig system består av maskinvare og programvare. Det er lett å bli distrahert av én enkelt teknologi (maskinvare eller programvare). Python-akselerasjon (en programvareteknologi som benytter seg av CPU), blir mye brukt. FPGA-akselerasjon er ofte foretrukket når man trenger mye inferensing med lav latency.

Konklusjon: AI vil bruke HPC og dette vil endre HPC for alltid

Det er tydelig at AI vil bruke HPC og dette vil endre HPC for alltid. Faktisk kan AI være den største endringsagenten for HPC i dens historie. HPC har kontinuerlig utviklet seg etter hvert som fagdisipliner har kommet med egne lastmengder og den vil også utvikle seg for AI.

Det vil være spesiallagde høyytelsesmaskiner designet og bygget primært for AI-lastmengder og andre maskiner har AI-arbeidsmengder som kjøres på mer generelle høykvalitetsfasiliteter med ikke-AI-lastmengder også. Balanserte maskiner vil bruke akselerasjon når det er fornuftig med et sterkt behov for fleksible maskiner med høy ytelse. I alle tilfeller vil AI bidra til den fremtidige definisjonen av hva som gjør en datamaskin super og dermed styre kursen til HPC for alltid.