Behöver du en maskin som kan leverera hundratals biljoner flytande beräkningar per sekund? Eller är du i behov av en barhistoria om hur superdatorn i din källare vred en brytare? Att bygga ditt eget High Performance Compute -kluster, alias superdator, är en utmaning för alla expertnördar med en helg på fritiden och lite pengar att bränna kan hantera. Tekniskt sett är en modern superprocessor med flera processorer ett nätverk av datorer som arbetar parallellt för att lösa ett problem. Denna artikel kommer att kort beskriva varje steg i processen, med fokus på hårdvara och programvara.
Steg
Steg 1. Bestäm först de hårdvarukomponenter och resurser som behövs
Du behöver en huvudnod, minst ett dussin identiska beräkningsnoder, en Ethernet -switch, en strömfördelningsenhet och ett rack. Bestäm det elektriska behovet, kylningen och utrymmet som krävs. Bestäm också vilken IP -adress du vill ha för dina privata nätverk, vad du ska namnge noder, vilka programvarupaket du vill installera och vilken teknik du vill tillhandahålla parallella datormöjligheter (mer om detta senare).
- Även om hårdvaran är dyr, är all programvara som anges i denna instruktion gratis, och de flesta är öppen källkod.
- Om du vill se hur snabb din superdator teoretiskt sett skulle vara, använd det här verktyget:
Steg 2. Bygg beräkningsnoderna
Du måste montera beräkningsnoder eller skaffa förbyggda servrar.
- Välj ett datorserverchassi som maximerar utrymme, kylning och energieffektivitet.
- Eller så kan du använda ett dussin använda, föråldrade servrar - vars helhet kommer att uppväga summan av deras delar men ändå spara dig en betydande klump kontanter. Alla processorer, nätverkskort och moderkort bör vara identiska för att hela systemet ska fungera fint. Naturligtvis, glöm inte RAM och lagring för varje nod och minst en optisk enhet för huvudnoden.
Steg 3. Installera servrarna i racket
Börja från botten, så racket är inte topptungt. Du behöver en vän för att hjälpa dig med detta - de täta servrarna kan vara väldigt tunga och att styra dem in i rälsen som håller dem i racket är svårt.
Steg 4. Installera Ethernet -switch ovanför serverchassit
Ta det här ögonblicket för att konfigurera omkopplaren: tillåt jumbo -bildstorlekar på 9000 byte, ställ in IP -adressen till den statiska adressen du bestämde dig för i steg 1 och stäng av onödiga routingprotokoll som SMTP Snooping.
Steg 5. Installera PDU (Power Distribution Unit)
Beroende på hur mycket ström dina noder kan behöva vid maximal belastning kan du behöva 220 volt för högpresterande datorer.
Steg 6. Med allt installerat kan du börja konfigurationsprocessen
Linux är de facto OS för HPC -kluster - det är inte bara den perfekta miljön för vetenskaplig datoranvändning, utan det kostar inget att installera det på hundratals eller till och med tusentals noder. Tänk vad mycket det skulle kosta att installera Windows på alla dessa noder!
- Börja med att installera den senaste versionen av moderkortets BIOS och firmware, som bör vara densamma på alla noder.
- Installera din önskade linuxdistro på varje nod, med ett grafiskt användargränssnitt för huvudnoden. Populära val inkluderar CentOS, OpenSuse, Scientific Linux, RedHat och SLES.
- Denna författare rekommenderar starkt att använda Rocks Cluster Distribution. Förutom att installera alla verktyg som är nödvändiga för att ett beräkningskluster ska fungera, använder Rocks en bra metod för att "distribuera" många instanser av sig själv till noderna mycket snabbt med PXE -start och Red Hat "Kick Start" -procedur.
Steg 7. Installera meddelandeöverförande gränssnitt, resurshanterare och andra nödvändiga bibliotek
Om du inte installerade Rocks i föregående steg måste du manuellt konfigurera nödvändig programvara för att möjliggöra parallella beräkningsmekanismer.
- Först behöver du ett portabelt bashanteringssystem, till exempel Torque Resource Manager, som låter dig bryta upp och distribuera uppgifter till flera maskiner.
- Koppla ihop vridmomentet med Maui Cluster Scheduler för att slutföra installationen.
- Därefter måste du installera meddelandeöverföringsgränssnittet, nödvändigt för de enskilda processerna på de separata beräkningsnoderna för att dela samma data. OpenMP är en no-brainer.
- Glöm inte matematiska bibliotek och kompilatorer med flera trådar för att bygga dina parallella dataprogram. Nämnde jag att du bara borde installera Rocks?
Steg 8. Koppla samman beräkningsnoderna tillsammans
Huvudnoden skickar beräkningsuppgifterna till beräkningsnoderna, som i sin tur måste skicka resultatet tillbaka, samt skicka meddelanden till varandra. Ju snabbare desto bättre.
- Använd ett privat Ethernet -nätverk för att ansluta alla noder i klustret.
- Huvudnoden kan också fungera som en NFS-, PXE-, DHCP-, TFTP- och NTP -server över Ethernet -nätverket.
- Du måste skilja detta nätverk från offentliga nätverk, vilket säkerställer att sändningspaket inte stör andra nätverk i ditt LAN.
Steg 9. Testa klustret
Det sista du kanske vill göra innan du släpper all denna beräkningskraft till dina användare är att testa dess prestanda. HPL (High Performance Lynpack) riktmärke är ett populärt val för att mäta klusterets beräkningshastighet. Du måste kompilera den från källan med alla möjliga optimeringar som kompilatorn erbjuder för den arkitektur du valde.
- Du måste naturligtvis kompilera från källan med alla möjliga optimeringsalternativ för din plattform. Om du till exempel använder AMD -processorer, kompilera med Open64 med -0fast optimeringsnivå.
- Jämför dina resultat på TOP500.org för att jämföra ditt kluster med de snabbaste 500 superdatorer i världen!
Video - Genom att använda denna tjänst kan viss information delas med YouTube
Tips
- För riktigt höga nätverkshastigheter, kolla in InfiniBands nätverksgränssnitt. Var dock beredd att betala premiumpriser.
- IPMI kan göra administrationen av ett stort kluster till en vind genom att tillhandahålla KVM-over-IP, fjärrstyrning och mer.
- Använd Ganglia för att övervaka beräkningsbelastningen på noder.
