Linux-Cluster in wenigen Minuten aufgesetzt: PelicanHPC 2.9
PelicanHPC wurde zunächst unter dem Namen ParallelKnoppix entwickelt. Damit bekommt man auch gleich schon ein besseres Bild, was die Distribution eigentlich macht. Es handelt sich um ein ISO-Hybrid-Abbild (CD oder USB), mit dem man einen Computer-Cluster in nur wenigen Minuten selbst aufsetzen kann. Mit einem Pelican Cluster kannst parallel mittels MPI die Rechner ausnutzen.
PelicanHPC lässt sich natürlich auch nur auf einem Computer mit mehreren CPU-Kernen einsetzen – aber das kann heute fast jede Linux-Distribution. Interessanter ist die Aufgaben über das netz und mehrere Rechner zu verteilen – einen Cluster eben. Der Frontend-Netzknoten (Node) startet mit Hilfe des Abbilds. Es kann sich hier um einen echten Computer oder auch eine virutelle Maschine handeln. Die Drohnen lassen sich dann via PXE booten, die den Frontend-Knoten als Server benutzen. Alle Knoten des Cluster bekommen ihre Dateisysteme vom selben Abbild – damit wird sichergestellt, dass auch auf allen die selbe Software läuft.
Pakete lassen sich dank aufs mittels apt-get in alle Knoten einfügen. Die bootfähigen Abbilder werden mit Hilfe eines einzigen Scriptes erstellt, das sich der Debian Live-Infrastruktur bedient. Somit ist es nicht sonderlich schwer, eigene Versionen mit neuen Paketen zu erschaffen. PelicanHPC erstellt einen Cluster mit relativ wenigen Applikationen. Wer das Linux-Betriebssystem in anderen bereichen einsetzen möchte, wird um eine Modifizierung nicht herumkommen. Wie man das macht wird zum Beispiel in diesem Tutorial beschrieben – das schon etwas älter, aber noch gültig ist. Warum ich weiß, dass es schon älter ist? Ein Hinweis könnten die Screenshots mit Sun VirtualBox sein … 😉 … Zwei Beispiele von modifizierten PelicanHPC-Abkömmlingen sind MOLA und birgHPC.
Pelican wird mit Hilfe der Tools des Debian-Live-Projekts erschaffen. Um Deine eigene Version zu erstellen, brauchst Du lediglich live-build (pkus deboostrap und rsync). Die benötigten Werkzeuge befinden sich auch schon auf den Abbildern von PelicanHPC. Somit kannst Du eine neue Version im laufenden Betrieb erschaffen.
Die aktuelle stabile Version der OpenMPI-Implementierung von MPI ist enthalten. Das Betriebssystem ist für 64-Bit-CPUs verfügbar – es gibt eine ältere Ausgabe für 32-Bit-CPUs. Weiterhin sind Beispiel-Programme vorhanden, die GNU Octave benutzen und der Benchmark-Test Linpack HPL ist an Bord. Als Basis verwendet Pelican HPC die letzte stabile Version von Debian – in diesem Fall Squeeze.
Version 2.9 bringt unter anderem Octave 3.6.3 und dynare 4.3.1 mit sich. Es handelt sich hier in erster Linie um eine Wartungs-Version, die Aktualisierungen aus den Debian-Repositories mit sich bringt. Da sich die Ausgabe von Debian Wheezy (7.0) in absehbarer Zukunft befindet, kann man damit auch schon Live-Abbilder erzeugen. Laut Angaben der Entwickler brauchst Du dazu aber live-build v3.x. Das Build-Script für PelicanHPC muss allerdings daran angepasst werden. Der Hauptentwickler wird dafür aller Voraussicht keine Zeit haben und sucht Freiwillige, die den Job übernehmen.
Ich habe vor geschätzten 2 Jahren mal mit PelicanHPC gespielt und das Aufsetzen eines Clusters ist wirklich ein Kinderspiel – da alles mit Live-Abbildern realisiert wird. Einziges Problem ist natürlich, dass bei einem Abschalten des Clusters alle Änderungen verloren gehen. PelicanHPC legt das Verzeichnis /home/user in einer Ramdisk. Du hast natürlich die Möglichkeit, hier die üblichen Linux-Mittel einzusetzen, um Einstellungen und so weiter zu speichern (Samba, rsync, NFS und so weiter). Beim Hochfahren des Frontend-Knotens kannst Du auch schon bestimmen, ob /home auf ein physikalisches Gerät gelegt werden soll (ext2 oder ext3). Hierzu gibt es auch Hinweise im oben erwähnten Tutorial.
Der Hinweis mit Wheezy gefällt mir irgendwie gar nicht – es wäre schade, wenn sich das Projekt nicht mit neueren Versionen von Debian weiterentwickeln würde.
Du kannst die neueste Version hier herunterladen: pelicanhpc-v2.9.iso (727 MByte) oder vom Spiegel-Server der Universität Heilbronn
Linux-Cluster in wenigen Minten aufgesetzt: PelicanHPC 2.9
Minuten war sicher gemeint..
ähhh ... ja ... 🙂 Danke!