« Linux-VServer » : différence entre les versions
Contenu supprimé Contenu ajouté
+ liens interwiki |
m Bot: Retouches cosmétiques |
||
Ligne 1 :
Je vous propose dans cet article d'étudier la [[wikt:solution|solution]] de virtualisation Linux VServer, tant en terme de théorie que de pratique ! N'hésitez pas à me corriger si je me trompe ou à me compléter, puisque ceci ne saurait être un contenu exhaustif --de part le fait même que le projet VServer est encore en cours de réalisation.<br /><P>
Cet article se jouera en 2 temps principaux : Concepts et Mise en oeuvre.<br />
Il passera notamment par les points suivants : <br />
- Introduction<br />
- Concepts<br />
- Techniques de virtualisation<br />
- Linux Vserver <br />
- Introduction<br />
- Fonctionnement<br />
- Particularité<br />
- Sécurité<br />
- Limitation<br />
- Mise en oeuvre<br />
- Préparation du noyau<br />
- Création d'un Vserver<br />
- Paramétrage d'un Vserver<br />
- Conclusion<br />
- Bibliographie<br /><br />
Here we go !!! :3 <br /><br />
<P>
'''Linux Vserver'''<br /><br />
'''Application à Debian Sarge 2.6.14-vs2.0'''<br /><br />
'''Introduction'''<br /><br />
Ce document a pour objectif d'étudier tous les aspects de la solution Linux Vserver, de sa description à sa mise en oeuvre, en passant par la comparaison avec d'autres outils de virtualisation comme Xen, UML ou encore QEMU. <br />
Dans un premier temps, nous nous contenterons de décrire les concepts de serveur virtuel, et les techniques mises en oeuvre pour gérer ce type d'instance. Ensuite, nous nous attacherons aux caractéristiques propres à la solution Linux Vserver de manière générale, puis nous passerons à la partie pratique, en créant « from scratch » une machine capable de faire tourner plusieurs Vserver de manière totalement sécurisée.<br /><P>
'''Concepts'''
<br />
« Serveur virtuel :
(http://www.linux-france.org/prj/jargonf/S/serveur_virtuel.html)<br />
Pour résumer de manière plus concrète, un serveur virtuel est en fait une entité qui tourne sur une machine hôte. Il peut exister grâce à divers procédés, appelés techniques de virtualisation, ce sont ces procédés qui déterminent en grande partie ses performances en tant que serveur. Pour différencier la machine du serveur virtuel, on a coutume d'appeler la machine qui supporte tous les vservers l'hôte et les vservers les guests. <br />
Comment faire en sorte qu'un hôte ait la capacité de faire tourner plusieurs serveurs virtuels ? Comme dit précédemment, il existe des techniques permettant d'émuler un serveur virtuel. Ce sont les techniques de virtualisation.<br /><P>
'''Techniques de virtualisation'''<br />
D'elles dépendent en grande partie les performances des serveurs virtuel, elles constituent aussi les principales différences entre les solutions existantes sur le marché et qui permettent de gérer des serveurs virtuels.<br />
La virtualisation peut intervenir sur différents niveaux, et c'est là toute la différence avec d'autres systèmes de virtualisation tels que Xen, UML ou OPENVZ.<br />
<P>
'''''Niveau Emulateur'''''<br />
La virtualisation peut être
'''''Niveau Machine'''''<br />
La virtualisation de machine, elle, fonctionne sur le même type de matériel. Il n'y a plus de ce fait d'étape d'émulation de processeur, ce qui permet d'obtenir des performances proches, sinon celles de la machine originale dans les phases de calcul. Néanmoins, un certain nombre de composants ou pilotes de matériel sont virtualisés, dégradant généralement les entrées/sorties, parfois de façon très significative. Cette technologie existe depuis fort longtemps sur de nombreuses architectures. IBM avait déjà introduit ces concepts au milieu des années 1960 et existe toujours dans leurs systèmes actuels (AIX 5L 5.2, OS400). Cette technologie est par contre récente sur les PC, car l'architecture IA-32 n'a pas été prévue pour cela. Des astuces techniques ont du être trouvées. <P>
'''''Niveau Application'''''<br />
Elle peut avoir lieu au niveau application, l'application fait alors croire qu'il y a plusieurs services (Hôtes virtuels Apache, domaines virtuels Postfix...). Les performances sont en générale excellentes, du fait que l'application fonctionne tout à fait en tant que telle, il n'y a aucune traduction de code, et aucune virtualisation des composants.<P>
Ligne 62 :
'''''Niveau Kernel'''''<br />
Il s'agit d'un partitionnement logique, ou serveur virtuel. Dans ce cas, il n'y a plus aucune émulation. C'est le noyau du système d'exploitation qui fait une isolation entre des machines logiques, tout comme il isole déjà les processus entre eux. Des exemples existent au moins sur FreeBSD (jails) et Solaris 10 (zones). Sous Linux, le projet Linux-vserver représente cette catégorie.<P>
Ligne 69 :
'''Linux Vserver'''<P>
'''Introduction'''<br />
Cette technologie open source est assez récente sous Linux. La version 0.0 date d'octobre 2001. Jacques Gélinas, canadien à l'origine de plusieurs projets bien connus sous Linux (linuxconf, umsdos) a démarré le projet. Cette solution est spécifique à Linux, mais non liée à la plateforme IA-32. Le développement des versions s'est ralenti fin 2002. De nombreuses modifications ont alors fait leur apparition, et le projet s'est transformé en un projet communautaire. Le leader de ce projet est devenu Herbert Poetzl à partir d'octobre 2003. Depuis ce moment de nombreuses évolutions ont vu le jour. La version 1.0 est sortie le 1er novembre 2003, suivie de la version 1.2 le 5 décembre 2003. Cette branche est toujours active pour le noyau Linux 2.4 (version 1.2.10 pour noyau 2.4.29). La version 2.0 est sortie le 7 août 2005 pour le noyau 2.6.12. Cette version apporte de nombreux perfectionnements.
<P>
'''Fonctionnement'''<br />
Il s'agit d'une modification du noyau Linux (sous la forme d'un patch, le code n'étant pas actuellement intégré dans le noyau officiel). Ce patch est accompagné d'utilitaires pour configurer le système. Debian intègre depuis la version Sarge les utilitaires de gestion des vservers. L'intégration est donc assez simple. Concrètement, un vserver fonctionne par un système de contexte supplémentaire ajouté à chaque processus. C'est un système de virtualisation léger et peu intrusif.
<br />
La machine physique démarre le noyau Linux. Tous les processus lancés par ce noyau (à partir d'init) le sont avec un contexte 0, celui dédié à la machine hôte. Jusque là, tout se comporte strictement comme d'habitude.
<br /><br />
Le lancement d'un vserver se fait via la commande vserver nom_du_vserver start . Cette commande va lire un fichier de configuration correspondant au serveur virtuel à démarrer. Elle crée un contexte (un numéro dit xid), qui est unique à la machine physique. Ensuite, le processus change de racine (chroot). Les adresses IPv4 du vserver sont créées en tant qu'adresses secondaires de l'interface réseau de la machine physique, puis liées au contexte actuel par des règles de routage internes au noyau Linux. Ensuite la commande vserver se remplace par un processus unique (le programme init , qui est le processus standard de démarrage des UNIX). Ainsi démarre le serveur virtuel.
<br /><br />Tous les processus ensuite démarrés par init sont dans le même contexte, et héritent de ses caractéristiques. Le contexte s'applique donc aux processus et aux adresses IP, qui sont ainsi isolés de tout ce qui n'appartient pas au contexte local. Ce sont les seuls éléments virtualisés. Il n'y a pas de virtualisation des couches réseaux ou de stockage. Le vserver se base sur la gestion de “capabilities” du noyau Linux, qui permet de descendre les privilèges d'une tâche (et des tâches héritées), et de limiter les appels systèmes possibles. Et ainsi sécuriser l'ensemble.
<br /><br />A l'intérieur d'un vserver, il est par exemple impossible de manipuler les adresses IP de l'interface, de manipuler iptables , ou encore d'utiliser mknod. Comme un vserver hérite d'une tâche unique, il est possible au lancement du serveur virtuel, de le limiter en nombre de processus, de lui donner une priorité (nice)... Cela est implémenté en interne via la commande ulimit. Il est facile de voir l'état des serveurs sur la machine hôte via la commande vserver-stat
<br />La version 2.0 des vservers (disponible sur noyau 2.6 uniquement) permet de limiter plus nettement les ressources entre vservers au niveau du noyau, par exemple l'utilisation processeur (système de seau à jeton).
<br /><br />
Le pseudo système de fichiers /proc
<br /><br />
Le pseudo système de fichiers /sys n'est par contre pas monté. Il n'est disponible que sur le serveur hôte. La principale limite est qu'il est impossible d'héberger un système autre que Linux puisque le noyau est partagé entre serveur hôte et ses vservers.
<br /><br />
Les processus d'un vserver ne sont que des processus standards, juste isolés et bridés sur les appels systèmes qu'ils peuvent utiliser. Les disques ainsi que la mémoire sont également partagés, ce qui permet une forte montée en charge, mais peut aussi compromettre la stabilité de l'intégralité du système, si on n'y prend garde.
<br /><br />
La racine d'un vserver se trouve dans un sous-répertoire du serveur maître
/var/lib/vservers/nom_du_vserver.
<br /><br />
Pour éviter tout débordement et tout effet de bord, il est souhaitable d'utiliser une partition dédiée pour chaque vserver (voire plusieurs). De cette façon, un vserver ne peut saturer le disque du serveur hôte.
<br /><br />
La création de nouveaux vservers peut se faire via une commande vserver build , qui est capable de gérer un certain nombre de distributions, dont DEBIAN (utilisation de la commande deboostrap pour installer un système de base DEBIAN). Quelques corrections sont ensuite apportées au serveur fraîchement installé (essentiellement un /dev quasiment vide), afin de fonctionner au mieux dans un vserver.
<br /><br />
Une fois cette commande terminée, un vserver de base est installé. Il peut être sauvegardé pour ensuite servir de patron (sous la forme d'un fichier tar.gz, qu'il suffit de décompresser ensuite, au besoin). Cela permet des déploiements « minute ».
<br /><br />
Pour information, un serveur Debian Sarge de base « pèse » environ 180 Mo. Puisque l'objectif est de n'avoir qu'un seul service par serveur virtuel, de très nombreux vservers ne nécessitent réellement jamais plus de 1 à 2 Go de disque. Il est possible d'utiliser des distributions Linux différentes, serveur hôte DEBIAN et vserver Fedora, par exemple. En effet, les librairies ne sont pas partagées, chaque vserver aura son propre jeu de librairies.
<P>
'''Particularité'''
<br /><br />
C'est la performance qui rend les vservers si attractifs. Puisqu'il ne s'agit pas d'un PC virtuel, mais plutôt de "serveurs Linux" virtuels. Cela peut simplement être vu comme un chroot amélioré. Les avantages sont des performances natives (pas de perte mesurable). A part la gestion du contexte, un processus dans un vserver a les mêmes caractéristiques qu'un processus d'une machine Linux standard. La consommation mémoire est légère (la mémoire est mutualisée entre le serveur hôte et les vservers et la mémoire demandée à l'hôte est celle réellement utilisée par les processus du vserver). La possibilité de mutualisation est donc ici très importante ; il est possible de déployer plusieurs dizaines de vservers sur un serveur actuel correctement taillé.
<P>
'''Sécurité'''
<br /><br />
De part les restrictions des appels systèmes que peut utiliser un vserver, un processus en son sein a moins de possibilités que celui d'un serveur standard. S'il y a intrusion dans un vserver, par une faille de sécurité d'un logiciel quelconque, le pirate ne pourra pas écouter les interfaces réseau, ou lancer des commandes comme nmap.
<br />
Seul l'hôte à la possibilité de manipuler iptables. Les règles sont très restrictives, et correspondent strictement aux services déployés sur le vserver. Ceux-ci ne peuvent initier des connexions, hors celles nécessaires pour assurer le service. Ainsi un pirate, même root sur un vserver, restera enfermé car il ne pourra pas lancer de connexions vers l'extérieur.
<br />Un démon ssh installé sur un port non standard verra ses paquets refusés par le firewall de l'hôte. Il n'est pas possible d'accéder aux disques physiques de la machine (il est par contre possible d'effacer le volume du serveur virtuel).
<br /><br />
Un risque est constitué par l'escalade de privilège d'un vserver vers le serveur hôte. En effet, les vservers sont basés sur une couche de virtualisation logique assez fine. Par le passé, elle a été contournée une fois. Cet unique bug a été rapidement corrigé (chroot barrier), mais prouve que le concept n'est pas à l'épreuve des balles. Si l'escalade arrive jusqu'à l'hôte, en tant que root, (ou si l'hôte fait tourner des services exploitables), alors la sécurité est mise à mal, puisque le serveur hôte a une vision complète de tous les fichiers des vservers, et peut accéder à chacun des processus de ceux-ci, ainsi que de s'y logguer en tant que root... Il ne s'agit plus cette fois d'un seul serveur piraté, mais de la totalité des vservers hébergés sur cet hôte. Il n'y a cependant actuellement pas de faille de ce type connue.
<br /><br />
Enfin, un seul noyau est partagé entre l'hôte et les vservers. Si un bug noyau existe, il peut être utilisé dans ou via un vserver, et provoquer un déni de service pour la machine hôte – et par ricochet – celui des autre vservers hébergés. Cela amène à un autre risque, qui est celui de la panne matérielle ; si la machine est en panne, ce sont tous ses vservers qui le sont. Déployer un vserver est dangereux si des services redondants ne sont pas prévus.
<br />
Les précautions conseillées sont les suivantes : Tous les service importants déployés sur des vservers sont redondés. Les vservers co-hébergés sur une même machine hôte sont, autant que possible, avec des catégories d'usage et des contraintes de sécurité proches. Et bien sur, la règle primordiale est de ne faire tourner AUCUN service sur l'hôte à part SSH et les iptables.
<P>
'''Limitations'''
<br /><br />
Chaque médaille a son revers... Vserver a l'inconvénient de ses avantages, c'est à dire sa légèreté. Dans un grand nombre de cas, son fonctionnement est tout à fait satisfaisant. Cependant, le noyau est partagé par toutes les instances de serveurs, et tous les drivers et couches de communication ne sont pas virtualisés ; les conséquences sont multiples :
<br /><br />
Certains programmes nécessitant des privilèges élevés, ou manipulant directement le matériel ne pourront fonctionner correctement. Par exemple, le déploiement d'un serveur NFS kernel ne peut se faire qu'au niveau de l'hôte principal. Pas plus que démarrer un serveur X window n'est possible simplement... Dans un hôte il est possible de démarrer un démon NFS en privilège utilisateur5, mais les performances sont moins bonnes.
<br /><br />
La mutualisation de la couche réseau peut aussi entraîner des problèmes de routage complexes (un cas est exposé en annexe) et empêche IPv6 de fonctionner.
<br /><br />
Dans les déploiements envisagés, certaines de ces limitations sont gênantes. Il a donc été considéré que pour certaines applications, un système de virtualisation plus complet devait être déployé.
Ligne 136 :
<P>
'''Introduction'''
<br /><br />
Pour mettre en place la solution Linux Vserver, il nous faut d'abord rendre une machine hôte capable de faire tourner plusieurs vservers. Nous allons donc détailler la préparation de l'hôte, de la mise en place du patch au status opérationnel de la machine.
<P>
'''Préparation du noyau'''
<br /><br />
On commence par la préparation du kernel. Nous travaillons avec une Debian Sarge.<br />
Première étape : updater la apt database avant l'installation et upgrader les packages installés.
<br />
> apt-get update && apt-get upgrade <br />
<br />
Seconde étape, il nous faut plusieurs outils, qui sont les suivants : <br />
# util-vserver, pour gérer les vservers <br />
# ssh <br />
# ncurses-base et libncurses5-dev, pour pouvoir faire un « make menuconfig » lors de la compilation du noyau.<br />
> apt-get install util-vserver ssh ncurses-base libncurses5-dev <br />
<br />
On se retrouve avec les fichiers suivants : <br />
/var/lib/vservers, qui est le répertoire principal pour les fichiers des vservers <br />
/etc/vservers, qui est le répertoire par défaut des fichiers des vservers<br />
/etc/vservers.conf, le fichier de configuration basique de l'outil util-vserver<br />
/usr/sbin/vserver, l'executable pour interagir, démarrer, stopper, construire, ..., entrer dans un vserver <br />
/bin/vshelper, un descripteur des fonctions de l'outil<br />
/usr/lib/util-vserver, les scripts, fonctions principales.<br />
<P>
'''Le kernel'''
<br /><br />
Nous allons maintenant nous attaquer à la partie noyau.<br />
Tout d'abord rapatrier le dernier noyau Debian stable compatible vserver (2.6.12.4) via la commande suivante : <br /><br />
> cd /usr/src<br />
> wget http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.12.4.tar.gz
<br /><br />
Ensuite, le dernier patch stable de http://linux-vserver.org ou de www.13thfloor.at<br />
<br />
> wget http://www.13thfloor.at/vserver/s_rel26/v2.0/patch-2.6.12.4-vs2.0.diff.gz<br />
> gzip -d linux-2.6.12.4.tar.gz <br />
> tar -zxvf linux-2.6.12.4.tar<br />
> gzip -d patch-2.6.12.4-vs2.0.diff.gz<br />
> mv patch-2.6.12.4-vs2.0.diff /usr/src/linux-2.6.12.4<br />
<P>
'''Patcher le noyau'''
<br /><br />
> cd /usr/src/linux-2.6.12.4<br />
> cat patch-2.6.12.4-vs2.0.diff | patch -p1 <br />
<br /><br />
Si vous êtes déjà sous une version similaire du noyau (2.6.x), il est préférable de copier la configuration actuelle avant de compiler le noyau. Votre configuration devrait se trouver vers "/boot/config-2.6.x" <br /><br />
> cp /boot/config-2.6.X /usr/src/linux-2.6.12.4/.config <br />
C'est parti. Vous devez d'abord inclure quelques choses pendant la compilation. Première chose, vous devez être en mesure de compiler sous votre système... Je conseille http://www.howtoforge.com/forums/showthread.php?t=21 si vous n'êtes pas très à l'aise avec cette histoire de compilation.<br /><br />
> make menuconfig <br />
Vous pouvez voir une catégorie pour «Linux VServer ». Si elles ne sont pas sélectionnées, activez<br />
Enable Legacy kernel API<br />
Enable Proc Security<br />
Enable Hard CPU Limits <br />
La configuration est prête. Il ne reste plus qu'à compiler le kernel.<br />
> make<br />
> make modules_install<br />
> cp .config /boot/config-2.6.12.4-vs2.0<br />
> cp System.map /boot/System.map-2.6.12.4-vs2.0<br />
> cp arch/i386/boot/bzImage /boot/vmlinuz-2.6.12.4-vs2.0<br />
> mkinitrd -o /boot/initrd.img-2.6.12.4-vs2.0 2.6.12.4-vs2.0 <br />
<br /><br />
Il faut mettre à jour le menu grub. Editez (pico, nano, vi... ) le fichier /boot/grub/menu.lst et ajoutez les lignes suivantes avant les autres entrées. Assurez vous que la ligne "default" est mise à 0
<P>
title Vanilla 2.6.12.4-vs2.0<br />
root (hd0,0)<br />
kernel /vmlinuz-2.6.12.4-vs2.0 root=/dev/hda2 ro<br />
initrd /initrd.img-2.6.12.4-vs2.0<br />
savedefault<br />
boot
<P>
L'hôte est prêt. Il ne reste plus qu'à rebooter pour avoir notre noyau prêt pour supporter vserver.<br />
> reboot <br />
> uname -r<br />
2.6.12.4-vs2.0 <br />
C'est le bon kernel !
<P>
'''Créer un Virtual Server'''<br /><br />
La création d'un server virtuel Debian sur un hôte Debian est simple. Voici la syntaxe de la comande :<br />
<br />
> vserver <VSERVER_NAME> build <br />
-n <VSERVER_NAME> <br />
--hostname <FQDN> <br />
--interface <NET_DEVICE>:<IP>/<CIDR> <br />
-m debootstrap -- -d <DEBIAN_DISTRO> <br />
Ici, notre vserver a les informations suivantes : <br />
VSERVER_NAME viu <br />
FQDN viu.bux.com <br />
NET_DEVICE eth0 <br />
IP 192.168.1.50 <br />
CIDR 24 (255.255.255.0) <br />
DEBIAN_DISTRO sarge<br />
On aura donc : <br />
> vserver viu build <br />
-n viu
--hostname viu.bux.com <br />
--interface eth0:192.168.1.50/24 <br />
-m debootstrap -- -d sarge <br />
On obtient <br />
> ls -lah /var/lib/vservers/viu<br />
total 80K<br />
drwxr-xr-x 20 root root 4.0K Nov 10 08:17 .<br />
drwxr-xr-x 4 root root 4.0K Nov 10 08:13 ..<br />
drwxr-xr-x 2 root root 4.0K Nov 10 08:17 bin<br />
drwxr-xr-x 2 root root 4.0K Dec 15 2004 boot<br />
drwxr-xr-x 3 root root 4.0K Nov 10 08:13 dev<br />
drwxr-xr-x 37 root root 4.0K Nov 10 08:17 etc<br />
drwxrwsr-x 2 root staff 4.0K Dec 15 2004 home<br />
drwxr-xr-x 2 root root 4.0K Nov 10 08:16 initrd<br />
drwxr-xr-x 7 root root 4.0K Nov 10 08:17 lib<br />
drwxr-xr-x 2 root root 4.0K Nov 10 08:16 media<br />
drwxr-xr-x 2 root root 4.0K Dec 15 2004 mnt<br />
drwxr-xr-x 2 root root 4.0K Nov 10 08:16 opt<br />
drwxr-xr-x 2 root root 4.0K Dec 15 2004 proc<br />
drwxr-xr-x 2 root root 4.0K Nov 10 08:16 root<br />
drwxr-xr-x 2 root root 4.0K Nov 10 08:17 sbin<br />
drwxr-xr-x 2 root root 4.0K Nov 10 08:16 srv<br />
drwxr-xr-x 2 root root 4.0K May 10 2005 sys<br />
drwxrwxrwt 2 root root 4.0K Nov 10 08:17 tmp<br />
drwxr-xr-x 11 root root 4.0K Nov 10 08:16 usr<br />
drwxr-xr-x 13 root root 4.0K Nov 10 08:16 var<br />
> ls -lah /etc/vservers/viu<br />
total 28K<br />
drwxr-xr-x 5 root root 4.0K Nov 10 08:13 .<br />
drwxr-xr-x 6 root root 4.0K Nov 10 08:13 ..<br />
drwxr-xr-x 4 root root 4.0K Nov 10 08:13 apps<br />
-rw-r--r-- 1 root root 112 Nov 10 08:13 fstab<br />
drwxr-xr-x 3 root root 4.0K Nov 10 08:13 interfaces<br />
-rw-r--r-- 1 root root 5 Nov 10 08:13 name<br />
lrwxrwxrwx 1 root root 22 Nov 10 08:13 run -> /var/run/vservers/viu<br />
drwxr-xr-x 2 root root 4.0K Nov 10 08:13 uts<br />
lrwxrwxrwx 1 root root 37 Nov 10 08:13 vdir -> /etc/vservers/.defaults/vdirbase/viu<br />
'''Tips''' : Notez que si vous ommettez la ligne –interface, tout n'est pas perdu, il suffit juste, ultérieurement, de rajouter à la main le répertoire /etc/vservers/viu/interfaces/ et d'y stocker <br /><br />
- le fichier ip qui contient l'adresse IP du vserver viu (ici 192.168.1.50), <br />
- le fichier dev qui contient le nom du périphérique réseau utilisé par le vserver viu (ici eth0) <br />
- et le fichier prefix qui contient le masque de sous réseau (ici 24), et de restarter le vserver. <br />
<br /><br />
Si vous n'arrivez toujours pas à pinguer, mettez tout dans le sous répertoire /etc/vservers/viu/interfaces/0/. Selon la distribution, le répertoire .../0/ est le seul considéré ou complétement ignoré.<br /><br />
Maintenant que notre vserver est crée, expérimentons un peu les commandes. La syntaxe pour la commande vserver est la suivante : <br />
> vserver <VSERVER_NAME> [ start | stop | restart | enter ] <br />
Donc pour notre viu: <br />
> vserver viu start<br />
Starting system log daemon: syslogd.<br />
Starting kernel log daemon: klogd.<br />
Starting MTA: exim4.<br />
Starting internet superserver: inetd.<br />
Starting deferred execution scheduler: atd.<br />
Starting periodic command scheduler: cron.<br />
...> vserver-stat <br />
CTX PROC VSZ RSS userTIME sysTIME UPTIME NAME<br />
0 35 73.4M 5.4K 0m05s21 0m02s33 1m13s00 root server<br />
49152 5 11M 967 0m00s00 0m00s00 0m30s52 viu<br />
> vserver viu enter<br />
viu:/# <br />
<br />
On est dans le contexte de viu. Pour sortir de ce contexte et revenir à l'hôte, il faut juste taper "exit".
<P>
'''Paramétrage du Vserver'''
<br /><br />
Maintenant que nous avons notre vserver, il faut pouvoir le brider, c'est à dire limiter ses ressources, son espace disque, sa charge CPU ...<br />
Vserver permet le paramétrage via des fichiers textes, avec tout un ensemble de restrictions/permissions sous forme de flags, de bcap, de ccap, ...
<br /><br />
/etc/vservers/viu.conf
/etc/vservers/viu/context le fichier contenant le xid (context id) du vserver viu.<br />
/etc/vservers/viu/flags
/etc/vservers/viu/bcapabilities permet de donner un certain nombre de permission via des CAP_* <br />
/etc/vservers/viu/ccapabilities permet d'activer la prise en charge de la limitation des ressources<br />
/etc/vserver/viu/rlimits/
/etc/vservers/viu/dlimits/0/ contient les fichiers qui restreignent l'accès aux disques<br />
/etc/vservers/viu/schedule
<P>
'''''/etc/vservers/viu.conf'''''
<br /><br />
Le fichier /etc/vservers/viu.conf pourrait être le fichier qui permettrait d'éviter de redéfinir les paramètres, cependant, pour avoir expérimenté cette solution, je conseille la redondance. Quand Vserver figure dans les applications à démarrer au boot de l'hôte, le fichier /etc/vservers.conf est lu au boot, ce qui le renvoie sur les fichiers basiques /etc/vservers/xxx.conf. Cela permet notamment de lancer tous les vservers au boot de l'hôte, avec les bons paramètres. <br />
Le contenu de notre /etc/vservers/viu.conf pourrait se résumer ainsi : <br /><br />
> cat /etc/vservers/viu.conf<br />
IPROOT=192.168.1.50<br />
IPROOTDEV=eth0<br />
IPROOTMASK=255.255.255.0<br />
S_HOSTNAME=viu<br />
S_DOMAINNAME=viu.bux.com<br />
S_FLAGS= « lock nproc fakeinit hideinfo ulimit sched_hard sched_prio virt_mem virt_uptime virt_cpu virt_load hide_mount fork_rss »<br />
ULIMIT= « -H -u 1000 »<br />
S_NICE=8<br />
S_CONTEXT=10001<br />
S_CAPS= « CAP_NET_RAW CAP_NET_BIND_SERVICE CAP_NET_BROADCAST »<br />
ONBOOT=no<br />
<br /><br />
On retrouvera la plupart de ces indications dans les autres fichiers, nous détaillerons les valeurs à ce moment là. On peut déjà se douter que le contenu du fichier <br />
/etc/vservers/viu/bcapabilities sera idem à la valeur de la variable S_CAPS du fichier <br />
/etc/vservers/viu.conf et que l'on retrouvera les valeurs de la variable S_FLAGS dans le fichier
/etc/vservers/viu/flags.<P>
'''''/etc/vservers/viu/context'''''
<br /><br />
Ce fichier contient le xid du vserver, plus explicitement, le context id. Ce xid est très important puisque c'est ce numéro qui est utilisé pour marquer les dossiers, proccessus, ... du vserver viu, c'est donc grâce à lui que l'on peut mettre en oeuvre la notion d'invisibilité lorsque un vserver veut, par exemple, jeter un coup d'oeil aux proccessus tournant sur un autre vserver (ce qui est impossible s'il n'a pas le même xid). Le fichier en lui même n'est pas obligatoire, il faut savoir que s'il n'est pas défini, alors la machine hôte attribuera un xid dynamique au vserver, toujours dans l'optique de l'isoler de tout autre contexte. Autre règle, il est plutôt déconseillé de faire en sorte que le xid soit dynamique, puisque à chaque redémarrage du vserver, il nous sera difficile de savoir quel est son xid. Il existe une règle pour demander à l'hôte d'attribuer un xid en statique.<br /><br />
Si la valeur stockée dans le fichier /etc/vservers/viu/context (exemple 10001) est : <br />
supérieure à 49151, le xid est attribué de manière dynamique<br />
comprise entre 3 et 49150, le xid vaut la valeur indiquée (statique) <br />
<br /><br />
Les xid de 0 à 2 sont reservés, 0 pour la machine hôte (le « root suprême »), le 1 pour le contexte Spectateur (qui voit tous les processus de l'hôte), quant au xid 2, mieux vaut ne pas l'utiliser sans une bonne raison.<P>
'''''/etc/vservers/viu/flags'''''
<br /><br />
Ce fichier contient, ligne par ligne, les flags qui permettent de restreindre le vserver viu et de moduler sa capacité à voir les informations.<br />
Voici notre fichier /etc/vservers/viu/flags<br />
<br />
> cat /etc/vservers/viu/flags<br />
lock<br />
nproc<br />
fakeinit<br />
hideinfo<br />
ulimit<br />
sched_hard<br />
sched_prio<br />
virt_mem<br />
virt_uptime<br />
virt_cpu<br />
virt_load<br />
^20<br />
hide_mount<br />
^37<br />
fork_rss<br />
Pour les principaux flags (mettre le mot de la colonne config)<br />
<br /><br />
Context Flags (vs2.0)<br />
Bit Mask
0
1
2
3
4
5
6
7
8
9
10
16
(la mémoire virtuelle totale équivaut à environ 4*/etc/vservers/viu/rlimits/rss)<br />
17
18
19
20
24
25
37
48
49
52
<P>
Attention : en mettant sched_pause, il devient alors impossible de stopper, d'interagir, de killer le vserver, il faut donc rebooter. Ce flag est donc déconseillé. Il existe aussi 5 autres flags qui n'ont pas été effectifs : hide_netif, namespace, state_setup, state_init, * (state change helper).
<P>
'''''/etc/vservers/viu/bcapabilities'''''
<br /><br />
Ce fichier liste les capacités du vserver viu, et accepte une capacité par ligne. Il est de la forme : <br />
> cat /etc/vservers/viu/bcapabilities<br />
CAP_NET_RAW<br />
CAP_NET_BIND_SERVICE<br />
CAP_NET_BROADCAST<br />
<br /><br />
Il permet de définir ce que le vserver peut faire, en terme de privilège. Il existe un certain nombre de CAPS, et les reproches qui leur sont souvent adressés sont qu'ils sont trop grossièrement définis. <br />
Il serait donc un « plus » si un outil pouvait être intégré dans la solution Linux Vserver qui soit capable de créer des CAPS sur mesure sans toucher à la librairie capability.h. En attendant, pour l'ensemble des possibilités de valeur de bcapabilities actuelle : <br />
/usr/include/linux/capability.h <br /><br />
BCAP<br />
CAP_CHOWN
CAP_DAC_OVERRIDE
CAP_DAC_READ_SEARCH
CAP_FOWNER
CAP_FSETID
CAP_KILL
CAP_SETGID
CAP_SETUID
CAP_SETPCAP
CAP_LINUX_IMMUTABLE
CAP_NET_BIND_SERVICE <br />
CAP_NET_BROADCAST
CAP_NET_ADMIN
socket debugging, routing tables, bind to any address, enter promiscuous mode,
multicasting, ... <br />
CAP_NET_RAW
CAP_IPC_LOCK
CAP_IPC_OWNER <br />
CAP_SYS_MODULE
CAP_SYS_RAWIO
CAP_SYS_CHROOT
CAP_SYS_PTRACE
CAP_SYS_PACCT
CAP_SYS_ADMIN
n'est pas mentionné dans les capabicités. <br />
CAP_SYS_BOOT
CAP_SYS_NICE
processus, modifiant le scheduling <br />
CAP_SYS_RESOURCE
(/etc/vservers/viu/rlimits/)<br />
CAP_SYS_TIME <br />
CAP_SYS_TTY_CONFIG
CAP_MKNOD
CAP_LEASE
CAP_QUOTACTL<br />
<P>
''''' /etc/vservers/viu/ccapabilities'''''
<br /><br />
Basiquement, cela permettrait, tout comme /etc/vservers/viu/bcapabilities, d'activer un certain nombre de paramètres, comme rlimit. Il existe théoriquement 8 ccaps qui sont : <br />
<br />
utsname<br />
raw_icmp<br />
syslog<br />
secure_mount<br />
secure_remount<br />
binary_mount<br />
quota_ctl<br />
rlimit<br /><br />
Cependant, après les avoir testé un par un, je me suis aperçue qu'un seul était reconnu et appliqué par le kernel : rlimit. En effet cette fonctionnalité, bien que présente et exploitée sur le site officiel, n'est pour le moment (06/2006) qu'à l'état de prototype, et n'a donc pas été développée ni mise en place sur le noyau Vserver 2.6.12.4-vs2.0. Il faudra donc sûrement repatcher le kernel avec un patch vserver Expérimental qui permettra d'exploiter la totalité des ccaps définie, et d'en définir à notre tour. <br />
Cependant, je ne compte repatcher le noyau avec cette catégorie de patch puisque le stade expérimental ne convient pas au contexte de solution stable pour l'entreprise qui a été définie dans mon cahier des charges.<br />
<br /><br />
Voici, pour la documentation, à quoi correspondraient les différents ccapabilities.
<P>
Context Caps (vs2.0)
Bit
0
1
8
12 0x00001000
16 0x00010000
17 0x00020000
18 0x00040000
20 0x00100000
<P>
'''''/etc/vservers/viu/rlimits/'''''
<br /><br />
Le répertoire qui contient les limitations de ressource. /etc/vservers/viu/rlimits/ peut contenir plusieurs fichiers, comme as, rss, memlock, nproc, data... où est définie la limite de la ressource en question pour le vserver. Voici les différents fichiers et leur unité.
<br />
(la colonne de gauche définit pour chacune des limites l'option à mettre dans la commande de création de vserver dans le cas où l'on veut tout définir d'un coup. Malheureusement, cette commande ne met l'architecture rlimits correctement en place.)
<P>
Limit ProcFS config Unit Description <br />
-t
-f
-d
-s
-c
-m
-u
-n
-l
-v
-?
-?
-p
-?
-?
VLimit <br />
--
--
--
--
<br />
Un exemple : <br />
> cat /etc/vservers/viu/rss<br />
100000<br />
<br />
Notez ici aussi que pas mal de paramètres manquent à l'appel, comme le nombre de socket ou encore la taille de la queue de message. Ici aussi, la cause se trouve dans le fait que Linux Vserver est un projet relativement récent, et donc en plein développement. La priorité à la sécurité a été notamment donnée sur ce projet puisque les récentes mises à jour concernent le problème chroot et la mise en oeuvre de la solution chroot barrier (barrière chroot).<br /><br />
<P>
'''''/etc/vservers/viu/dlimits/0/'''''
<br />
Nous en arrivons aux limitations d'espace disque. Le répertoire est composé de 7 éléments :
<br /><br />
le répertoire /etc/vservers/viu/dlimits/0/<br />
le fichier /etc/vservers/viu/dlimits/0/directory<br />
le fichier /etc/vservers/viu/dlimits/0/space_total<br />
le fichier /etc/vservers/viu/dlimits/0/space_used<br />
le fichier /etc/vservers/viu/dlimits/0/inodes_total<br />
le fichier /etc/vservers/viu/dlimits/0/inodes_used<br />
le fichier /etc/vservers/viu/dlimits/0/reserved<br />
<br /><br />
Remarquez le répertoire /0/. Sans lui, les disk limits sont ignorés (dans le cas de la distribution Debian Sarge). Ces fichiers contiennent des entiers, mais on peut aussi les remplir via echo par des équations du genre : > echo $((5*1024*1024))>/etc/vservers/viu/dlimits/0/space_total
<br /><br />
Un exemple : <br />
> cat /etc/vservers/viu/dlimit/0/directory <br />
/etc/vservers/viu<br /><br />
> cat /etc/vservers/viu/dlimit/0/space_total <br />
5000000<br /><br />
> cat /etc/vservers/viu/dlimit/0/inodes_total<br />
100000<br /><br />
> cat /etc/vservers/viu/dlimit/0/reserved<br />
5<br /><br />
<P>
'''''/etc/vservers/viu/schedule'''''
<br /><br />
Le fichier schedule permet de paramètrer l'occupation cpu liée au vserver viu. Il doit contenir au maximum 6 lignes de nombres qui représentent respectivement :
<br /><br />
fill rate<br />
interval<br />
Amount of tokens on start<br />
Minimal number of token in token bucket<br />
Maximal number of token in token bucket<br />
dummy line <br />
<br /><br />
Ceci devient très intéressant. En fait le scheduler marche de la manière suivante : <br />
Chaque <fill rate> jiffies, <fill rate> tokens sont mis dans le sceau à token. Lorsque <Maximal number of token in token bucket> est atteint, tout autre token est rejeté.<br />
Les processus sont mis en attente tant que le sceau à token ne sera pas rempli avec <Minimal number of token in token bucket> tokens.<br />
Il faut bien sûr prendre en compte que la somme de <fill rate> /<fill interval> s'ajoute au nombre de processus de votre système.<br />
Si l'intervalle de remplissage <fill rate / interval> est trop long, cela peut être désastreux pour les perfomances. Le mettre à une petite valeur telle que 1 ou 2 ne posera aucun gros problème, puisque en fait cel recalcule la quantité quand c'est nécessaire. Seulement avec une aussi petite valeur, vous exploserez pas mal de chunks du système. Il vaut mieux donc essayer plus vers 10-20.
<br /><br />
Les valeurs par défaut sont
default fill rate 1<br />
default interval 4<br />
no default Amount of token on start<br />
default Minimal amount of token in token bucket 15<br />
default Maximal amount of token in token bucket 125<br />
dummy line<br />
<br /><br />
''Tip'' : Le jiffies est une variable système interne maintenue par le noyau, qui stocke le nombre de ticks d'horloge depuis la mise sous tension (démarrage) du système. Elle est définie dans <linux/schedule.h>. Cependant, bien qu'elle soit définie comme volatile et longue, elle peut déborder en raison d'un temps utilisable continu (environ un an et demi). <br />
Sur une machine classique, il y a 100 jiffies dans une seconde.<br />
Sur une machine 32 bits, 497 jours s'avère être la valeur maximum que l'on peut stocker dans un entier non signé. Au delà, l'uptime revient à 0.<br />
A noter que depuis le kernel 2.6, les jiffies sont des intervalles de temps plus court puisqu'ils valent 0.001s ! Je vous renvoie à la librairie en charge : /usr/include/linux/jiffies.h
<br /><br />
Pour notre /etc/vservers/viu/schedule, nous avons à peu près ça :<br />
> cat /etc/vservers/viu/schedule<br />
7<br />
32<br />
500<br />
200<br />
1000<br />
dummy<br />
<br /><br /><P>
'''''Conclusion'''''
<br /><br />
La mise en oeuvre de la solution Linux Vserver est assez facile, intuitive, et ne demande pas trop de ressources, ce qui en fait une solution tout à fait convenable. Cependant, il existe plusieurs points noirs à ce projet : <br /><br />
- une documentation officielle pas toujours facile à comprendre (il faut lire les log IRC pour trouver une aide quelconque), et ce, malgré le fourmillement d'étude et de patch crées pour prolonger l'outil,<br /><br />
- des aspects pas encore implémentés (les CCAPS par exemple : le fichier est pris en compte par l'hôte, mais il ne reconnaît aucun des ccaps qui y sont)<br /><br />
- une solution qui passe par le patchage/recompilation du noyau (on pourrait envisager de l'intégrer directement dans un noyau)<br /><br />
<br /><br /><br /><br />
Si l'on devait comparer Linux Vserver à UML et Xen, il en résulterait les résultats suivants :
<br /><br />
« Nous avons donc été en mesure, grâce à ces méthodes, de comparer trois systèmes de virtualisation : Vserver, UML et Xen. Il s’est révélé que Vserver était le plus léger mais qu’il souffrait de quelques lacunes au niveau de l’équité. Xen, quant à lui, s’est montré assez ”lourd” à l’utilisation : le fait de lancer un noyau par machine virtuelle consomme trop de mémoire. En revanche, il est très complet grâce à un grand nombre de configurations possibles, et très fiable au niveau des performances (linéarité, équité, surcoût du système). Pour finir, UML s’est révélé avoir le même défaut que Xen, sans toutefois posséder les qualités de ce dernier. »<br /><br />
Pour plus de renseignements, jetez un coup d'oeil à <br />http://www.lri.fr/~quetier/papiers/renpar2005_vmeter.pdf<br /><br />
--Kyan, Mai-Juin 2006
<P>
'''''Bibliographie '''''
<br /><br />
http://linux-vserver.org/ Le site officiel<br />
http://irc.13thfloor.at/LOG/ Les LOGS IRC<br />
http://www.lri.fr/~quetier/papiers/renpar2005_vmeter.pdf L'étude Vserver / Xen / UML<br />
http://lena.franken.de/linux/debian_and_vserver/vserver.html Tutorial / HowTo Vserver<br />
http://linuxfr.org/ Complément pour Linux<br />
http://www.solucorp.qc.ca/ Quick explanation<br />
http://www.linuxjournal.com/node/5737/print Linux CAPS : lcap<br />
<P>
|