virli/tutorial/tutorial.md

% Virtualisation légère
% Pierre-Olivier *Nemunaire* Mercier
% Samedi 29 novembre 2014

# Installation

## Noyau Linux

Ce TP requiert d'avoir un noyau Linux en version 3.8 au minimum. De plus, il
doit être compilé avec les options suivantes :

```
General setup  --->
 [*] Control Group support  --->
  [*]   Freezer cgroup subsystem
  [*]   Device controller for cgroups
  [*]   Cpuset support
  [*]     Include legacy /proc/<pid>/cpuset file
  [*]   Simple CPU accounting cgroup subsystem
  [*]   Resource counters
  [*]     Memory Resource Controller for Control Groups
  [*]       Memory Resource Controller Swap Extension
  [*]         Memory Resource Controller Swap Extension enabled by default
  [*]   Enable perf_event per-cpu per-container group (cgroup) monitoring
  [*]   Group CPU scheduler  --->
   [*]   Group scheduling for SCHED_OTHER
   [*]   Group scheduling for SCHED_RR/FIFO
  <*>   Block IO controller
 -*- Namespaces support
  [*]   UTS namespace
  [*]   IPC namespace
  [*]   User namespace
  [*]   PID Namespaces
  [*]   Network namespace
[*] Networking support  --->
      Networking options  --->
      <M> 802.1d Ethernet Bridging
      <M> 802.1Q VLAN Support
Device Drivers  --->
      [*] Network device support  --->
       <M>   MAC-VLAN support
       <M>   Virtual ethernet pair device
      Character devices  --->
       -*- Unix98 PTY support
       [*]   Support multiple instances of devpts
```

Une fois que vous aurez installé LXC, vous pouvez vérifier la compatibilité de
la configuration de votre noyau en utilisant la commande `lxc-checkconfig`.


## Docker

### Par le gestionnaire de paquets

Sous Debian et ses dérivés (Ubuntu, Mint, ...) le paquet et la commande ont été
nommés `docker.io`.

Sous les autres distribution, `docker` correspond a priori bien à la solution
de virtualisation légère que l'on va utiliser.

### Manuellement

L'équipe en charge de Docker met à disposition un script pour
installer Docker sur n'importe quel système :

```sh
curl -sSL https://get.docker.com/ | sh
```

## LXC

Votre distribution fourni sans doute un paquet `lxc`.


# Docker

Docker est un outil haut niveau permettant de faire fonctionner
facilement les conteneurs.

## Composition de Docker

Docker est un daemon lancé au démarrage de votre machine, avec lequel
vous interagissez via un client qui se connecte au daemon au moyen
d'une socket (le client peut donc être sur une machine distincte du
daemon où sont exécutés les conteneurs).


## Mon premier conteneur

Afin de tester la bonne marche de votre installation, exécutez la
commande :

```
docker run hello-world
```

Cette commande va automatiquement exécuter une série de commandes pour
vous, comme indiqué dans le message affiché en retour :

D'abord, le démon va rechercher s'il possède localement l'image
*hello-world*. Si ce n'est pas le cas, il va aller la récupérer sur
hub.docker.com. Ce site met à votre disposition un grand nombre
d'images prêt à l'emploi : des systèmes de base comme Ubuntu, Debian,
Centos, etc. jusqu'à des conteneurs prêts à l'emploi : le serveur web
nginx, la base de données MySQL, un serveur node.js, etc.

Vous pouvez directement utiliser le client pour rechercher une image
sur le hub, en utilisant la commande `search` :

```
docker search mariadb
```

Vous pouvez mettre à jour vos images locales ou simplement
pré-télécharger des images depuis le hub en utilisant la commande
`pull` :

```
docker pull ubuntu
```

Pour consulter la liste des images dont vous disposez localement (soit
parce que vous les avez téléchargées, soit parce que vous les avez
créées vous-même), utilisez la commande `images` :

```
docker images
```

Vous devez constater la présence de deux images « Ubuntu », ayant un
*TAG* différent. Souvent, il existe plusieurs versions d'une même
image. Pour Ubuntu par exemple, vous avez la possibilité de lancer la
version `vivid`, `trusty` ou `precise`.

Chaque image est identifiable par son *Image ID* unique, les noms
d'images ainsi que leurs tags sont, comme les tags Git, une manière
humainement plus simple de faire référence aux identifiants.

Chaque nom d'image possède au moins un tag associé: *latest*, c'est le
tag qui est automatiquement recherché lorsque vous ne le précisez pas
en lançant l'image


## Exécuter un programme dans un conteneur

Maintenant que nous avons à notre disposition l'image d'un conteneur
Ubuntu, lançons-la !

La commande `run` de Docker prend comme derniers arguments le
programme à lancer dans le conteneur ainsi que ses éventuels
arguments. Essayons d'afficher un Hello World :

```
docker run ubuntu /bin/echo "Hello World"
```

Dans notre exemple, c'est bien le `/bin/echo` présent dans le
conteneur qui est appelé (et non pas le programme `/bin/echo` de la
machine hôte qui est transféré dans le conteneur).


## Modifier un conteneur

À chaque fois que vous lancez un `run`, un nouveau conteneur est créé
à partir de l'image que vous précisez (via un mécanisme de
Copy-On-Write, c'est donc très rapide et ne consomme pas beaucoup
d'espace disque). Cela signifie que lorsque vous exécutez une commande
modifiant le contenu d'un conteneur, cela ne modifie pas l'image de
base, mais crée une nouvelle image. Que vous pouvez ensuite utiliser
comme image de base.

Commençons par entrer dans un nouveau conteneur pour modifier l'image
:

```
docker run -it ubuntu /bin/bash
```

Vous voilà maintenant dans le conteneur ! Il est assez épuré, il n'y a
rien de superflu : vous n'avez pas d'éditeur de texte : ni vim, ni
emacs, même pas vi !

La première chose à faire est de mettre à jour la liste des paquets :

```
apt-get update
```

Il peut arriver que des paquets présents dans l'image officielle ne
soient pas à jour. Afin de garder un environnement cohérent, il est
recommandé de ne pas utiliser le gestionnaire de paquets pour mettre à
jour les paquets, mais plutôt de contacter le mainteneur de l'image
pour qu'il la mette à jour.

Installons maintenant un programme :

```
apt-get install nano
```

En attendant la fin de l'installation, jetez un œil à la commande dans
un autre terminal :

```
docker ps
```

Cette commande liste les conteneurs actifs. Notez le *Container ID*
ainsi que le *NAMES* du conteneur du conteneur actuellement en cours
d'installation de nano.

Lorsque l'installation de `nano` est terminée, quittez l'image en tapant `exit`.

Sauvegardez votre image modifiée avec la commande `commit` pour
pouvoir commencer directement de votre image avec `nano` :

```
docker commit CONTAINER my_nano
```

En remplaçant `CONTAINER` par le nom ou l'identifiant de votre
container. `my_nano` est le nom que vous voudrez utiliser à la place
d'`ubuntu` :

```
docker run -it my_nano /bin/bash
```

Vous constatez cette fois que vous pouvez lancer `nano`, alors que
vous ne pouvez toujours pas le faire dans un conteneur issue d'une
image `ubuntu` !


## Dockerfile

Pour construire une image, vous n'êtes pas obligé de passer par une
série de commits. Docker dispose d'un mécanisme permettant
d'automatiser la construction de nouvelles images. Vous pouvez arriver
au même résultat que ce que l'on a réussi à faire précédemment en
utilisant le Docker file suivant :

```
FROM ubuntu:latest

RUN apt-get update
RUN apt-get install -y nano
```

La syntaxe d'un `Dockerfile` est simple, le premier mot de chaque
ligne est l'intitulé d'une instruction (que l'on écrit généralement en
majuscule), elle est suivie de ses arguments.

Dans notre exemple, nous utilisons `FROM` qui indique une image de
départ à utiliser ; `RUN` est une commande qui sera exécutée dans le
conteneur.

Pour lancer la construction de la nouvelle image, créer un nouveau
dossier ne contenant que votre fichier `Dockerfile`, placez-vous
dedans, puis utilisez la commande `build` :

```
docker build -name=my_editor .
```

Une fois la construction de l'image terminée, vous pouvez la lancer et
constater l'existence de notre éditeur favori :

```
docker run -it my_editor /bin/bash
```

Consultez https://docs.docker.com/reference/builder/ pour la liste
complète des instructions reconnues.


## Exposer des ports

Construisons maintenant un conteneur avec un serveur web :

```
FROM my_editor

RUN apt-get update
RUN apt-get install -y nginx

EXPOSE 80
```

L'instruction `EXPOSE` sera traité plus tard par le client Docker
(équivalent à l'argument `--expose`). Il s'agit de préciser les ports
sur lesquels votre image écoute.

En utilisant l'option `-P` du `run`, vous allez pouvoir assigner une
redirection de port aléatoire sur la machine hôte vers votre
conteneur :

```
docker build -name=my_webserver .
docker run -it -P my_webserver /bin/bash
service nginx start
```

Dans un autre terminal, lancer un `docker ps` et consulter la colonne
*PORTS* pour connaître le port choisit par Docker pour effectuer la
redirection.

Rendez-vous ensuite dans votre navigateur sur http://localhost:49153/.

À vous de jouer : utilisez l'instruction `COPY` pour afficher votre
propre `index.html` remplaçant celui installé de base par nginx.


## Lancement de commande automatique

Vous pouvez placer dans un `Dockerfile` une instruction `CMD` qui sera
exécutée si aucune commande n'est passée lors du `run`, par exemple :

```
CMD nginx -g "daemon off;"
```

```
docker build -name=my_nginx .
docker run -d -P my_nginx
```

L'option `-d` passée au `run` lance le conteneur en tâche de
fond. Si vous constatez via un `docker ps` que le conteneur s'arrête
directement, retirer cette option pour voir ce qui ne va pas, ou
utilisez la commande `docker logs`.


## Volumes

Il est possible de partager des répertoires entre plusieurs
conteneurs. Pour ce faire, il faut déclarer dans le `Dockerfile` une
ou plusieurs instructions `VOLUME` avec le chemin du répertoire à
considérer comme volume (il est également possible de le faire via
l'option `--volume` du client). Ces deux lignes sont équivalentes :

```
VOLUME /var/log/nginx
```

```
docker run -v /var/log/nginx my_nginx
```

Pour monter les volumes dans un autre conteneur, on utilise l'argument
`--volume-from` du client, en indiquant le nom du conteneur avec
lequel on souhaite partager les volumes :

```
docker run -it --volume-from romantic_archimedes ubuntu /bin/bash
```

Vous constaterez que le répertoire `/var/log/nginx` est partagé entre
`romantic_archimedes` et le dernier conteneur lancé.
\newline

Le concept principal de Docker est de concevoir des conteneurs
applicatifs : on va préférer assigner un unique rôle à un conteneur
(donc géralement on ne va lancer qu'une seule application par
conteneur) et concevoir un service complet en créant un groupe de
conteneur, partageant des données entre-eux par des volumes.

Une lecture intéressante sur ce sujet est sans doute cet article de
Michael Crosby: http://crosbymichael.com/advanced-docker-volumes.html

### Data Volume Container

Dans de nombreuses situation, il est intéressant de séparer les
données de l'application, et donc d'avoir un conteneur exécutant
l'application et un second stockant les données.

Cela est particulièrement utile dans le cas d'une base de données : on
veut pouvoir mettre à jour le conteneur exécutant le serveur, sans
pour autant perdre les données.

L'idée derrière le concept de `Data Volume Container` est de partager
un volume avec un conteneur dont le seul rôle est de stocker les
données.

Il est parfaitement possible de partager un volume avec un conteneur
qui n'est plus lancé. En effet, tant que vous n'avez pas demandé
explicitement à un conteneur d'être supprimé, il est préservé dans un
coin en attendant des jours meilleurs.

Voici comment on pourrait lancer un conteneur exécutant une base de
données :

```
docker run -v /var/lib/mysql --name dbdata busybox
docker run --volume-from dbdata -e MYSQL_ROOT_PASSWORD=mysecretpassword -d mysql
```

Le premier conteneur, sans commande passée, va s'arrêter dès son
lancement. Busybox est l'une des plus petites images possédant tous
les outils de base (il est possible d'obtenir un shell en cas de
besoin). Il expose un volume qui sera utiliser comme stockage
persistant.

Le second conteneur va lancer le serveur MySQL et utiliser le
répertoire partagé pour stocker les données.

Lorsqu'il y aura besoin de mettre à jour le conteneur MySQL, les
données ne seront pas perdues (et s'il y avait besoin de migrer les
données entre les deux versions des conteneurs, un conteneur
intermédiaire pourrait parfaitement s'en charger).

Cela facile également les sauvegardes, qui peuvent s'exécuter dans un
conteneur distinct, dédié à la tâche de sauvegarde.


## Lier les conteneurs

En plus de vouloir partager des répertoires entre deux conteneurs, il
est souvent nécessaire de partager des ports.

Pour automatiser le partage d'informations sur les IP et ports
exposés, la commande `run` possède l'option `--link` qui permet de
définir dans les variables d'environnement du conteneur que l'on va
lancer.

Le détail des variables ajoutées dans cette situation est disponible
ici : https://docs.docker.com/userguide/dockerlinks/#environment-variables

On utiliser généralement cette liaison pour fournir au conteneur
hébergeant un site web dynamique l'IP et le port où trouver la base de
données :

```
docker run -e MYSQL_ROOT_PASSWORD=mysecretpassword -d --name db1 mysql
docker run --link db1 my_nginx
```

### Ambasador

Afin d'abstraire le plus possible l'infrastructure sous-jacente et
d'autoriser les migrations de conteneurs, on utilise le modèle
*ambassador*.

On lancera systématiquement un conteneur entre deux conteneurs que
l'on veut lier : l'ambassadeur. Celui-ci s'occupera de router
correctement le trafic. En cas de changement de route (si l'un des
conteneurs change de machine hôte par exemple), on a simplement à
redémarrer l'ambassadeur plutôt que le conteneur principal.

La documentation officielle pour ce modèle est disponible à
https://docs.docker.com/articles/ambassador_pattern_linking/


# LXC

Contrairement à Docker, l'utilisation de LXC est beaucoup plus proche
de l'administration système classique, car l'approche est beaucoup
plus bas niveau.

## Lancer un conteneur

Avec le paquet LXC que vous avez installé, vous avez également
récupéré un certain nombre de modèles de système (souvent installés
dans le dossier `/usr/share/lxc/templates/`).

La méthode la plus simple pour lancer un conteneur LXC est d'utiliser
l'un de ces modèles qui va installer tout un environnement pour
vous. On utilise pour cela la commande `lxc-create` :

```
lxc-create --name toto_first --template ubuntu
```

Ce modèle va créer un dossier dans `/var/lib/lxc/` portant le nom que
vous avez précisé. Ce dossier va contenir la configuration LXC du
conteneur, la table des partitions s'il y a besoin de faire des
montages particuliers et enfin le dossier `rootfs` contenant le
système en lui-même.

On peut maintenant démarrer le conteneur :

```
lxc-start --name toto_first
```

À la différence de Docker qui va ne lancer que l'application (ou les
applications listées dans la ligne de commande) dans son
environnement, LXC va appeler `/sbin/init` et démarrer tous les
services que l'on peut s'attendre à trouver dans n'importe quelle
machine virtuelle plus classique (la seule différence réside donc dans
le fait que le noyau est partagé avec l'hôte).

Généralement on lance `lxc-start` avec l'option `--daemon`, puis on
utilise `lxc-console` qui permet de se détacher de la console via le
binding `^A+q`.

Connectez-vous, lancez quelques commandes puis éteignez la machine
avec `sudo poweroff` ou dans un autre terminal via `lxc-stop --name
toto_first`.


## Persistance des données

Contrairement à Docker, lorsque vous arrêtez un conteneur, les
modifications apportées sont conservées. Si vous appelez à nouveau
`lxc-start --name toto_first`, vous constaterez que votre historique
contient les dernières commandes que vous avez tapé et si vous avez
apporté d'autres modifications sur le système, celles-ci sont toujours
visibles.


## Le réseau

Le modèle ubuntu que vous avez utilisé initialise un fichier de
configuration sans paramètres pour le réseau. Vous n'avez donc pas
d'interface dans le conteneur pour le connecter au réseau.

Un excellent article détaillant les différents types de réseau est
accessible à :
https://blog.flameeyes.eu/2010/09/linux-containers-and-networking

N'ayant qu'une seule interface physique sur la machine et n'ayant pas
accès à la configuration des VLAN de la pièce, il ne nous reste que
deux méthodes pour obtenir du réseau dans nos conteneurs : Virtual
Ethernet ou MACVLAN.

### Virtual Ethernet

Virtual Ethernet est la configuration la plus simple. On met en place un pont
sur la machine hôte, puis on crée une interface `veth` par conteneur
que l'on veut lancer. On n'oubliera pas d'ajouter ces interfaces au pont.

Voici un extrait de configuration correspondant au paramétrage d'une
interface `eth0` pour un conteneur donné :

```
lxc.network.type = veth
lxc.network.flags = up
lxc.network.link = br0
```

Cette technique a pour inconvénient de laisser au noyau le soin de
router les paquets selon leur adresse IP, ce qui peut être lent et
coûteux étant donné que la carte est placé en mode de promiscuité.


### MACVLAN

Ici, le noyau va orienter les paquets en fonction de leur adresse MAC
de destination.

```
lxc.network.type = macvlan
lxc.network.macvlan.mode = bridge
lxc.network.flags = up
lxc.network.link = br0
```


## Stockage

Par défaut, le stockage se fait dans l'arborescence du système hôte,
mais il est possible d'utiliser d'autres backends tels que Btrfs, LVM,
overlayfs, AUFS ou ZFS.

Pour utiliser un type de stockage particulier, préciser lors de la
création de l'environnement du conteneur `-B [btrfs|zfs|lvm|...]`.