Alexandre review
All checks were successful
ci/woodpecker/push/woodpecker Pipeline was successful

This commit is contained in:
nemunaire 2024-09-06 19:52:08 +02:00
parent 4e24bb8b5d
commit 4b27bd0d0b

View File

@ -33,7 +33,7 @@ Pour mener à bien ce test, nous allons avoir besoin :
Dans la suite de ce tutoriel, je vais utiliser le domaine `example.com`.
Au sein de ce domaine, j'ai réservé le sous-domaine `ia` à l'expérience.
Lorsque vous verrez `ia.example.com.`, n'hésitez pas à remplacer par votre propre domaine.
Lorsque vous verrez `ia.example.com.`, n'hésitez pas à le remplacer par votre propre domaine.
### Notre application exemple
@ -70,7 +70,7 @@ Dans le cas d'une application plus complexe, nous verrons que les changements à
Comptez 1 € pour louer une heure une machine avec une carte graphique suffisante pour gérer de très nombreux cas de figure.
Si vous avez une application plus complexe, cela pourra nécessiter plus d'une heure de test, mais on voit que le coût n'est pas décisif pour ne pas faire ce test.
Si vous avez une application plus complexe, cela pourra nécessiter plus d'une heure de test, mais on voit que le coût n'est pas si important qu'il pourrait empêcher ce test.
Notez aussi qu'OVHcloud offre 200 € de crédit cloud pour tout nouveau projet Public Cloud, ce qui laisse la possibilité d'évaluer toutes leurs machines avec GPU, sans frais.
@ -98,7 +98,7 @@ Si c'est votre premier projet OVHcloud, n'oubliez pas d'indiquer le code promo p
### 2. Démarrer une nouvelle instance
Une fois le projet créé, toutes les offres cloud sont à porté de clic.
Une fois le projet créé, toutes les offres cloud sont à portée de clic.
Celle qui nous intéressera ici est « Compute ».
Nous allons « Créer une instance » :
@ -111,7 +111,7 @@ Nous voulons une machine avec une carte graphique, rendez-vous donc dans l'ongle
Un large choix de machine s'offre à nous, avec différentes caractéristiques en terme de matériel, quantité de RAM et carte(s) graphique(s).
Le meilleur choix pour évaluer les modèles est d'utiliser les modèles avec des cartes graphiques NVIDIA L4 ou NVIDIA L40S : respectivement L4-90 ou L40S-90.
Ce dernier type d'instance est 2 fois plus chère à l'heure et ne se révèle utile uniquement si vous comptez évaluer les modèles les plus gros comme [FLUX.1-dev](https://huggingface.co/black-forest-labs/FLUX.1-dev).
Ce dernier type d'instance est 2 fois plus cher à l'heure et ne se révèle utile uniquement si vous comptez évaluer les modèles les plus gros comme [FLUX.1-dev](https://huggingface.co/black-forest-labs/FLUX.1-dev).
![Sélectionnons une instance L4-90](select-ia-instance.png)
@ -139,7 +139,7 @@ Nous allons passer un script de post-installation afin que la machine soit confi
![On ajoute un script de post-installation](select-config-1.png)
Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet article]({{< relref "cloud-init-to-deploy-localai-in-5-minutes#machine-avec-carte-graphique" >}}), dans le *petit* champs de texte dédié :
Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet article]({{< relref "cloud-init-to-deploy-localai-in-5-minutes#machine-avec-carte-graphique" >}}), dans le *petit* champ de texte dédié :
![Le script de post-installation ajouté](select-config-2.png)
@ -151,11 +151,11 @@ Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet artic
Le script de post-installation va automatiquement installer le service [LocalAI](https://localai.io/).
C'est un service qui expose une API entièrement compatible avec OpenAI, mais en utilisant des modèles d'IA directement sur la machine.
Aucune données n'est envoyée en dehors de la machine.
Aucune donnée n'est envoyée en dehors de la machine.
#### Mode réseau
Dernière question, comment la machine est-elle connectée.
Dernière question : comment la machine est-elle connectée.
Pour aller au plus simple, on choisit le mode Public, qui attribuera une IP publique à la machine.
@ -189,7 +189,7 @@ Si la création de l'instance se passe correctement, vous devriez avoir une IP q
![La liste des instances avec l'IP publique de notre machine](instances-2.png)
Il faut maintenant créer un nouveau sous-domaine pointant vers cette IP.
Dans le cas d'OVH, ça se passe dans la partie « Web Cloud » :
Dans le cas d'OVH, cela se passe dans la partie « Web Cloud » :
![La liste des instances avec l'IP publique de notre machine](domain-1.png)
@ -221,7 +221,7 @@ Reste maintenant à modifier notre application pour qu'elle utilise notre servic
Eh oui, c'est tout !
L'API de LocalAI étant compatible, tous les services employés fonctionneront avec les modèles locaux.
Ajoutons tout de même que le nom des modèles différents.
Ajoutons tout de même que le nom des modèles diffèrent.
Ainsi, si nous avons bien `gpt-4` dans LocalAI, il s'agit en fait d'un alias vers les modèles `phi-2` ou `hermes-2-pro-mistral` selon la configuration matérielle.
L'interface de LocalAI permet [d'installer d'autres modèles](https://models.localai.io/).
Il peut être nécessaire d'en tester plusieurs, car chacun a des avantages et des inconvénients.