This commit is contained in:
parent
4e24bb8b5d
commit
4b27bd0d0b
@ -33,7 +33,7 @@ Pour mener à bien ce test, nous allons avoir besoin :
|
||||
|
||||
Dans la suite de ce tutoriel, je vais utiliser le domaine `example.com`.
|
||||
Au sein de ce domaine, j'ai réservé le sous-domaine `ia` à l'expérience.
|
||||
Lorsque vous verrez `ia.example.com.`, n'hésitez pas à remplacer par votre propre domaine.
|
||||
Lorsque vous verrez `ia.example.com.`, n'hésitez pas à le remplacer par votre propre domaine.
|
||||
|
||||
|
||||
### Notre application exemple
|
||||
@ -70,7 +70,7 @@ Dans le cas d'une application plus complexe, nous verrons que les changements à
|
||||
|
||||
Comptez 1 € pour louer une heure une machine avec une carte graphique suffisante pour gérer de très nombreux cas de figure.
|
||||
|
||||
Si vous avez une application plus complexe, cela pourra nécessiter plus d'une heure de test, mais on voit que le coût n'est pas décisif pour ne pas faire ce test.
|
||||
Si vous avez une application plus complexe, cela pourra nécessiter plus d'une heure de test, mais on voit que le coût n'est pas si important qu'il pourrait empêcher ce test.
|
||||
|
||||
Notez aussi qu'OVHcloud offre 200 € de crédit cloud pour tout nouveau projet Public Cloud, ce qui laisse la possibilité d'évaluer toutes leurs machines avec GPU, sans frais.
|
||||
|
||||
@ -98,7 +98,7 @@ Si c'est votre premier projet OVHcloud, n'oubliez pas d'indiquer le code promo p
|
||||
|
||||
### 2. Démarrer une nouvelle instance
|
||||
|
||||
Une fois le projet créé, toutes les offres cloud sont à porté de clic.
|
||||
Une fois le projet créé, toutes les offres cloud sont à portée de clic.
|
||||
|
||||
Celle qui nous intéressera ici est « Compute ».
|
||||
Nous allons « Créer une instance » :
|
||||
@ -111,7 +111,7 @@ Nous voulons une machine avec une carte graphique, rendez-vous donc dans l'ongle
|
||||
|
||||
Un large choix de machine s'offre à nous, avec différentes caractéristiques en terme de matériel, quantité de RAM et carte(s) graphique(s).
|
||||
Le meilleur choix pour évaluer les modèles est d'utiliser les modèles avec des cartes graphiques NVIDIA L4 ou NVIDIA L40S : respectivement L4-90 ou L40S-90.
|
||||
Ce dernier type d'instance est 2 fois plus chère à l'heure et ne se révèle utile uniquement si vous comptez évaluer les modèles les plus gros comme [FLUX.1-dev](https://huggingface.co/black-forest-labs/FLUX.1-dev).
|
||||
Ce dernier type d'instance est 2 fois plus cher à l'heure et ne se révèle utile uniquement si vous comptez évaluer les modèles les plus gros comme [FLUX.1-dev](https://huggingface.co/black-forest-labs/FLUX.1-dev).
|
||||
|
||||
![Sélectionnons une instance L4-90](select-ia-instance.png)
|
||||
|
||||
@ -139,7 +139,7 @@ Nous allons passer un script de post-installation afin que la machine soit confi
|
||||
|
||||
![On ajoute un script de post-installation](select-config-1.png)
|
||||
|
||||
Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet article]({{< relref "cloud-init-to-deploy-localai-in-5-minutes#machine-avec-carte-graphique" >}}), dans le *petit* champs de texte dédié :
|
||||
Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet article]({{< relref "cloud-init-to-deploy-localai-in-5-minutes#machine-avec-carte-graphique" >}}), dans le *petit* champ de texte dédié :
|
||||
|
||||
![Le script de post-installation ajouté](select-config-2.png)
|
||||
|
||||
@ -151,11 +151,11 @@ Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet artic
|
||||
|
||||
Le script de post-installation va automatiquement installer le service [LocalAI](https://localai.io/).
|
||||
C'est un service qui expose une API entièrement compatible avec OpenAI, mais en utilisant des modèles d'IA directement sur la machine.
|
||||
Aucune données n'est envoyée en dehors de la machine.
|
||||
Aucune donnée n'est envoyée en dehors de la machine.
|
||||
|
||||
#### Mode réseau
|
||||
|
||||
Dernière question, comment la machine est-elle connectée.
|
||||
Dernière question : comment la machine est-elle connectée.
|
||||
|
||||
Pour aller au plus simple, on choisit le mode Public, qui attribuera une IP publique à la machine.
|
||||
|
||||
@ -189,7 +189,7 @@ Si la création de l'instance se passe correctement, vous devriez avoir une IP q
|
||||
![La liste des instances avec l'IP publique de notre machine](instances-2.png)
|
||||
|
||||
Il faut maintenant créer un nouveau sous-domaine pointant vers cette IP.
|
||||
Dans le cas d'OVH, ça se passe dans la partie « Web Cloud » :
|
||||
Dans le cas d'OVH, cela se passe dans la partie « Web Cloud » :
|
||||
|
||||
![La liste des instances avec l'IP publique de notre machine](domain-1.png)
|
||||
|
||||
@ -221,7 +221,7 @@ Reste maintenant à modifier notre application pour qu'elle utilise notre servic
|
||||
Eh oui, c'est tout !
|
||||
L'API de LocalAI étant compatible, tous les services employés fonctionneront avec les modèles locaux.
|
||||
|
||||
Ajoutons tout de même que le nom des modèles différents.
|
||||
Ajoutons tout de même que le nom des modèles diffèrent.
|
||||
Ainsi, si nous avons bien `gpt-4` dans LocalAI, il s'agit en fait d'un alias vers les modèles `phi-2` ou `hermes-2-pro-mistral` selon la configuration matérielle.
|
||||
L'interface de LocalAI permet [d'installer d'autres modèles](https://models.localai.io/).
|
||||
Il peut être nécessaire d'en tester plusieurs, car chacun a des avantages et des inconvénients.
|
||||
|
Loading…
Reference in New Issue
Block a user