Compare commits
4 Commits
8ccd4bc9c5
...
8eb19e9f9d
Author | SHA1 | Date | |
---|---|---|---|
8eb19e9f9d | |||
7513a17a35 | |||
4b27bd0d0b | |||
4e24bb8b5d |
@ -126,7 +126,7 @@ There may not be one in every datacenter, but that doesn't matter anyway, as thi
|
||||
|
||||
Next comes the question of the operating system.
|
||||
|
||||
I recommend you choose the latest version of Ubuntu to use [the cloud-init script]({{< relref “cloud-init-to-deploy-localai-in-5-minutes” >}}) which will deploy everything you need automatically.
|
||||
I recommend you choose the latest version of Ubuntu to use [the cloud-init script]({{< relref "cloud-init-to-deploy-localai-in-5-minutes" >}}) which will deploy everything you need automatically.
|
||||
|
||||

|
||||
|
||||
@ -141,7 +141,7 @@ We're going to pass a post-installation script so that the machine is configured
|
||||
|
||||

|
||||
|
||||
Place the contents of the [`cloud-init` script I shared with you in this article]({{< relref “cloud-init-to-deploy-localai-in-5-minutes#machine-with-graphic-map” >}}), in the *small* dedicated text field:
|
||||
Place the contents of the [`cloud-init` script I shared with you in this article]({{< relref "cloud-init-to-deploy-localai-in-5-minutes#machine-with-graphic-map" >}}), in the *small* dedicated text field:
|
||||
|
||||

|
||||
|
||||
|
@ -33,7 +33,7 @@ Pour mener à bien ce test, nous allons avoir besoin :
|
||||
|
||||
Dans la suite de ce tutoriel, je vais utiliser le domaine `example.com`.
|
||||
Au sein de ce domaine, j'ai réservé le sous-domaine `ia` à l'expérience.
|
||||
Lorsque vous verrez `ia.example.com.`, n'hésitez pas à remplacer par votre propre domaine.
|
||||
Lorsque vous verrez `ia.example.com.`, n'hésitez pas à le remplacer par votre propre domaine.
|
||||
|
||||
|
||||
### Notre application exemple
|
||||
@ -70,7 +70,7 @@ Dans le cas d'une application plus complexe, nous verrons que les changements à
|
||||
|
||||
Comptez 1 € pour louer une heure une machine avec une carte graphique suffisante pour gérer de très nombreux cas de figure.
|
||||
|
||||
Si vous avez une application plus complexe, cela pourra nécessiter plus d'une heure de test, mais on voit que le coût n'est pas décisif pour ne pas faire ce test.
|
||||
Si vous avez une application plus complexe, cela pourra nécessiter plus d'une heure de test, mais on voit que le coût n'est pas si important qu'il pourrait empêcher ce test.
|
||||
|
||||
Notez aussi qu'OVHcloud offre 200 € de crédit cloud pour tout nouveau projet Public Cloud, ce qui laisse la possibilité d'évaluer toutes leurs machines avec GPU, sans frais.
|
||||
|
||||
@ -98,7 +98,7 @@ Si c'est votre premier projet OVHcloud, n'oubliez pas d'indiquer le code promo p
|
||||
|
||||
### 2. Démarrer une nouvelle instance
|
||||
|
||||
Une fois le projet créé, toutes les offres cloud sont à porté de clic.
|
||||
Une fois le projet créé, toutes les offres cloud sont à portée de clic.
|
||||
|
||||
Celle qui nous intéressera ici est « Compute ».
|
||||
Nous allons « Créer une instance » :
|
||||
@ -111,7 +111,7 @@ Nous voulons une machine avec une carte graphique, rendez-vous donc dans l'ongle
|
||||
|
||||
Un large choix de machine s'offre à nous, avec différentes caractéristiques en terme de matériel, quantité de RAM et carte(s) graphique(s).
|
||||
Le meilleur choix pour évaluer les modèles est d'utiliser les modèles avec des cartes graphiques NVIDIA L4 ou NVIDIA L40S : respectivement L4-90 ou L40S-90.
|
||||
Ce dernier type d'instance est 2 fois plus chère à l'heure et ne se révèle utile uniquement si vous comptez évaluer les modèles les plus gros comme [FLUX.1-dev](https://huggingface.co/black-forest-labs/FLUX.1-dev).
|
||||
Ce dernier type d'instance est 2 fois plus cher à l'heure et ne se révèle utile uniquement si vous comptez évaluer les modèles les plus gros comme [FLUX.1-dev](https://huggingface.co/black-forest-labs/FLUX.1-dev).
|
||||
|
||||

|
||||
|
||||
@ -139,7 +139,7 @@ Nous allons passer un script de post-installation afin que la machine soit confi
|
||||
|
||||

|
||||
|
||||
Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet article]({{< relref "cloud-init-to-deploy-localai-in-5-minutes#machine-avec-carte-graphique" >}}), dans le *petit* champs de texte dédié :
|
||||
Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet article]({{< relref "cloud-init-to-deploy-localai-in-5-minutes#machine-avec-carte-graphique" >}}), dans le *petit* champ de texte dédié :
|
||||
|
||||

|
||||
|
||||
@ -151,11 +151,11 @@ Placez le contenu du [script `cloud-init` que je vous ai partagé dans cet artic
|
||||
|
||||
Le script de post-installation va automatiquement installer le service [LocalAI](https://localai.io/).
|
||||
C'est un service qui expose une API entièrement compatible avec OpenAI, mais en utilisant des modèles d'IA directement sur la machine.
|
||||
Aucune données n'est envoyée en dehors de la machine.
|
||||
Aucune donnée n'est envoyée en dehors de la machine.
|
||||
|
||||
#### Mode réseau
|
||||
|
||||
Dernière question, comment la machine est-elle connectée.
|
||||
Dernière question : comment la machine est-elle connectée.
|
||||
|
||||
Pour aller au plus simple, on choisit le mode Public, qui attribuera une IP publique à la machine.
|
||||
|
||||
@ -189,7 +189,7 @@ Si la création de l'instance se passe correctement, vous devriez avoir une IP q
|
||||

|
||||
|
||||
Il faut maintenant créer un nouveau sous-domaine pointant vers cette IP.
|
||||
Dans le cas d'OVH, ça se passe dans la partie « Web Cloud » :
|
||||
Dans le cas d'OVH, cela se passe dans la partie « Web Cloud » :
|
||||
|
||||

|
||||
|
||||
@ -221,7 +221,7 @@ Reste maintenant à modifier notre application pour qu'elle utilise notre servic
|
||||
Eh oui, c'est tout !
|
||||
L'API de LocalAI étant compatible, tous les services employés fonctionneront avec les modèles locaux.
|
||||
|
||||
Ajoutons tout de même que le nom des modèles différents.
|
||||
Ajoutons tout de même que le nom des modèles diffèrent.
|
||||
Ainsi, si nous avons bien `gpt-4` dans LocalAI, il s'agit en fait d'un alias vers les modèles `phi-2` ou `hermes-2-pro-mistral` selon la configuration matérielle.
|
||||
L'interface de LocalAI permet [d'installer d'autres modèles](https://models.localai.io/).
|
||||
Il peut être nécessaire d'en tester plusieurs, car chacun a des avantages et des inconvénients.
|
||||
|
@ -104,8 +104,8 @@
|
||||
<script src="{{ "js/photoswipe.min.js" | absURL }}"></script>
|
||||
<script src="{{ "js/photoswipe-ui-default.min.js" | absURL }}"></script>
|
||||
{{- else -}}
|
||||
<script src="https://cdnjs.cloudflare.com/ajax/libs/photoswipe/4.1.2/photoswipe.min.js" integrity="sha384-QELNnmcmU8IR9ZAykt67vGr9/rZJdHbiWi64V88fCPaOohUlHCqUD/unNN0BXSqy" crossorigin="anonymous"></script>
|
||||
<script src="https://cdnjs.cloudflare.com/ajax/libs/photoswipe/4.1.2/photoswipe-ui-default.min.js" integrity="sha384-m67o7SkQ1ALzKZIFh4CiTA8tmadaujiTa9Vu+nqPSwDOqHrDmxLezTdFln8077+q" crossorigin="anonymous"></script>
|
||||
<script src="https://cdnjs.cloudflare.com/ajax/libs/photoswipe/4.1.3/photoswipe.min.js" integrity="sha512-2R4VJGamBudpzC1NTaSkusXP7QkiUYvEKhpJAxeVCqLDsgW4OqtzorZGpulE3eEA7p++U0ZYmqBwO3m+R2hRjA==" crossorigin="anonymous"></script>
|
||||
<script src="https://cdnjs.cloudflare.com/ajax/libs/photoswipe/4.1.3/photoswipe-ui-default.min.js" integrity="sha512-SxO0cwfxj/QhgX1SgpmUr0U2l5304ezGVhc0AO2YwOQ/C8O67ynyTorMKGjVv1fJnPQgjdxRz6x70MY9r0sKtQ==" crossorigin="anonymous"></script>
|
||||
{{- end -}}
|
||||
<script src="{{ "js/load-photoswipe.js" | absURL }}"></script>
|
||||
|
||||
|
Loading…
x
Reference in New Issue
Block a user