|
| 1 | +# Ejecución de modelos de IA localmente con AI Toolkit y Docker |
| 2 | + |
| 3 | +En esta lección, aprenderá cómo ejecutar modelos de IA generativa localmente en su dispositivo o en su entorno de nube utilizando AI Toolkit y Docker. |
| 4 | + |
| 5 | +--- |
| 6 | + |
| 7 | +## Introducción |
| 8 | + |
| 9 | +[](https://youtu.be/1GwmV1PGRjI?feature=shared) |
| 10 | + |
| 11 | +_⬆️ Haga clic en la imagen para ver el video ⬆️_ |
| 12 | + |
| 13 | +La capacidad de ejecutar modelos de IA localmente ofrece múltiples ventajas como privacidad, reducción de costos y control total sobre la ejecución del modelo. En esta lección, aprenderá a ejecutar varios modelos con Microsoft AI Toolkit y Docker. |
| 14 | + |
| 15 | +## Microsoft AI Toolkit |
| 16 | + |
| 17 | +Microsoft AI Toolkit es un conjunto de herramientas y bibliotecas que le permiten integrar modelos de IA locales en aplicaciones .NET. Es compatible con una variedad de tipos de modelos y tareas. |
| 18 | + |
| 19 | +### Uso de AI Toolkit con .NET |
| 20 | + |
| 21 | +Aquí hay un ejemplo de cómo puede utilizar AI Toolkit en una aplicación .NET: |
| 22 | + |
| 23 | +```csharp |
| 24 | +using Microsoft.SemanticKernel; |
| 25 | +using Microsoft.SemanticKernel.AI.ChatCompletion; |
| 26 | + |
| 27 | +var kernelBuilder = Kernel.CreateBuilder(); |
| 28 | +kernelBuilder.AddAIToolkitChatCompletion( |
| 29 | + modelId: "models/phi3:latest", |
| 30 | + endpoint: "http://localhost:8080/v1"); |
| 31 | +var kernel = kernelBuilder.Build(); |
| 32 | + |
| 33 | +var chatCompletion = kernel.GetRequiredService<IChatCompletionService>(); |
| 34 | +var chat = new ChatHistory(); |
| 35 | +chat.AddUserMessage("Explícame la computación cuántica en términos simples"); |
| 36 | +var response = await chatCompletion.GetChatMessageContentAsync(chat); |
| 37 | +Console.WriteLine(response.Content); |
| 38 | +``` |
| 39 | + |
| 40 | +## Docker para modelos de IA |
| 41 | + |
| 42 | +Docker es una plataforma que le permite ejecutar aplicaciones en contenedores aislados. Es una herramienta poderosa para ejecutar modelos de IA en un entorno consistente. |
| 43 | + |
| 44 | +### Ejecución de modelos con Docker |
| 45 | + |
| 46 | +Puede ejecutar varios modelos de IA a través de Docker: |
| 47 | + |
| 48 | +```bash |
| 49 | +docker run -d --gpus all -p 8080:8080 ghcr.io/microsoft/phi3:latest |
| 50 | +``` |
| 51 | + |
| 52 | +### Aplicaciones de ejemplo |
| 53 | + |
| 54 | +En los ejemplos [DockerModels-01-SK-Chat](./src/DockerModels-01-SK-Chat) y [DockerModels-02-MEAI-Chat](./src/DockerModels-02-MEAI-Chat), hemos implementado aplicaciones que utilizan modelos locales tanto con Semantic Kernel como con Microsoft.Extensions.AI. |
| 55 | + |
| 56 | +## Resumen |
| 57 | + |
| 58 | +La ejecución de modelos localmente le brinda mayor control sobre sus aplicaciones de IA y puede reducir costos. Con Microsoft AI Toolkit y Docker, puede implementar una amplia gama de modelos en sus aplicaciones .NET. |
| 59 | + |
| 60 | +**Descargo de responsabilidad**: |
| 61 | +Este documento ha sido traducido utilizando servicios de traducción automática basados en inteligencia artificial. Si bien nos esforzamos por garantizar la precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse como la fuente autorizada. Para información crítica, se recomienda una traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas que puedan surgir del uso de esta traducción. |
0 commit comments