|
| 1 | +# Ausführen von Modellen lokal mit AI Toolkit und Docker |
| 2 | + |
| 3 | +In dieser Lektion lernen Sie, wie Sie generative KI-Modelle lokal auf Ihrem Gerät oder in Ihrer Cloud-Umgebung mit AI Toolkit und Docker ausführen können. |
| 4 | + |
| 5 | +--- |
| 6 | + |
| 7 | +## Einführung |
| 8 | + |
| 9 | +Die Möglichkeit, KI-Modelle lokal auszuführen, bietet mehrere Vorteile wie Privatsphäre, reduzierte Kosten und volle Kontrolle über die Modellausführung. In dieser Lektion lernen Sie, wie Sie verschiedene Modelle mit dem Microsoft AI Toolkit und Docker ausführen können. |
| 10 | + |
| 11 | +## Videoanleitung |
| 12 | + |
| 13 | +[](https://youtu.be/1GwmV1PGRjI?feature=shared) |
| 14 | + |
| 15 | +_⬆️ Klicken Sie auf das Bild, um das Video anzusehen ⬆️_ |
| 16 | + |
| 17 | +## Microsoft AI Toolkit |
| 18 | + |
| 19 | +Das Microsoft AI Toolkit ist eine Sammlung von Werkzeugen und Bibliotheken, mit denen Sie lokale KI-Modelle in .NET-Anwendungen integrieren können. Es unterstützt eine Vielzahl von Modelltypen und Aufgaben. |
| 20 | + |
| 21 | +### Verwendung von AI Toolkit mit .NET |
| 22 | + |
| 23 | +Hier ist ein Beispiel dafür, wie Sie AI Toolkit in einer .NET-Anwendung verwenden können: |
| 24 | + |
| 25 | +```csharp |
| 26 | +using Microsoft.SemanticKernel; |
| 27 | +using Microsoft.SemanticKernel.AI.ChatCompletion; |
| 28 | + |
| 29 | +var kernelBuilder = Kernel.CreateBuilder(); |
| 30 | +kernelBuilder.AddAIToolkitChatCompletion( |
| 31 | + modelId: "models/phi3:latest", |
| 32 | + endpoint: "http://localhost:8080/v1"); |
| 33 | +var kernel = kernelBuilder.Build(); |
| 34 | + |
| 35 | +var chatCompletion = kernel.GetRequiredService<IChatCompletionService>(); |
| 36 | +var chat = new ChatHistory(); |
| 37 | +chat.AddUserMessage("Erkläre mir Quantencomputer in einfachen Worten"); |
| 38 | +var response = await chatCompletion.GetChatMessageContentAsync(chat); |
| 39 | +Console.WriteLine(response.Content); |
| 40 | +``` |
| 41 | + |
| 42 | +## Docker für KI-Modelle |
| 43 | + |
| 44 | +Docker ist eine Plattform, mit der Sie Anwendungen in isolierten Containern ausführen können. Es ist ein leistungsstarkes Werkzeug zum Ausführen von KI-Modellen in einer konsistenten Umgebung. |
| 45 | + |
| 46 | +### Ausführen von Modellen mit Docker |
| 47 | + |
| 48 | +Sie können verschiedene KI-Modelle über Docker ausführen: |
| 49 | + |
| 50 | +```bash |
| 51 | +docker run -d --gpus all -p 8080:8080 ghcr.io/microsoft/phi3:latest |
| 52 | +``` |
| 53 | + |
| 54 | +### Beispielanwendungen |
| 55 | + |
| 56 | +In den [DockerModels-01-SK-Chat](./src/DockerModels-01-SK-Chat) und [DockerModels-02-MEAI-Chat](./src/DockerModels-02-MEAI-Chat) Beispielen haben wir Anwendungen implementiert, die lokale Modelle sowohl mit Semantic Kernel als auch mit Microsoft.Extensions.AI verwenden. |
| 57 | + |
| 58 | +## Zusammenfassung |
| 59 | + |
| 60 | +Das Ausführen von Modellen lokal gibt Ihnen mehr Kontrolle über Ihre KI-Anwendungen und kann die Kosten reduzieren. Mit Microsoft AI Toolkit und Docker können Sie eine breite Palette von Modellen in Ihren .NET-Anwendungen einsetzen. |
| 61 | + |
| 62 | +**Haftungsausschluss**: |
| 63 | +Dieses Dokument wurde mit KI-gestützten maschinellen Übersetzungsdiensten übersetzt. Obwohl wir uns um Genauigkeit bemühen, weisen wir darauf hin, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner ursprünglichen Sprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die sich aus der Nutzung dieser Übersetzung ergeben. |
0 commit comments