darktable user manual

Wie die KI-Funktionen arbeiten

Table of Contents

Diese Seite erklärt, was unter der Haube vor sich geht: Die von darktable verwendete Inferenz-Bibliothek, die verfügbaren Ausführungsanbieter und wie Modelle gespeichert und aktiviert werden.

#Die Inferenz-Laufzeit

darktable lädt Modelle über die ONNX Laufzeit - eine für produktive Verwendung geeignete Inferenzbibliothek, die ursprünglich von Microsoft entwickelt wurde und nun von der Linux Foundation verwaltet wird. Sie akzeptiert Modelle im ONNX Open Format. ONNX ist der de-facto Standard für den Austausch von KI-Modellen zwischen verschiedenen Frameworks (PyTorch, TensorFlow, etc.). Dadurch ist es möglich, Modelle in darktable zu verwenden, die in irgendeinem dieser Frameworks trainiert und für ONNX exportiert wurden, ohne die zugehörigen Training Frameworks mitnehmen zu müssen.

Pro darktable-Prozess wird nur eine ONNX-Laufzeitbibliothek nach folgender Reihenfolge geladen:

  1. Wenn im Feld ONNX-Runtime-Bibliothek in den KI-Einstellungen der Pfad zu einer Datei gesetzt ist (oder in der Umgebungsvariablen DT_ORT_LIBRARY), wird dieser Bibliothek geladen.

  2. Andernfalls wird die mit darktable ausgelieferte Laufzeit aus dem Installationsverzeichnis geladen.

Die mitgelieferte Laufzeitumgebung ist unter Linux ausschließlich CPU-basiert, unter Windows mit DirectML und unter macOS mit CoreML ausgestattet. Dadurch ist jede Installation sofort einsatzbereit. Wenn du unter Linux oder Windows eine GPU-Beschleunigung für NVIDIA-, AMD- oder Intel-GPUs nutzen möchtest, ersetze die Bibliothek durch einen GPU-fähigen Build – siehe GPU-Beschleunigung..

#Execution Providers

Ein Execution Provider (EP) ist ein ONNX-Runtime-Backend für einen bestimmten Hardwarebeschleuniger – die Einstellung AI-Beschleunigung in darktable beruht auf diesem Konzept. Eine einzelne ONNX-Runtime-Bibliothek kann mit mehreren Providern ausgeliefert werden; welche davon tatsächlich funktionieren, hängt davon ab, welche in die Bibliothek einkompiliert sind und welche auf dem System verfügbar sind. Das Auswahlfeld in den Einstellungen listet nur diejenigen auf, die von der aktuell geladenen Bibliothek unterstützt werden:

  • auto - ONNX Runtime wählt zur Inferenzzeit automatisch den besten Provider aus, wobei die CPU als letzte Rückfalloption dient. Empfohlen, sofern du keinen Grund hast, die Auswahl manuell festzulegen.

  • CPU - immer verfügbar. Funktioniert gut für Objektmasken und gelegentliches Entrauschen/Hochskalieren. Langsam für interaktives Arbeiten und vierfaches Hochskalieren.

  • NVIDIA CUDA - NVIDIA GPUs unter Linux/Windows. Erfordert eine CUDA-fähige ONNX Runtime sowie das passende CUDA-Toolkit und cuDNN 9.x auf dem System.

  • AMD MIGraphX – AMD GPUs unter Linux. Erfordert eine MIGraphX-fähige ONNX Runtime und ein ROCm 6.3+ Installation. Nicht unterstützt für Windows.

  • Intel OpenVINO – Intel-Grafikprozessoren (integriert und dediziert) unter Linux/Windows. Die OpenVINO-Runtime ist im installierten Paket enthalten – es ist keine separate Installation nötig, lediglich ein aktueller Intel-GPU-Treiber.

  • Windows DirectML – irgendeine DirectX-12-fähige GPU unter Windows. Gute Ausweichlösung, wenn ein herstellerspezifischer Provider unpraktikabel ist. Im Paket enthalten.

  • Apple CoreML – Apple Silicon (Neural Engine und GPU) sowie aktuelle Intel-Macs. Im Paket enthalten.

Wenn ein GPU-Provider zum ersten Mal ein gegebenes Modell ausführt, wird eine optimierte Version des Modellgraphen für die spezifische Haradware kompiliert. Wie lange dies dauert, hängt stark vom Provider ab: Für CUDA und DirectML dauert es typischerweise ein paar Sekunden; AMD MIGraphX kann abhängig von der GPU und der Modellgröße 5 bis 30 Minuten beim ersten Aufruf eines jeden Modell benötigen. Nachfolgende Verwendungen können dann den kompilierten Graphen verwenden und laufen mit voller Geschwindigkeit.

#Modelle

Jede KI-Funktion basiert pro Anwendungsfall](./overview/#Anwendungsfall) auf einem oder mehreren Modellen. Ein Modell ist ein Verzeichnis mit einer ONNX-Datei und einer kleinen config.json mit Metadaten (Name, Aufgabe, Beschreibung, Lizenzinformationen). Modelle liegen unter:

  • Linux: ~/.local/share/darktable/models/

  • macOS: ~/Library/Application Support/darktable/models/

  • Windows: %APPDATA%\darktable\models\

Darktable durchsucht dieses Verzeichnis beim Start (und wenn Modelle in den Einstellungen geändert werden) nach verfügbaren Modellen. Für eine Aufgabe können mehrere Modelle installiert sein - für Entrauschen kann zum Beispiel sowohl die NIND- als auch die NAFNet-trainierte Option verfügbar sein. Nur ein Modell kann pro Aufgabe aktiv sein; wird für eine Aufgabe das Kennzeichen zur Aktivierung für ein Modell gesetzt, wird automatisch das Kennzeichen beim zuvor aktiven Modell entfernt. Module für eine Aufgabe verwenden das zum Zeitpunkt aktive Model.

Die Modelle werden nicht zusammen mit darktable ausgeliefert. Sie werden als .dtmodel-Pakete über das Repository darktable-ai bereit gestellt. In den AI Einstellungen befindet sich ein Knopf zum Herunterladen des Standard-Sets; zusätzliche Modelle (alternative Modelle zum Entrauschen, etc.) können als .dtmodelvon der Releaseseite des entsprechenden Repositorys heruntergeladen und über den Knopf aus Datei importiereninstalliert werden.

Translations