Fonctionnalités IA on darktable user manual

Présentation

Mon, 01 Jan 0001 00:00:00 +0000

darktable utilise des modèles d’apprentissage automatique pour un petit nombre de tâches de traitement d’images : masquage d’objets interactifs, débruitage, agrandissement, etc. Cette section explique comment ces fonctionnalités fonctionnent de bout en bout – ce qui s’exécute où, quels modèles existent, comment l’inférence est accélérée et quels sont les choix dans les préférences de l’IA que l’utilisateur contrôle réellement.

Les fonctionnalités de l’IA sont avec consentement (opt-in). Elles sont désactivées par défaut lors d’une nouvelle installation et peuvent être basculées avec par une seule préférence à tout moment.

comment fonctionnent les fonctionnalités de l'IA

Mon, 01 Jan 0001 00:00:00 +0000

Cette page couvre ce qui se passe sous le capot : les chargements de la bibliothèque d’inférence darktable, les fournisseurs d’exécution à sa disposition et la manière dont les modèles sont stockés et activés.

🔗the inference runtime

darktable charge les modèles via ONNX Runtime – une bibliothèque d’inférence de qualité production développée à l’origine chez Microsoft et désormais régie par la Linux Foundation – qui accepte les modèles au format ouvert ONNX. ONNX est la norme de facto pour l’échange de modèles d’apprentissage automatique entre les frameworks (PyTorch, TensorFlow, etc.) afin que nous puissions prendre un modèle formé dans l’un d’entre eux, l’exporter vers ONNX et l’exécuter depuis darktable sans embarquer son framework de training en même temps.

Accélération GPU

Mon, 01 Jan 0001 00:00:00 +0000

Activer l’accélération GPU pour les fonctionnalités d’IA de darktable est un processus en deux étapes :

Installer un GPU compatible avec ONNX Runtime sur votre matériel (cette page).
Indiquer à darktable la nouvelle bibliothèque via préférences AI – cliquez sur détecter pour analyser automatiquement les emplacements d’installation standard ou accédez au fichier à la main.

Sous Linux, l’environnement d’exécution fourni est uniquement CPU ; sous Windows, il utilise DirectML ; et sous macOS, il utilise CoreML. Ainsi, l’étape 1 ne s’applique que si vous souhaitez une accélération GPU NVIDIA, AMD ou Intel sous Linux ou Windows. L’étape 1 comporte trois chemins, abordés ci-dessous.

performance & troubleshooting

Mon, 01 Jan 0001 00:00:00 +0000

🔗performance notes

L’inférence CPU est acceptable pour les masques d’objets (petites évaluations en une seule fois) mais beaucoup plus lente pour la réduction de bruit et l’agrandissement. Un runtime CUDA / MIGraphX / OpenVINO / DirectML / CoreML est fortement recommandé si vous les utilisez régulièrement.
L’agrandissement 4x sur une grande image est gourmand en mémoire, quel que soit le fournisseur. Le pavage est activé automatiquement pour contrôler la mémoire, au prix d’un temps de traitement supplémentaire.