RELIEF Studio

Studio local : LoRA de matières, ControlNet, évaluation chiffrée

Rôle: Conception, entraînement, évaluation, développement
Outils: PyTorch
Diffusers
PEFT
ControlNet Canny
CLIP
FastAPI
SQLite
Statut: Fonctionnel

Le studio : direction visuelle, adaptateur LoRA, et chaque image avec ses paramètres.

gain de style CLIP-image contre la base, IC 95 % [0,105 ; 0,147]: +0,126
paires où l’adaptateur est plus proche du style (échelle 1): 24/24
points d’adhérence au texte, réglables par l’échelle de l’adaptateur: −3,5
images, 4 matières : papier, métal, plâtre, bois: 144

Le problème: Une marque veut une matière reconnaissable appliquée à ses propres formes, sans perdre leurs contours, et savoir ce que le style coûte.
Pour qui: Studios et marques qui déclinent une direction visuelle ; démontré sur quatre matières : papier, métal, plâtre, bois.
Le résultat: Un adaptateur de quatre matières entraîné en 52 min : gain de style +0,126 [0,105 ; 0,147], 24 paires sur 24, adhérence au texte dosée par l’échelle (−3,5 points à l’échelle 1).

Contexte

Une marque veut une matière reconnaissable appliquée à ses propres formes, sans perdre leurs contours. La v0.1 l’a démontré sur une seule matière (papier en relief) ; la v0.2 passe à quatre matières et à une évaluation qui dit aussi ce que le style fait perdre.

Ce que j’ai construit

Poids de base reconstruits par conversion locale d’un checkpoint, avec un contrôle de parité : la MSE sur les cas tenus à l’écart retombe sur l’historique à 4 × 10⁻⁵ près en relatif.
Corpus relief-materials-v1 : 144 images, 108 pour apprendre et 36 pour tester, séparées par composition.
Adaptateur relief-materials-v1 : 1 500 pas en 52 min (environ 1,66 s par pas), min-SNR, EMA, points de contrôle et reprise exacte.
Évaluation CLIP-image, CLIP-texte, diversité et SSIM sur 8 prompts (4 dans le domaine, 4 hors domaine) × 3 graines, avec intervalles de confiance ; empilement de plusieurs adaptateurs dans l’interface.

Architecture 7 briques

01 · EntréeDataset144 images, 4 matières, séparation par composition
02 · OutilBase vérifiéeConversion locale, parité à 4 × 10⁻⁵ près
03 · ModèleLoRA d’attention1 500 pas, min-SNR, EMA, base SD 1.5 gelée
04 · DonnéesBibliothèqueAdaptateurs versionnés, export kohya, empilement
05 · OutilControlNet CannyContours de la référence pour guider la génération
06 · OutilÉvaluationCLIP style, texte, sujet, diversité, SSIM, IC 95 %
07 · SortieStudioApplication web, PNG et manifeste par image

Fabrication 5 étapes

ParitéBase reconvertie, vérifiée.
Dataset144 images, 4 matières.
Entraînement1 500 pas, 52 min.
ÉvaluationStyle, texte, sujet, diversité.
StudioAdaptateurs empilés, contours tenus.

Décisions le choix, la raison, l’alternative écartée

D1
Reconstruire les poids de base par conversion locale, puis prouver la parité.
Une base reconstruite se prouve : la MSE sur les 9 cas tenus à l’écart retombe sur l’historique à 4 × 10⁻⁵ près en relatif, adaptateur compris.
ÉcartéRetélécharger et supposer l’équivalence.
D2
Mesurer aussi ce que le style fait perdre : adhérence au texte, sujet, diversité.
Le dosage se choisit sur mesures : à l’échelle 1, l’adhérence au texte varie de −3,5 points ; l’échelle 0,7 en préserve davantage.
D3
Tester hors domaine, sur des sujets jamais vus.
Phare, renard, portrait, navire : le style se transfère (+0,151), ce n’est pas une copie du corpus.
D4
Une file SQLite persistante et un seul traitement GPU à la fois.
Évite de saturer les 16 Go de mémoire unifiée ; le serveur web reste disponible pendant le calcul.

Résultats

relief-materials-v1 contre la base SD 1.5 (24 paires, 384², 24 pas)

Condition	Gain de style [IC 95 %]	Paires gagnées	Écart d’adhérence au texte
Échelle 1	+0,126 [0,105 ; 0,147]	100 %	−3,5
Échelle 0,7	+0,100 [0,082 ; 0,118]	96 %	−2,1
Pas 750, échelle 1	+0,111 [0,091 ; 0,132]	100 %	−2,9
Échelle 1, hors domaine	+0,151 [0,133 ; 0,169]	100 %	−3,5

Gain de style : similarité CLIP-image avec des images de test du corpus. Le dosage entre style et adhérence au prompt se règle par l’échelle de l’adaptateur.

Livrables 4

Application web responsive (FastAPI) : génération, entraînement, évaluation, adaptateurs empilés.
Adaptateur relief-materials-v1 et son point d’étape 750.
Rapport d’évaluation (tableau, planche, page HTML) et rapport de parité.
Corpus de 144 images avec manifeste et empreintes ; 67 tests.

Environnement

Matériel et conditions de mesure

Entraîné et évalué sur M1 Pro 16 Go (MPS) : 1 500 pas en 52 min ; une file SQLite garde un seul traitement GPU à la fois.
API servie sur 127.0.0.1, pour un usage local.

Reproduire commandes du README

Code privé : accès en lecture sous accord de confidentialité, ou démo en direct de 30 minutes. Demander l’accès →

.venv/bin/relief doctor
.venv/bin/relief dataset build --name relief-materials-v1 --styles paper,metal,plaster,wood
.venv/bin/relief train --config configs/relief-materials-v1.toml
.venv/bin/relief evaluate --adapter relief-materials-v1 --adapter relief-materials-v1@step-000750 \
  --preset materials --references relief-materials-v1 --scales 0.7,1.0
.venv/bin/relief serve --port 7864

Testé sur M1 Pro 16 Go.
L’API écoute sur 127.0.0.1, pour un usage local ; une authentification s’ajoute avant toute exposition réseau.

Galerie 5

Évaluation dans le domaine (papier et métal). Colonnes : base SD 1.5, adaptateur à 0,7 et à 1, puis le point d’étape 750 à 0,7 et à 1.

Hors domaine : phare et renard, sujets jamais vus à l’entraînement. Mêmes colonnes.

Avant / après : restylisation guidée par ControlNet, contours conservés.

Ce que ce projet change pour vous

Le même savoir-faire, sur votre sujet.

Votre matière, vos formes

J’apprends une matière à un modèle et je l’applique à vos formes en gardant leurs contours : affiches, emballages, déclinaisons.

Un dosage chiffré

Le gain de style et ce qu’il coûte, mesurés à chaque échelle : vous choisissez le compromis en connaissance de cause.

Un studio installé chez vous

Une interface simple sur vos machines : vos références et vos résultats restent sur votre disque.

Des visuels pour ma marque →Le même outil pour mon équipe