1. Utangulizi

AI ya Kizalishaji (GenAI) inabadilisha kabisa mchakato tata wa kiwanda. Katika tasnia ya nguo, mchakato wa jadi—kutoka kwa mahitaji ya mteja hadi kwa mbunifu, mtengenezaji muundo, mshonaji, na uwasilishaji wa mwisho—unaongezewa nguvu na Mfano Mkubwa wa Aina Nyingi (LMM). Ingawa LMM za sasa zina uwezo mkubwa katika kuchambua mapendeleo ya mteja kwa upendekezaji wa bidhaa, kuna pengo kubwa katika kuwezesha ubinafsishaji unaoongozwa na mtumiaji kwa uangalifu. Watumiaji wanazidi kutaka kuwa wabunifu wao wenyewe, kuunda na kurekebisha miundo hadi waridhike. Hata hivyo, maelekezo yanayotegemea maandishi pekee (k.m., "koti jeupe la blazer") yana utata, ukikosa maelezo ya kitaalamu (k.m., mtindo maalum wa ukosi) ambayo mbunifu angeweza kufikiri. Karatasi hii inatanguliza mchakato wa Uzalishaji wa Uelewa Bora (BUG), ambao unatumia LMM kutafsiri pembejeo za picha-kuwa-maelekezo pamoja na maandishi, kuwezesha marekebisho sahihi na ya kurudiwa ya ubunifu wa mitindo ambayo yanaunganisha nia ya mtumiaji asiye mtaalamu na matokeo ya kiwango cha kitaalamu.

2. Njia ya Utafiti

2.1 Mchakato wa BUG

Mchakato wa BUG unafanana na ushauri wa ubunifu wa ulimwengu halisi. Huanza na awamu ya uanzishaji ambapo picha ya msingi ya nguo hutolewa kutoka kwa maelezo ya maandishi ya mtumiaji (k.m., "blazer ya pamba yenye miundo ya kitambaa"). Baadaye, mtumiaji anaweza kuomba marekebisho kupitia kitanzi cha kurudiwa. Kila marudio kunahusisha maandishi-kama-maelekezo (k.m., "badilisha ukosi") na, muhimu zaidi, picha-kuwa-maelekezo—picha ya rejea inayoonyesha kipengele cha mtindo kinachohitajika (k.m., picha ya ukosi wa kipekee). LMM inachakata pembejeo hii ya aina nyingi ili kutoa muundo uliorekebishwa, ambao mtumiaji anaweza kukubali au kutumia kama msingi wa urekebishaji unaofuata.

2.2 Utaratibu wa Picha-Kuwa-Maelekezo

Huu ndio uvumbuzi mkuu. Badala ya kutegemea tu maelezo ya maandishi ya dhana za kuona, mfumo huu unachukua picha ya rejea. Kichocheo cha kuona cha LMM kinatoa vipengele vya kuona kutoka kwa rejea hii, ambavyo kisha huchanganywa na maelekezo ya maandishi yaliyochakatwa. Mchanganyiko huu huunda ishara ya masharti iliyo tajiri na isiyo na utata zaidi kwa mfumo wa kuzalisha/kurekebisha picha, ikilenga moja kwa moja tatizo la "utata wa maandishi" lililoelezwa katika utangulizi.

2.3 Muundo wa LMM

Mfumo uliopendekezwa unatumia usanidi wa LMM mbili, ulioonyeshwa kwenye Mchoro 2 kama eLMM na mLMM. eLMM (LMM ya Mhariri) inawajibika kuelewa ombi la marekebisho la aina nyingi na kupanga marekebisho. mLMM (LMM ya Mrekebishaji) inatekeleza marekebisho halisi ya picha, ambayo pengine imejengwa juu ya muundo wa msingi wa mtawanyiko kama vile Stable Diffusion 3, ikitegemea uwakilishi uliochanganywa wa maandishi na picha. Utofautishaji huu unaruhusu mantiki na utekelezaji maalum.

3. Seti ya Takwimu ya FashionEdit

3.1 Uundaji wa Seti ya Takwimu

Ili kuthibitisha mchakato wa BUG, waandishi wanaanzisha seti ya takwimu ya FashionEdit. Seti hii ya takwimu imeundwa kuiga mchakato halisi wa ubunifu wa nguo. Ina seti tatu: (1) picha ya msingi ya nguo, (2) maagizo ya marekebisho ya maandishi (k.m., "badilisha kuwa mtindo wa ukosi wa kipekee"), na (3) picha ya mtindo wa rejea inayoonyesha sifa lengwa. Seti ya takwimu inashughulikia marekebisho ya kina kama vile mabadiliko ya mtindo wa ukosi (ukosi wa kipekee), marekebisho ya kufunga (kifungo 4 cha kifua maradufu), na kuongeza vifaa vya mapambo (kuongeza boutonniere).

3.2 Vipimo vya Tathmini

Tathmini iliyopendekezwa ina sehemu tatu:

  • Ufanano wa Uzalishaji: Hupima jinsi matokeo yaliyorekebishwa yanavyofanana na sifa lengwa kutoka kwa picha ya rejea, kwa kutumia vipimo kama LPIPS (Ufanano wa Sehemu za Picha Zilizojifunza) na alama ya CLIP.
  • Uridhishaji wa Mtumiaji: Inakadiriwa kupitia tathmini ya binadamu au uchunguzi ili kupima manufaa ya vitendo na ufanisi na nia ya mtumiaji.
  • Ubora: Inatathmini uhalisi wa kuona na mwendo wa picha iliyozalishwa, bila kasoro.

4. Majaribio na Matokeo

4.1 Usanidi wa Majaribio

Mfumo wa BUG umelinganishwa na njia za msingi za kurekebisha kwa maandishi pekee (kwa kutumia mifano kama Stable Diffusion 3 na DALL-E 2 na uchoraji) kwenye seti ya takwimu ya FashionEdit. Majaribio hujaribu uwezo wa mfumo wa kufanya marekebisho sahihi, maalum ya sifa yakiwa yanaongozwa na picha za rejea.

4.2 Matokeo ya Kiasi

Karatasi huripoti utendaji bora wa mchakato wa BUG ikilinganishwa na njia za msingi za maandishi pekee katika vipimo vyote vitatu vya tathmini. Matokeo muhimu ni pamoja na:

  • Alama za Juu za LPIPS/CLIP: Picha zilizorekebishwa zinaonyesha ufanano mkubwa wa kuona na sifa lengwa zilizobainishwa na picha ya rejea.
  • Kiwango cha Juu cha Uridhishaji wa Mtumiaji: Katika tathmini za binadamu, matokeo kutoka kwa njia ya picha-kuwa-maelekezo yanakadiriwa kwa uthabiti kuwa yanatimiza kwa usahihi zaidi ombi la marekebisho.
  • Ubora wa Picha Uliodumishwa: Mchakato wa BUG unadumisha ubora wa jumla na mwendo wa nguo ya msingi huku ukifanya marekebisho lengwa.

4.3 Uchambuzi wa Ubora na Uchunguzi wa Kesi

Mchoro 1 na 2 kutoka kwa PDF hutoa ushahidi wa ubora wenye nguvu. Mchoro 1 unaonyesha hali halisi ya ulimwengu: mtumiaji hutoa picha ya mtu akiwa amevaa blazer nyeupe na picha ya rejea ya ukosi maalum, akiomba marekebisho. Maelezo ya maandishi pekee "blazer nyeupe" hayatoshi. Mchoro 2 unaonyesha kwa kuona tofauti kati ya mchakato wa kurudiwa wa BUG (kutumia maelekezo ya maandishi na picha) na mchakato wa kurekebisha kwa maandishi pekee, ukionyesha jinsi ya kwanza inavyosababisha miundo sahihi huku ya pili ikitoa mara nyingi matokeo makosa au yenye utata kwa kazi za kina kama vile kuongeza boutonniere au kubadilisha kuwa mtindo wa kifungo 4 cha kifua maradufu.

5. Uchambuzi wa Kiufundi na Mfumo

5.1 Uundaji wa Kihisabati

Mchakato mkuu wa uzalishaji unaweza kuwekwa kama mchakato wa masharti wa mtawanyiko. Acha $I_0$ iwe picha ya msingi ya kwanza. Ombi la marekebisho ni jozi $(T_{edit}, I_{ref})$, ambapo $T_{edit}$ ni maagizo ya maandishi na $I_{ref}$ ni picha ya rejea. LMM inachakata hii kuwa vekta ya masharti iliyochanganywa $c = \mathcal{F}(\phi_{text}(T_{edit}), \phi_{vision}(I_{ref}))$, ambapo $\mathcal{F}$ ni mtandao wa kuchanganya (k.m., umakini wa kuvuka). Picha iliyorekebishwa $I_{edit}$ kisha huchukuliwa kutoka kwa mchakato wa nyuma wa mtawanyiko unaotegemea $c$: $$p_\theta(I_{edit} | I_0, c) = \prod_{t=1}^{T} p_\theta(I_{t-1} | I_t, c)$$ ambapo $\theta$ ni vigezo vya mLMM. Tofauti kuu kutoka kwa mtawanyiko wa kawaida wa maandishi-hadi-picha ni masharti tajiri $c$ yanayotokana na mchanganyiko wa aina nyingi.

5.2 Mfano wa Mfumo wa Uchambuzi

Kesi: Kurekebisha Ukosi wa Blazer

  1. Pembejeo: Picha ya Msingi ($I_0$): Picha ya mwanamke akiwa amevaa blazer yenye ukosi wa notch. Ombi la Marekebisho: $(T_{edit}="badilisha kuwa mtindo wa ukosi wa kipekee", I_{ref}=[picha ya ukosi wa kipekee])$.
  2. Uchakataji wa LMM: eLMM inachambua $T_{edit}$ kutambua eneo lengwa ("ukosi") na kitendo ("badilisha mtindo"). Kichocheo cha kuona kinatoa vipengele kutoka $I_{ref}$ vinavyofafanua "ukosi wa kipekee" kwa kuona.
  3. Mchanganyiko wa Masharti: Vipengele vya "ukosi" kutoka $I_0$, dhana ya maandishi "kipekee", na kiolezo cha kuona kutoka $I_{ref}$ hupangwa na kuchanganywa kuwa ramani ya masharti iliyojumuishwa yenye ufahamu wa nafasi kwa mLMM.
  4. Utekelezaji: mLMM (mfano wa mtawanyiko) hufanya uchoraji/marekebisho kwenye eneo la ukosi la $I_0$, yakiwa yanaongozwa na masharti yaliyochanganywa, ikibadilisha ukosi wa notch kuwa wa kipekee huku ikidumisha sehemu nyingine ya blazer na msimamo wa mfano.
  5. Matokeo: $I_{edit}$: Picha ile ile ya msingi, lakini yenye ukosi wa kipekee uliorekebishwa kwa usahihi.
Mfumo huu unaonyesha udhibiti sahihi, wa kiwango cha sifa unaowezeshwa na mfano wa picha-kuwa-maelekezo.

6. Matumizi ya Baadaye na Mwelekeo

Mchakato wa BUG una athari zaidi ya mitindo:

  • Ubunifu wa Ndani na wa Bidhaa: Watumiaji wanaweza kuonyesha picha ya rejea ya mguu wa fanisi au muundo wa kitambaa ili kurekebisha mfano wa 3D au uchoraji wa chumba.
  • Uundaji wa Rasilimali za Mchezo: Uundaji wa haraka wa silaha za mhusika, silaha, au mazingira kwa kuchanganya mifano ya msingi na marejeo ya mtindo.
  • Uonyeshaji wa Usanifu: Kurekebisha nyuso za majengo au ukarabati wa ndani kulingana na picha za mfano.
  • Utafiti wa Baadaye: Kupanuliwa hadi urekebishaji wa video (kubadilisha mavazi ya mwigizaji katika fremu), urekebishaji wa umbo la 3D, na kuboresha utungaji wa marekebisho (kushughulikia picha nyingi za rejea, zinazoweza kukinzana). Mwelekeo mkuu ni kuboresha mantiki ya LMM kuhusu uhusiano wa nafasi na fizikia ili kuhakikisha marekebisho si sahihi tu kwa kuona lakini pia yanawezekana (k.m., boutonniere imeshikamana vizuri kwenye ukosi).

7. Marejeo

  1. Stable Diffusion 3: Karatasi ya Utafiti, Stability AI.
  2. Rombach, R., et al. (2022). Uzalishaji wa Picha za Uwiano wa Juu na Mifano ya Mtawanyiko ya Fichwa. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  3. OpenAI. (2022). DALL-E 2. https://openai.com/dall-e-2
  4. Isola, P., et al. (2017). Tafsiri ya Picha-hadi-Picha na Mitandao ya Adversarial ya Masharti. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). (CycleGAN ni njia inayohusiana isiyo na usimamizi).
  5. Liu, V., & Chilton, L. B. (2022). Miongozo ya Ubunifu ya Uhandisi wa Maelekezo kwa Mifano ya Uzalishaji wa Maandishi-hadi-Picha. CHI Conference on Human Factors in Computing Systems.
  6. Brooks, T., et al. (2023). InstructPix2Pix: Kujifunza Kufuata Maagizo ya Urekebishaji wa Picha. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  7. Li, H., et al. (2025). Ubunifu wa Mitindo Unaobinafsishwa Kwa Uangalifu Kwa Kigezo cha Picha-Kuwa-Maelekezo na Seti ya Takwimu Kutoka kwa LMM. arXiv:2509.09324.

8. Uchambuzi wa Asili na Maoni ya Mtaalamu

Uelewa Mkuu: Karatasi hii sio tu bora kidogo katika urekebishaji wa picha; ni mabadiliko ya kimkakati kuelekea utofautishaji wa nia ya aina nyingi. Waandishi wametambua kwa usahihi kwamba mpaka unaofuata wa AI ya kizalishaji katika nyanja za ubunifu sio nguvu ghafi, bali mawasiliano sahihi. Kikwazo halisi sio uwezo wa mfano wa kuzalisha "blazer," bali uwezo wake wa kuelewa blazer gani maalum mtumiaji anayo akilini. Kwa kuweka rasmi mfano wa "picha-kama-rejea" kuwa kigezo cha "picha-kuwa-maelekezo" (BUG), wanashughulikia tatizo la msingi la utata linalowakabili ushirikiano wa binadamu na AI. Hii inapita zaidi ya njia iliyotembelea ya mifano kama CycleGAN (ambayo hujifunza uhamishaji wa mtindo usio na jozi) au InstructPix2Pix (ambayo hutegemea maandishi pekee) kwa kudai wazi AI kurejelea mifano ya kuona, hatua ya utambuzi karibu zaidi na jinsi wabunifu wanavyofanya kazi.

Mtiririko wa Mantiki: Hoja hii ni ya kulazimisha na imepangwa vizuri. Huanza na tatizo wazi la tasnia (pengo kati ya maelekezo ya maandishi ya asiye mtaalamu na matokeo ya ubunifu wa kitaalamu), inapendekeza suluhisho linalowezekana la utambuzi (kuiga matumizi ya wabunifu ya picha za rejea), na kisha kuunga mkono kwa mchakato halisi wa kiufundi (BUG) na seti maalum ya takwimu ya tathmini (FashionEdit). Matumizi ya muundo wa LMM mbili (eLMM/mLMM) yanatenganisha kwa mantiki upangaji wa kiwango cha juu na utekelezaji wa kiwango cha chini, muundo wa ubunifu unaopata umaarufu katika mifumo ya AI yenye wakala, kama inavyoonekana katika utafiti kutoka taasisi kama Google DeepMind kuhusu matumizi ya zana na upangaji.

Nguvu na Kasoro: Nguvu kuu ni kuweka tatizo na uundaji wa kigezo. Seti ya takwimu ya FashionEdit, ikiwa itapatikana kwa umma, inaweza kuwa kigezo cha kawaida cha kutathmini urekebishaji wa kina, kama vile MS-COCO kwa utambuzi wa kitu. Ujumuishaji wa uridhishaji wa mtumiaji kama kipimo pia ni cha kusifiwa, kukiri kwamba alama za kiufundi pekee hazitoshi. Hata hivyo, karatasi, kama ilivyowasilishwa katika dondoo, ina mapungufu makubwa. Maelezo ya kiufundi ya utaratibu wa mchanganyiko wa LMM ni machache. Vipengele vya kuona kutoka $I_{ref}$ vinalinganishwaje na eneo la nafasi katika $I_0$? Je, ni kupitia umakini wa kuvuka, moduli maalum ya kupangilia nafasi, au kitu kingine? Zaidi ya hayo, tathmini, ingawa ina ahadi, inahitaji uchambuzi wa kina zaidi wa utenganishaji. Ni kiasi gani cha uboreshaji kinatokana na picha ya rejea dhidi ya kuwa na mfano bora wa msingi uliosawazishwa? Ulinganisho na njia za msingi zenye nguvu kama InstructPix2Pix au urekebishaji wa aina ya DragGAN unaotegemea pointi ungetoa ushahidi dhabiti zaidi.

Uelewa Unaotumika: Kwa watendaji wa tasnia, utafiti huu unaonyesha mwelekeo wazi: wekeza katika tabaka za mwingiliano wa aina nyingi kwa bidhaa zako za AI ya kizalishaji. Sanduku rahisi la maandishi halitoshi tena. UI lazima iruhusu watumiaji kuburuta, kuacha, au kuzunguka picha za rejea. Kwa watafiti, kigezo cha BUG kinafungua njia kadhaa: 1) Kupima uthabiti—mfano unafanya kazi vipi na picha za rejea zenye ubora wa chini au zilizo mbali kimaana? 2) Utungaji—inaweza kushughulikia "fanya ukosi kutoka kwa picha A na mikono kutoka kwa picha B"? 3) Ujumuishaji—kanuni zinaweza kutumika kwa nyanja zisizo za mitindo kama vile ubunifu wa picha au CAD ya viwanda? Jaribio la mwisho litakuwa ikiwa njia hii inaweza kuhamia kutoka kwenye seti za takwimu zilizodhibitiwa hadi ubunifu usio na mwisho wa watumiaji halisi, changamoto ambayo mara nyingi hutenganisha vielelezo vya kitaaluma na mafanikio ya kibiashara, kama historia na zana za awali za ubunifu zilizotegemea GAN imeonyesha.