Chagua Lugha

Seti ya Data ya Fashion-Diffusion: Picha Milioni Moja za Hali ya Juu kwa Ubunifu wa Mavazi kwa AI

Kuanzisha seti ya data ya Fashion-Diffusion: zaidi ya picha milioni moja za hali ya juu za mitindo na maelezo ya kina ya maandishi, kuweka kigezo kipya cha usanisi wa maandishi-hadi-picha katika ubunifu wa mavazi.
diyshow.org | PDF Size: 12.3 MB
Ukadiriaji: 4.5/5
★ ★ ★ ★ ★
Ukadiriaji Wako
Umekadiria waraka huu tayari
Kifuniko cha Waraka PDF - Seti ya Data ya Fashion-Diffusion: Picha Milioni Moja za Hali ya Juu kwa Ubunifu wa Mavazi kwa AI
Tazama Waraka PDF Pakua PDF Tafsiri PDF
Nyumbani » Nyaraka » Seti ya Data ya Fashion-Diffusion: Picha Milioni Moja za Hali ya Juu kwa Ubunifu wa Mavazi kwa AI

Yaliyomo

1.04M

Picha za Hali ya Juu za Mitindo

768x1152

Uwazi wa Picha

8,037

Sifa Zilizowekwa Lebo

1.59M

Maelezo ya Maandishi

1. Utangulizi

Muunganiko wa Akili Bandia (AI) na ubunifu wa mitindo unawakilisha upeo wa mabadiliko katika taswira ya kompyuta na tasnia za ubunifu. Ingawa mifano ya maandishi-hadi-picha (T2I) kama vile DALL-E, Stable Diffusion, na Imagen imeonyesha uwezo wa kushangaza, matumizi yao katika nyanja maalum kama ubunifu wa mitindo yamezuiliwa na kikwazo muhimu: ukosefu wa seti kubwa za data zenye hali ya juu na maalum kwa nyanja hiyo.

Seti za data za mitindo zilizopo, kama vile DeepFashion, CM-Fashion, na Prada, zinakabiliwa na mapungufu katika kiwango (mara nyingi picha <100k), uwazi (mfano, 256x256), ukamilifu (kukosa sura kamili za mwili wa binadamu au maelezo ya kina ya maandishi), au undani wa maelezo. Karatasi hii inaanzisha seti ya data ya Fashion-Diffusion, juhudi za miaka kadhaa za kujaza pengo hili. Inajumuisha zaidi ya picha milioni moja za hali ya juu (768x1152) za mitindo, kila moja ikiwa na maelezo ya kina ya maandishi yanayoshughulikia sifa za mavazi na za binadamu, zilizotokana na mitindo mbalimbali ya kimataifa.

2. Seti ya Data ya Fashion-Diffusion

2.1 Ujenzi na Ukusanyaji wa Seti ya Data

Ilianzishwa mwaka 2018, ujenzi wa seti ya data ulihusisha ukusanyaji na utayarishaji makini kutoka kwa hifadhi kubwa ya picha za hali ya juu za mavazi. Tofauti kuu ni mwelekeo wa utofauti wa kimataifa, kukusanya picha kutoka mazingira tofauti ya kijiografia na kitamaduni ili kujumuisha mitindo ya kimataifa, sio mitindo ya Magharibi pekee.

Mfuatano ulichanganya michakato ya otomatiki na ya mikono. Baada ya ukusanyaji wa awali, ulifuatiwa na uchujaji mkali wa ubora na uhusiano. Ilitumia mkakati mseto wa maelezo, ukichukua faida ya utambuzi wa otomatiki wa mada/ainishaji na uthibitishaji wa mikono na wataalamu wa ubunifu wa mavazi ili kuhakikisha usahihi na undani.

2.2 Maelezo ya Data na Sifa

Kwa ushirikiano na wataalamu wa mitindo, timu ilifafanua ontolojia kamili ya sifa zinazohusiana na mavazi. Seti ya data ya mwisho inajumuisha sifa 8,037 zilizowekwa lebo, ikiruhusu udhibiti mzuri wa mchakato wa uzalishaji wa T2I. Sifa zinashughulikia:

  • Maelezo ya Mavazi: Kategoria (gauni, shati, suruali), mtindo (bohemian, minimalist), kitambaa (hariri, denim), rangi, muundo, shingo ya shingo, urefu wa sleeve.
  • Muktadha wa Kibinadamu: Msimamo, aina ya mwili, jinsia, kikundi cha umri, mwingiliano na mavazi.
  • Mandhari na Muktadha: Tukio (kawaida, rasmi), mazingira.

Kila picha inaambatana na maelezo moja au zaidi ya hali ya juu ya maandishi, na kusababisha jozi 1.59M za maandishi-picha, ikirichisha sana usawazishaji wa maana muhimu kwa kufundisha mifano ya T2I.

2.3 Takwimu na Vipengele vya Seti ya Data

  • Kiwango: Picha 1,044,491.
  • Uwazi: Uwazi wa hali ya juu 768x1152, unaofaa kwa taswira ya kina ya muundo.
  • Jozi za Maandishi-Picha: Maelezo 1,593,808.
  • Utofauti: Vyanzo tofauti vya kijiografia na kitamaduni.
  • Kina cha Maelezo: Sifa 8,037 zenye undani mzuri.
  • Kuzingatia Kibinadamu: Kuzingatia sura kamili za mwili wa binadamu waliovaa mavazi, sio vitu pekee vya mavazi.

3. Kigezo cha Majaribio na Matokeo

3.1 Vipimo vya Tathmini

Kigezo kilichopendekezwa kinatathmini mifano ya T2I kwa mhimili kadhaa kwa kutumia vipimo vya kawaida:

  • Umbali wa Fréchet Inception (FID): Hupima ufanano kati ya usambazaji wa picha zilizozalishwa na halisi. Chini ni bora.
  • Alama ya Inception (IS): Inakadiria ubora na utofauti wa picha zilizozalishwa. Juu ni bora.
  • CLIPScore: Inatathmini usawazishaji wa maana kati ya picha zilizozalishwa na maagizo ya maandishi ya pembejeo. Juu ni bora.

3.2 Uchambuzi wa Kulinganisha

Mifano iliyofunzwa kwenye Fashion-Diffusion ililinganishwa na ile iliyofunzwa kwenye seti nyingine maarufu za data za mitindo (mfano, DeepFashion-MM). Ulinganisho unaangazia athari ya ubora na kiwango cha seti ya data kwenye utendaji wa mfano.

3.3 Matokeo na Utendaji

Matokeo ya majaribio yanaonyesha ubora wa mifano iliyofunzwa kwenye seti ya data ya Fashion-Diffusion:

  • FID: 8.33 (Fashion-Diffusion) dhidi ya 15.32 (Msingi). Uboreshaji wa ~46%, unaoonyesha picha zilizozalishwa ni za kifoto zaidi na zinafanana zaidi na data halisi.
  • IS: 6.95 dhidi ya 4.7. Uboreshaji wa ~48%, unaoonyesha ubora na utofauti bora wa picha.
  • CLIPScore: 0.83 dhidi ya 0.70. Uboreshaji wa ~19%, unaoonyesha usawazishaji bora wa maana wa maandishi-picha.

Maelezo ya Chati (Yaliyodhaniwa): Chati ya mihimili yenye kichwa "Ulinganisho wa Utendaji wa Mfano wa T2I" ingeonyesha jozi tatu za mihimili kwa FID, IS, na CLIPScore. Mihimili ya "Fashion-Diffusion" ingekuwa juu zaidi (kwa IS, CLIPScore) au chini zaidi (kwa FID) kuliko mihimili ya "Seti ya Data ya Msingi", ikithibitisha kwa macho ubora wa kiasi ulioripotiwa katika maandishi.

4. Mfumo wa Kiufundi na Njia

4.1 Mfuatano wa Usanisi wa Maandishi-hadi-Picha

Utafiti huu unachukua faida ya mifano ya usambazaji, hali ya kisasa ya sasa ya uzalishaji wa T2I. Mfuatano kwa kawaida unahusisha:

  1. Usimbaji wa Maandishi: Maagizo ya maandishi ya pembejeo yanasimbwa kuwa uwakilishi wa siri kwa kutumia mfano kama CLIP au T5.
  2. Mchakato wa Usambazaji: Muundo wa U-Net hutoa kelele za Gaussian nasibu kwa kurudia, ukiongozwa na usimbaji wa maandishi, ili kuzalisha picha inayofanana. Mchakato huo unafafanuliwa na mnyororo wa Markov wa mbele (kelele) na wa nyuma (kutoa kelele).
  3. Udhibiti wa Undani Mzuri: Lebo za kina za sifa katika Fashion-Diffusion huruhusu kudhibiti mchakato wa usambazaji kwenye vipengele maalum, ikiruhusu udhibiti sahihi wa vitu vya mitindo vilivyozalishwa.

4.2 Msingi wa Hisabati

Kiini cha mifano ya usambazaji kinahusisha kujifunza kurejesha mchakato wa kelele wa mbele. Kwa kuzingatia hatua ya data $x_0$ (picha halisi), mchakato wa mbele hutoa mlolongo wa siri zenye kelele zaidi $x_1, x_2, ..., x_T$ katika hatua $T$:

$q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$

ambapo $\beta_t$ ni ratiba ya tofauti. Mchakato wa nyuma, uliowekwa kigezo na mtandao wa neva $\theta$, hujifunza kutoa kelele:

$p_\theta(x_{t-1} | x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t))$

Mafunzo yanahusisha kuboresha kikomo cha chini cha tofauti. Kwa uzalishaji wenye masharti (mfano, na maandishi $y$), mfano hujifunza $p_\theta(x_{t-1} | x_t, y)$. Jozi za hali ya juu, zilizosawazishwa vizuri katika Fashion-Diffusion hutoa ishara thabiti ya mafunzo ya kujifunza usambazaji huu wenye masharti $p_\theta$ katika nyanja ya mitindo.

5. Ufahamu wa Msingi na Mtazamo wa Mchambuzi

Ufahamu wa Msingi:

Fashion-Diffusion sio seti nyingine tu ya data; ni juhudi ya kimkakati ya miundombinu inayoshambulia moja kwa moja kikwazo kikuu—ukosefu wa data na ubora duni—kinachozuia ubunifu wa mitindo wa kiwango cha tasnia kwa AI. Ingawa jamii ya kitaaluma imekuwa ikishikiliwa na muundo wa mfano (mfano, kuboresha U-Nets katika mifano ya usambazaji), kazi hii inatambua kwa usahihi kwamba kwa nyanja yenye undani, inayoongozwa na uzuri kama mitindo, msingi wa data ndio tofauti halisi. Inabadilisha mazingira ya ushindani kutoka kwa algoriti hadi mali za data zilizotayarishwa, za kipekee.

Mkondo wa Kimantiki:

Mantiki ya karatasi hii ni ya kulazimisha: 1) Tambua tatizo (ukosefu wa data nzuri ya T2I ya mitindo). 2) Jenga suluhisho (seti kubwa ya data yenye uwazi wa hali ya juu, yenye maelezo mazuri). 3) Thibitisha thamani yake (kigezo kinachoonyesha matokeo ya SOTA). Hii ni mkakati wa kitamaduni wa "ukijenga, watakuja" kwa jamii ya utafiti. Hata hivyo, mkondo huo unadhania kuwa kiwango na ubora wa maelezo hubadilishwa kiotomatiki kuwa mifano bora. Kwa kiasi fulani, hauangazii upendeleo unaowezekana ulioletwa wakati wa mchakato wao wa utayarishaji wa kimataifa—kile kinachofafanua "hali ya juu" au "tofauti" kimsingi ni la kibinafsi na kinaweza kuingiza upendeleo wa kitamaduni kwa wabunifu wa AI wa baadaye, suala muhimu lililoangaziwa katika masomo ya uadilifu wa algoriti kama vile yale kutoka Taasisi ya AI Now.

Nguvu na Kasoro:

Nguvu: Kiwango kisichokuwa na kifani na uwazi wa hali ya juu kwa mitindo. Ujumuishaji wa muktadha wa mwili mzima wa binadamu ni hatua bora—inahama zaidi ya kuzalisha mavazi yasiyo na mwili hadi kuunda mitindo inayoweza kuvaliwa katika muktadha, ambayo ndiyo hitaji halisi la kibiashara. Ushirikiano na wataalamu wa nyanja kwa ufafanuzi wa sifa huongeza uaminifu muhimu, tofauti na seti za data zilizokopwa mtandaoni pekee.

Kasoro: Karatasi hii haijaelezea kwa kina mchakato wa maelezo wa "mseto". Kiasi gani kilikuwa otomatiki dhidi ya kilichowekwa lebo na binadamu? Gharama ilikuwa nini? Ukosefu huu wa uwazi hufanya iwe vigumu kukadiria uwezekano wa kurudiwa. Zaidi ya hayo, ingawa viwango vinaonyesha uboreshaji, havionyeshi matumizi ya kibunifu—inaweza kuzalisha miundo mpya kabisa, inayoanzisha mitindo, au inachanganya tu mitindo iliyopo? Kulinganisha na kazi za msingi za kibunifu za AI kama CycleGAN (Zhu et al., 2017), ambayo ilianzisha tafsiri ya picha-hadi-picha isiyo na jozi, Fashion-Diffusion inafanikiwa katika data yenye usimamizi lakini inaweza kukosa uwezo sawa wa ugunduzi mkubwa wa kimtindo unaotokana na kujifunza kisio na vikwazo vichache.

Ufahamu Unaoweza Kutekelezwa:

1. Kwa Watafiti: Seti hii ya data ndiyo kigezo kipya. Mfano wowote mpya wa T2I wa mitindo lazima ufunzwe na kutathminiwa juu yake ili kuchukuliwa kwa uzito. Lengo sasa linapaswa kubadilika kwa kuchukua faida ya sifa zenye undani mzuri kwa muundo unaodhibika, unaoelezeka badala ya kuboresha tu alama za jumla za FID.
2. Kwa Tasnia (Chapa za Mitindo): Thamani halisi iko katika kujenga juu ya msingi huu wa chanzo wazi na data yako mwenyewe ya kipekee—michoro, bodi za hisia, makusanyo ya zamani—ili kuboresha mifano inayokamata DNA ya kipekee ya chapa yako. Enzi ya ubunifu unaosaidiwa na AI imefika; washindi watakuwa wale watakaochukua data ya mafunzo ya AI kama mali ya kimkakati ya msingi.
3. Kwa Wawekezaji: Saidia kampuni na zana zinazorahisisha uundaji, usimamizi, na kuweka lebo za seti za data za hali ya juu za nyanja maalum. Safu ya mfano inakuwa bidhaa; safu ya data ndiko thamani inayoweza kutetea inapojengwa, kama inavyoonyeshwa na mafanikio makubwa yaliyoonyeshwa hapa.

6. Mfumo wa Utumizi na Uchunguzi wa Kesi

Mfumo wa Ubunifu wa Mitindo Unausaidika na AI:

  1. Pembejeo: Mbunifu hutoa muhtasari wa lugha asilia (mfano, "gauni la majira ya joto la urefu wa kati lenye mtiririko, la rangi ya lavender chiffon na mikono ya puff, kwa sherehe ya bustani") au huchagua sifa maalum kutoka kwa ontolojia.
  2. Uzalishaji: Mfano wa usambazaji (mfano, Stable Diffusion iliyoboreshwa) iliyofunzwa kwenye Fashion-Diffusion huzalisha dhana kadhaa za taswira za hali ya juu.
  3. Uboreshaji: Mbunifu huchagua na kurudia, akiweza kutumia mbinu za kuchorea ndani au img2img kubadilisha maeneo maalum (mfano, kubadilisha shingo ya shingo, kurekebisha urefu).
  4. Matokeo: Taswira ya muundo wa mwisho kwa utengenezaji wa mfano au uundaji wa mali ya dijiti.

Uchunguzi wa Kesi Bila Msimbo: Utabiri wa Mitindo na Utengenezaji wa Haraka wa Mfano
Muuzaji wa mitindo ya haraka anataka kuchukua faida ya mtindo unaoibuka wa uzuri wa "cottagecore" uliotambuliwa kupitia uchambuzi wa mitandao ya kijamii. Kwa kutumia mfumo wa T2I unaotumia Fashion-Diffusion, timu yao ya ubunifu huingiza maagizo kama "gauni la pinafore la kitani la cottagecore, kifua kilichosokotwa, uzuri wa prairie" na huzalisha mamia ya tofauti za kipekee za muundo ndani ya masaa machache. Hizi hupitiwa haraka, 10 bora huchaguliwa kwa sampuli za dijiti, na muda wa kuwasilisha kutoka utambuzi wa mtindo hadi mfano hupunguzwa kutoka wiki hadi siku, ikiboresha sana usikivu wa soko.

7. Matumizi ya Baadaye na Mwelekeo

  • Mitindo Iliyobinafsishwa Kikamilifu: Kuunganisha vipimo vya mwili maalum vya mtumiaji na mapendeleo ya mtindo ili kuzalisha miundo ya mavazi iliyobinafsishwa, inayofaa.
  • Kujaribu Mtandaoni na Mitindo ya Metaverse: Kutumika kama seti ya data ya msingi ya kuzalisha mavazi halisi ya dijiti kwa avatari katika ulimwengu wa kuwaziwa na majukwaa ya kijamii.
  • Ubunifu Endelevu: Uboreshaji wa nyenzo unaoongozwa na AI na uzalishaji wa muundo usio na taka unaoongozwa na sifa za kina za mavazi.
  • Zana za Ushirikiano wa Ubunifu: Wasaidizi wa AI wa ubunifu wa wakati halisi, wenye mazungumzo ambapo wabunifu wanaweza kuboresha dhana kwa kurudia kupitia mazungumzo.
  • Utafutaji wa Mitindo Wenye Mbinu Nyingi: Kuwezesha utafutaji wa vitu vya mavazi kwa kutumia michoro, lugha ya maelezo, au hata picha zilizopakiwa za mitindo inayotakiwa, ikiongozwa na nafasi ya pamoja ya usimbaji wa maandishi-picha iliyojifunza kutoka kwa seti ya data.
  • Kuepusha Upendeleo na Maadili: Kazi ya baadaye lazima ilenge mkazo kwenye ukaguzi na kupunguza upendeleo wa seti ya data ili kuhakikisha uwakilishi sawa kote katika aina za miili, kabila, na tamaduni, na kuzuia kuendelezwa kwa dhana potofu za tasnia ya mitindo.

8. Marejeo

  1. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). Usanisi wa Picha ya Uwazi wa Hali ya Juu na Mifano ya Usambazaji ya Siri. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
  2. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Tafsiri ya Picha-hadi-Picha Isiyo na Jozi kwa kutumia Mtandao wa Adversarial Yenye Mzunguko Thabiti. Proceedings of the IEEE International Conference on Computer Vision (ICCV).
  3. Liu, Z., Luo, P., Qiu, S., Wang, X., & Tang, X. (2016). DeepFashion: Kuimarisha Utambuzi na Urejeshaji wa Nguvu wa Mavazi na Maelezo Mazuri. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
  4. Taasisi ya AI Now. (2019). Ulemavu, Upendeleo, na AI. Imepatikana kutoka https://ainowinstitute.org
  5. Ge, Y., Zhang, R., Wang, X., Tang, X., & Luo, P. (2021). DeepFashion-MM: Seti ya Data ya Usanisi wa Maandishi-hadi-Picha kwa Mitindo. ACM Multimedia.
  6. Yu, J., Zhang, L., Chen, Z., et al. (2024). Ubora na Kiasi: Kufunua Picha Milioni Moja za Hali ya Juu kwa Usanisi wa Maandishi-hadi-Picha katika Ubunifu wa Mitindo. arXiv:2311.12067v3.