Chagua Lugha

DeepVRSketch+: Uundaji wa Mitindo ya 3D ya Kibinafsi kupitia Uchoraji wa AR/VR na Akili Bandia ya Kizazi

Karatasi ya utafiti inayopendekeza mfumo mpya unaowezesha watumiaji wa kawaida kuunda nguo za dijiti za ubora wa juu za 3D kupitia uchoraji wa 3D wa kueleweka katika AR/VR, unaoendeshwa na mfano wa usambazaji wenye masharti na seti ya data mpya.
diyshow.org | PDF Size: 11.8 MB
Ukadiriaji: 4.5/5
★ ★ ★ ★ ★
Ukadiriaji Wako
Umekadiria waraka huu tayari
Kifuniko cha Waraka PDF - DeepVRSketch+: Uundaji wa Mitindo ya 3D ya Kibinafsi kupitia Uchoraji wa AR/VR na Akili Bandia ya Kizazi
Tazama Waraka PDF Pakua PDF Tafsiri PDF
Nyumbani » Nyaraka » DeepVRSketch+: Uundaji wa Mitindo ya 3D ya Kibinafsi kupitia Uchoraji wa AR/VR na Akili Bandia ya Kizazi

1. Utangulizi na Muhtasari

Kazi hii, "Kutoka Hewani hadi Kuvaa: Mitindo ya Kibinafsi ya Dijiti ya 3D na Uchoraji wa 3D Unaozamisha wa AR/VR," inashughulikia pengo muhimu katika uwezeshaji wa uundaji wa mitindo ya dijiti. Teknolojia za AR/VR zikipata umaarufu kama vifaa vya kawaida vya matumizi ya watumiaji, mahitaji ya utambulisho wa kibinafsi wa kimaumbile na usemi yanaongezeka. Hata hivyo, zana za kitaalamu za kuunda miundo ya 3D bado hazipatikani kwa wasio wataalamu. Waandishi wanapendekeza DeepVRSketch+, mfumo mpya unaowezesha watumiaji kuunda miundo ya kina ya nguo za 3D kwa kuchora tu katika nafasi ya 3D kwa kutumia vifaa vya AR/VR. Mfumo huu hutumia mfano wa usambazaji wenye masharti kutafsiri michoro isiyo sahihi, ya mkono huru na kuzalisha nguo za dijiti zenye uhalisi wa juu na zinazoweza kuvaliwa.

Ufahamu Muhimu

  • Uwezeshaji wa Ubunifu: Hubadilisha uundaji wa nguo za 3D kutoka kwenye programu za wataalamu pekee hadi uchoraji wa kueleweka na unaozamisha.
  • Ubunifu Unaotokana na Data: Inatangaza seti ya data ya KO3DClothes ili kushinda upungufu wa data ya michoro ya 3D na nguo zilizounganishwa.
  • Mwingiliano Unaozamisha: Hutumia njia ya asili ya kuingiza data ya 3D ya AR/VR, ikilingana na mifumo ya mwingiliano wa kizazi kijacho kati ya binadamu na kompyuta.
  • Kiini cha Akili Bandia ya Kizazi: Hutumia mfano wa usambazaji wenye masharti kwa uzalishaji thabiti na wa kuonekana kweli kutoka kwa data isiyoeleweka.

2. Mbinu na Mfumo wa Kiufundi

Mfumo uliopendekezwa umejengwa kwenye mfuatano wa hatua nyingi ulioundwa kujaza pengo kati ya nia ya mtumiaji (mchoro) na matokeo ya kina ya 3D (nguo).

2.1. Muundo wa DeepVRSketch+

Kiini chake ni mfano wa kizazi wenye masharti. Kipochi cha mchoro hupenyeza alama au mistari ya mchoro wa 3D ndani ya vekta ya siri. Msimbo huu wa siri huweka masharti kwa mfano wa usambazaji wa nguo za 3D. Mchakato wa usambazaji, ulioongozwa na kazi za kisasa za usanisi wa picha kama vile Ho et al. (2020), umebadilishwa ili kufaa kwa mawingu ya alama ya 3D au kazi zisizo wazi zinazowakilisha nguo. Mfano huo umefunzwa kuondoa kelele kutoka kwa umbo la nasibu la 3D na kulibadilisha kuwa nguo inayolingana na mchoro wenye masharti.

2.2. Seti ya Data ya KO3DClothes

Mchango mkubwa ni uundaji wa seti ya data ya KO3DClothes. Ina jozi za:
Miundo ya Nguo za 3D: Miundo ya juu ya ubora ya aina mbalimbali za nguo (mavazi, mashati, suruali).
Michoro ya 3D Iliyoundwa na Watumiaji: Michoro inayolingana iliyoundwa na watumiaji wasio wataalamu katika mazingira ya kuiga ya VR, ikichukua kutokuwa sahihi na mtindo wa data ya kawaida. Seti hii ya data inashughulikia moja kwa moja tatizo la "data ndogo" linalotajwa kwa kufunza mifumo kama hii ya njia mbalimbali.

2.3. Kujifunza kwa Mtaala Unaobadilika

Ili kufunza mfano kwa ufanisi kwenye michoro yenye kelele, iliyotengenezwa na watumiaji, waandishi hutumia mkakati wa kujifunza kwa mtaala unaobadilika. Mfano huanza kujifunza kutoka kwa michoro safi zaidi, sahihi zaidi ya sintetiki iliyounganishwa na nguo, na kuongeza hatua kwa hatua ugumu na kiwango cha kelele ili kufanana na data halisi ya watumiaji. Hii inaboresha uthabiti na ubora wa matokeo ya mwisho.

3. Matokeo ya Majaribio na Tathmini

3.1. Vipimo vya Kiasi

Karatasi hii inatathmini ikilinganishwa na misingi kadhaa kwa kutumia vipimo vya kawaida vya uzalishaji wa 3D:

  • Umbali wa Chamfer (CD): Hupima umbali wa wastani wa alama iliyo karibu zaidi kati ya wingu la alama lililozalishwa na ukweli wa msingi. DeepVRSketch+ iliripoti ~15% CD ya chini kuliko msingi ulio karibu zaidi, ikionyesha usahihi bora wa jiometri.
  • Umbali wa Fréchet wa Wingu la Alama (FPD): Marekebisho ya Umbali wa Fréchet Inception (FID) kwa mawingu ya alama ya 3D, ikikadiria ufanano wa takwimu wa usambazaji uliozalishwa na wa kweli. Mfano ulipata alama bora zaidi ya FPD.
  • Usahihi wa Mwingiliano wa Mchoro-Nguo: Kipimo maalum kinachopima jinsi nguo iliyozalishwa inavyolingana vizuri na nia ya maana ya mchoro wa kuingiza (mfano, urefu wa sleeve, umbo la sketi).

3.2. Utafiti wa Watumiaji na Uchambuzi wa Ubora

Utafiti wa watumiaji uliofanywa na washiriki ambao hawakuwa na uzoefu wa awali wa kuunda miundo ya 3D. Matokeo muhimu:

  • Uwezekano wa Kutumia: Zaidi ya 85% ya watumiaji walipata kiolesura cha uchoraji cha VR kuwa cha kueleweka na cha kufurahisha.
  • Ubora wa Matokeo: Nguo zilizozalishwa zilipimwa juu kwa uhalisi na kufuata nia ya mtumiaji iliyochorwa.
  • Ulinganisho: Ulinganisho wa kuona wa upande kwa upande katika karatasi (mfano, Kielelezo 4 & 5) unaonyesha kuwa DeepVRSketch+ hutoa nguo zenye kina zaidi, zinazofanana, na za kuonekana kweli ikilinganishwa na mbinu kama Sketch2Mesh au mitandao ya kukamilisha mawingu ya alama ya jumla, ambayo mara nyingi hutoa maumbo yasiyo wazi au yaliyopotoka.

4. Uchambuzi wa Msingi na Ufahamu wa Mtaalamu

Ufahamu wa Msingi: Karatasi hii sio tu bora kidogo nyingine katika uzalishaji wa 3D; ni dau la kimkakati kwenye muunganiko wa mwingiliano unaozamisha na uundaji wenye nguvu wa Akili Bandia uliowezeshwa. Waandishi wametambua kwa usahihi kwamba programu muhimu kwa AR/VR ya watumiaji sio matumizi tu, bali ni uundaji. Kwa kupunguza kikwazo cha uundaji wa maudhui ya 3D hadi kiwango cha "kuchora hewani," wanalenga upungufu wa msingi wa metaverse: rasilimali za ubora wa juu, zilizotengenezwa na watumiaji.

Mkondo wa Mantiki: Mantiki yake ni ya kulazimisha: 1) AR/VR hutoa turubai kamili ya 3D (kuingiza), 2) Akili Bandia ya Kizazi (mifano ya usambazaji) hutoa akili ya kutafsiri data isiyoeleweka (usindikaji), na 3) Uchumi wa mitindo ya dijiti/metaverse hutoa kesi ya matumizi na uwezekano wa kufanya pesa (matokeo). Uundaji wa seti ya data ya KO3DClothes ndio kazi muhimu ya uhandisi, ambayo mara nyingi haizingatiwi, inayofanya uchawi wa Akili Bandia uwezekane—ikidhibitisha jukumu muhimu ambalo seti za data kama ImageNet au ShapeNet zilicheza katika nyanja zao.

Nguvu na Kasoro: Nguvu yake kuu ni muundo wake wa mwisho-hadi-mwisho, unaolenga mtumiaji. Hachapishi tu aina mpya ya GAN au usambazaji; inatatua tatizo kamili la mtiririko wa kazi. Matumizi ya kujifunza kwa mtaala kushughulikia kelele ya mchoro ni mguso mzuri na wa vitendo. Hata hivyo, kasoro ya karatasi ni ya kukosa kawaida katika karatasi za michoro/Akili Bandia: kupuuza fizikia ya nguo na uigaji. Mesh inayoonekana kuwa ya kweli sio sawa na nguo inayoweza kuigwa ya kitambaa yenye topolojia sahihi, mistari ya mshono, na sifa za kitambaa kwa uhuishaji. Kama watafiti kutoka Maabara ya Michoro na Uchambuzi wa Picha ya Chuo Kikuu cha Washington wamesisitiza, matumizi ya kweli ya nguo ya dijiti yanahitaji kuunganishwa na mifuatano ya uigaji inayotegemea fizikia. Matokeo yaliyozalishwa, ingawa ya kuvutia, yanaweza kuwa "sanamu za dijiti" badala ya "nguo za dijiti" zilizo tayari kwa kujaribu kimaumbile.

Ufahamu Unaoweza Kutekelezwa: Kwa wachezaji wa tasnia: 1) Jukwaa kama Meta (Horizon), Roblox, au Apple (Vision Pro) wanapaswa kuona utafiti huu kama mwongozo wa zana za uundaji zilizojengwa ndani. Kununua au kukodisha teknolojia hii kunaweza kufunga mifumo ya waundaji. 2) Chapa za mitindo zinapaswa kushirikiana kutumia mifumo kama hii kama zana za kuunda pamoja na wateja, sio tu kwa uzalishaji wa rasilimali za mwisho. 3) Kwa watafiti: Kipindi kijacho ni "Mchoro-hadi-Nguo-Inayoweza Kuigwa." Kazi ya baadaye lazima iunganishe vikwazo vya kimwili na muundo wa nguo wenye vigezo (kama vile kwenye seti ya data ya CLOTH3D) ndani ya mchakato wa kizazi, kusonga zaidi ya jiometri tu hadi rasilimali zinazofanya kazi na zinazoweza kuhuishwa. Mafanikio ya mifumo kama Kaolin ya NVIDIA kwa kujifunza kwa kina kwa 3D yanaonyesha mahitaji ya tasnia ya zana zinazounganisha uzalishaji wa kuona na uhalisi wa kimwili.

5. Uchunguzi wa Kina wa Kiufundi

5.1. Uundaji wa Kihisabati

Mchakato wa usambazaji wenye masharti ndio kiini. Kwa kuzingatia mchoro wa 3D $S$ na wingu la alama la lengo la nguo ya 3D $G_0$, mchakato wa mbele huongeza kelele ya Gaussian katika hatua $T$: $$q(G_t | G_{t-1}) = \mathcal{N}(G_t; \sqrt{1-\beta_t} G_{t-1}, \beta_t I)$$ ambapo $\beta_t$ ni ratiba ya kelele. Mchakato wa nyuma, wa kizazi, unafunzwa na mtandao wa neva $\epsilon_\theta$: $$p_\theta(G_{t-1} | G_t, S) = \mathcal{N}(G_{t-1}; \mu_\theta(G_t, t, S), \Sigma_\theta(G_t, t, S))$$ Mtandao huo unafunzwa kutabiri kelele iliyoongezwa, kwa lengo: $$L = \mathbb{E}_{G_0, S, t, \epsilon \sim \mathcal{N}(0,I)} [\| \epsilon - \epsilon_\theta(\sqrt{\bar{\alpha}_t} G_0 + \sqrt{1-\bar{\alpha}_t} \epsilon, t, E(S)) \|^2]$$ ambapo $E(S)$ ndio msimbo wa siri kutoka kwa kipochi cha mchoro, na $\bar{\alpha}_t$ ni kazi ya $\beta_t$.

5.2. Mfumo wa Uchambuzi: Mfuatano wa Uchoraji-hadi-Nguo

Kesi ya Utafiti: Kubuni Mvazi wa Kimaumbile
Kuingiza (Kitendo cha Mtumiaji): Mtumiaji huvaa kichwa cha VR na kutumia vidhibiti kuchora muhtasari wa 3D wa mvazi wenye kupanuka hewani karibu na sanamu ya kimaumbile. Mchoro hauna usahihi—mistari inapiga piga, na umbo la silueta ni takriban.
Usindikaji (DeepVRSketch+):

  1. Usimbaji wa Mchoro: Data ya mstari wa 3D (mlolongo wa alama) huingizwa kwenye kipochi cha mchoro $E$, na kutoa vekta ya siri $z_s$ ambayo inakamata semantiki ya umbo lililokusudiwa.
  2. Uzalishaji wenye Masharti: $z_s$ huweka masharti kwa mfano wa usambazaji. Kuanzia wingu la alama la 3D lenye kelele $G_T$, mfano $\epsilon_\theta$ huondoa kelele kwa kurudia katika hatua $T$, ukiongozwa katika kila hatua na $z_s$ na hatua ya wakati $t$.
  3. Usindikaji wa Baadae: Wingu la alama lenye msongamano la matokeo hubadilishwa kuwa mesh isiyo na mapengo kwa kutumia mbinu kama Uundaji upya wa Uso wa Poisson.
Matokeo: Mesh ya kina, ya usahihi wa juu ya 3D ya mvazi wenye kupanuka, ikikamilika na mabano yanayoweza kukubalika na mtindo wa kitambaa, inayolingana na nia ya mtumiaji, ikiwa tayari kwa utengenezaji wa muundo na matumizi katika mazingira ya kimaumbile.

6. Matumizi ya Baadaye na Mwelekeo

  • Uundaji wa Pamoja wa Wakati Halisi na Ubunifu wa Kijamii: Nafasi za VR za watumiaji wengi ambapo marafiki wanaweza kuchora pamoja na kuona nguo zikizalishwa kwa wakati halisi.
  • Daraja la Mitindo ya Dijiti na Kimwili: Kutumia mfano wa 3D uliozalishwa kama mwongozo wa utengenezaji wa dijiti (ukunaji wa 3D, utengenezaji wa nyongeza) wa nguo za kimwili, kama ilivyochunguzwa na Maabara ya Media ya MIT.
  • Ubunifu wa Kitaalamu Unaosaidiwa na Akili Bandia: Kuunganisha zana hii ndani ya mifuatano ya kitaalamu (mfano, CLO3D, Marvelous Designer) kama moduli ya wazo na utengenezaji wa haraka wa mfano.
  • Uzalishaji wa Nguo Zenye Mwendo: Kupanua mfumo ili kuzalisha nguo zinazosonga, zikiwa na masharti ya mchoro na mlolongo wa mwonekano, zinazohitaji kuunganishwa na uigaji wa fizikia.
  • Mshauri wa Kibinafsi wa Mitindo wa Akili Bandia: Mfumo unaweza kupendekeza marekebisho ya mchoro au kuzalisha nguo kamili kulingana na mchoro wa awali wa mtumiaji na mapendeleo yaliyotajwa (mfano, "zaidi rasmi," "mavazi ya majira ya joto").

7. Marejeo

  1. Zang, Y., Hu, Y., Chen, X., et al. (2021). Kutoka Hewani hadi Kuvaa: Mitindo ya Kibinafsi ya Dijiti ya 3D na Uchoraji wa 3D Unaozamisha wa AR/VR. Journal of LaTeX Class Files.
  2. Ho, J., Jain, A., & Abbeel, P. (2020). Mifano ya Uwezekano wa Usambazaji wa Kuondoa Kelele. Maendeleo katika Mifumo ya Habari ya Neva (NeurIPS).
  3. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Tafsiri ya Picha-hadi-Picha Isiyounganishwa kwa kutumia Mitandao ya Uhasimu Yenye Mzunguko-Thabiti. Mkutano wa Kimataifa wa IEEE wa Kompyuta ya Kuona (ICCV).
  4. Bertiche, H., Madadi, M., & Escalera, S. (2020). CLOTH3D: Wanadamu 3D Waliovaa Nguo. Mkutano wa Ulaya wa Kompyuta ya Kuona (ECCV).
  5. Chang, A. X., Funkhouser, T., Guibas, L., et al. (2015). ShapeNet: Hifadhi ya Miundo ya 3D Yenye Habari Nyingi. Chapisho la awali la arXiv arXiv:1512.03012.
  6. Maktaba ya NVIDIA Kaolin. (n.d.). Imepatikana kutoka https://developer.nvidia.com/kaolin
  7. Maabara ya Michoro na Uchambuzi wa Picha ya Chuo Kikuu cha Washington (GRAIL). (n.d.). Utafiti kuhusu Uigaji wa Nguo. Imepatikana kutoka https://grail.cs.washington.edu/