Jiometri ya Mifumo ya Uundaji wa Picha za Kina na Matumizi Yake
Binxu Wang & Carlos R. Ponce | Idara ya Sayansi ya Akili, Chuo Kikuu cha Washington huko St Louis
Imechapishwa kama karatasi ya mkutano katika ICLR 2021
Yaliyomo
Dondoo
Mitandao ya Kupambana ya Kizalendo (GANs) imejitokeza kama mbinu yenye nguvu isiyo na usimamizi wa kuiga mifumo ya kitakwimu ya seti za data za ulimwengu halisi, kama vile picha asilia. Mitandao hii inafunzwa kubadilisha pembejeo za nasibu katika nafasi yao ya fiche kuwa sampuli mpya zinazowakilisha data iliyojifunza. Hata hivyo, muundo wa nafasi ya fiche ni mgumu kuelewa kwa sababu ya ukubwa wake wa hali ya juu na kutokuwa na mstari wa kizazi, na hii inapunguza matumizi ya miundo hiyo.
Kuelewa nafasi ya fiche kunahitaji njia ya kutambua misimbo ya pembejeo kwa picha halisi za ulimwengu halisi (ubadilishaji), na njia ya kutambua maelekezo na mabadiliko ya picha yanayojulikana (uwezo wa kuelezewa). Hapa, tunatumia mfumo wa kijiometri kushughulikia masuala yote mawili kwa wakati mmoja. Tunatengeneza mbinu isiyohusiana na muundo wa kukokotoa metriki ya Riemann ya umbo la picha linaloundwa na GANs. Mtengano wa eigen wa metriki hutenga mihani ambayo inahusiana na viwango tofauti vya utofauti wa picha.
Uchambuzi wa kimaabara wa GANs kadhaa zilizowekwa mafunzo hapo awali unaonyesha kuwa tofauti ya picha karibu na kila nafasi inajikita kwenye mihani michache tu kuu (nafasi hiyo ina mwelekeo mwingi sana) na maelekezo yanayounda tofauti hii kubwa ni sawa katika nafasi tofauti katika nafasi hiyo (nafasi hiyo ni sawa). Tunaonyesha kuwa vectors nyingi za eigen za hali ya juu zinahusiana na mabadiliko yanayoelezeka katika nafasi ya picha, na sehemu kubwa ya nafasi ya eigen inayohusiana na mabadiliko madogo ambayo yanaweza kubanwa nje.
Uelewa huu wa kijiometri unaunganisha matokeo muhimu ya awali yanayohusiana na uwezo wa kuelezewa wa GAN. Tunaonyesha kuwa matumizi ya metriki hii yanawezesha uboreshaji bora katika nafasi ya fiche (mfano. ubadilishaji wa GAN) na inarahisisha ugunduzi usio na usimamizi wa mihani inayoelezeka. Matokeo yetu yanaonyesha kuwa kufafanua jiometri ya umbo la picha la GAN linaweza kutumika kama mfumo wa jumla wa kuelewa GANs.
Utangulizi
Miundo ya kina ya kizalendo, hasa Mitandao ya Kupambana ya Kizalendo (GANs), imebadilisha kabisa uwanja wa kujifunza kwa kiasi kikubwa kwa kuwezesha uzalishaji wa picha zenye uhalisia wa hali ya juu na zenye anuwai. Licha ya mafanikio yao makubwa katika kutoa sampuli zenye uhalisia wa picha, muundo wa msingi wa nafasi zao za fiche bado haueleweki vyema. Asili yake ya hali ya juu na isiyo ya mstari ya nafasi hizi inaleta changamoto kubwa kwa tafsiri na matumizi ya vitendo.
Nakala hii inaanzisha mtazamo wa kijiometri wa kuchambua na kuelewa nafasi za fiche za GANs. Kwa kuchukulia kizazi kama ramani laini kutoka kwa nafasi ya fiche hadi nafasi ya picha, tunaweza kutumia zana kutoka kwa jiometri ya Riemann kuelezea muundo wa umbo la picha linalotokana. Mbinu hii inatoa mfumo wa umoja wa kushughulikia changamoto mbili za msingi katika utafiti wa GAN: ubadilishaji wa nafasi ya fiche (kupata misimbo kwa picha halisi) na uwezo wa kuelezewa (kutambua maelekezo yenye maana katika nafasi ya fiche).
Kazi yetu inaonyesha kuwa metriki ya Riemann ya umbo la GAN inafunua sifa muhimu kuhusu jiometri yake, ikiwa ni pamoja na anisotropy na homogeneity, ambazo zina athari za moja kwa moja kwa uelewa wa kinadharia na matumizi ya vitendo ya miundo ya kizalendo.
Msingi wa Kinadharia
Mitandao ya Kupambana ya Kizalendo hujifunza mifumo inayowatambua seti ngumu za data na baadaye kuzalisha sampuli mpya zinazowakilisha seti hiyo. Katika miaka ya hivi karibuni, kumekuwa na mafanikio makubwa katika kufundisha GANs kuzalisha picha za hali ya juu na zenye uhalisia wa picha. GANs zilizofunzwa vizuri zinaonyesha mabadiliko laini kati ya matokeo ya picha wakati wa kuchanganua katika nafasi yao ya pembejeo ya fiche, jambo ambalo huwafanya wawe na manufaa katika matumizi kama vile urekebishaji wa picha wa hali ya juu (kubadilisha sifa za nyuso), s # Uhakiki uliopunguzwa kwa sababu ya kikomo cha urefu