विषम रेखांकन में पुराने लेबल को नई तरकीबें सिखाना – Google AI ब्लॉग cgitaik synthetic intelligence information AI

मिनजी यून, रिसर्च इंटर्न, और ब्रायन पेरोज़ी, रिसर्च साइंटिस्ट, गूगल रिसर्च, ग्राफ माइनिंग टीम द्वारा पोस्ट किया गया

मशीन लर्निंग के औद्योगिक अनुप्रयोग आमतौर पर विभिन्न मदों से बने होते हैं जिनमें अलग-अलग डेटा तौर-तरीके या फीचर वितरण होते हैं। विषम रेखांकन (HGs) कई प्रकार के नोड्स (प्रत्येक डेटा प्रकार के लिए) और किनारों (डेटा आइटम के बीच संबंध के लिए) को परिभाषित करके इन मल्टीमॉडल डेटा सिस्टम का एक एकीकृत दृश्य प्रस्तुत करते हैं। उदाहरण के लिए, ई-कॉमर्स नेटवर्क हो सकते हैं [user, product, review] नोड्स या वीडियो प्लेटफॉर्म हो सकते हैं [channel, user, video, comment] नोड्स। विषम ग्राफ तंत्रिका नेटवर्क (एचजीएनएन) प्रत्येक नोड के संबंधों को वेक्टर में सारांशित करते हुए नोड एम्बेडिंग सीखते हैं। हालांकि, वास्तविक दुनिया के एचजी में, विभिन्न प्रकार के नोड के बीच अक्सर लेबल असंतुलन की समस्या होती है। इसका अर्थ है कि लेबल-दुर्लभ नोड प्रकार एचजीएनएन का शोषण नहीं कर सकते हैं, जो एचजीएनएन की व्यापक प्रयोज्यता को बाधित करता है।

में “नॉलेज ट्रांसफर नेटवर्क के माध्यम से एक विषम ग्राफ के भीतर जीरो-शॉट ट्रांसफर लर्निंग”, पर प्रस्तुत किया गया न्यूरआईपीएस 2022, हम नॉलेज ट्रांसफर नेटवर्क (केटीएन) नामक एक मॉडल का प्रस्ताव करते हैं, जो एचजी में दी गई समृद्ध संबंधपरक जानकारी का उपयोग करके लेबल-प्रचुर मात्रा में नोड प्रकारों से शून्य-लेबल वाले नोड प्रकारों में ज्ञान स्थानांतरित करता है। हम वर्णन करते हैं कि कैसे हम फाइन-ट्यूनिंग की आवश्यकता के बिना एचजीएनएन मॉडल को पूर्व-प्रशिक्षित करते हैं। केटीएन जीरो-शॉट लर्निंग टास्क में अत्याधुनिक ट्रांसफर लर्निंग बेसलाइन से 140% तक बेहतर प्रदर्शन करते हैं, और इन कार्यों पर कई मौजूदा एचजीएनएन मॉडल को 24% (या अधिक) तक बेहतर बनाने के लिए इस्तेमाल किया जा सकता है।

केटीएन लेबल को एक प्रकार की जानकारी से रूपांतरित करते हैं (चौकों) एक ग्राफ के माध्यम से दूसरे प्रकार (सितारे).

एक विषम ग्राफ क्या है?

एक एचजी बना होता है एकाधिक नोड और किनारे प्रकार. नीचे दिया गया आंकड़ा एचजी के रूप में प्रस्तुत एक ई-कॉमर्स नेटवर्क दिखाता है। ई-कॉमर्स में, “उपयोगकर्ता” “उत्पाद” खरीदते हैं और “समीक्षा” लिखते हैं। एक एचजी इस पारिस्थितिकी तंत्र को तीन नोड प्रकारों का उपयोग करके प्रस्तुत करता है [user, product, review] और तीन किनारे प्रकार [user-buy-product, user-write-review, review-on-product]. व्यक्तिगत उत्पादों, उपयोगकर्ताओं और समीक्षाओं को तब नोड्स के रूप में प्रस्तुत किया जाता है और संबंधित नोड और किनारे के प्रकारों के साथ HG में उनके संबंधों को किनारों के रूप में प्रस्तुत किया जाता है।

ई-कॉमर्स विषम ग्राफ।

सभी कनेक्टिविटी जानकारी के अलावा, आमतौर पर एचजी के साथ दिया जाता है इनपुट नोड गुण जो प्रत्येक नोड की जानकारी को सारांशित करता है। इनपुट नोड विशेषताओं में विभिन्न नोड प्रकारों में अलग-अलग तौर-तरीके हो सकते हैं। उदाहरण के लिए, उत्पादों की छवियों को उत्पाद नोड्स के लिए इनपुट नोड विशेषताओं के रूप में दिया जा सकता है, जबकि पाठ को नोड्स की समीक्षा करने के लिए इनपुट विशेषताओं के रूप में दिया जा सकता है। नोड लेबल (उदाहरण के लिए, प्रत्येक उत्पाद की श्रेणी या वह श्रेणी जिसमें प्रत्येक उपयोगकर्ता सबसे अधिक रुचि रखता है) वह है जो हम प्रत्येक नोड पर भविष्यवाणी करना चाहते हैं।

एचजीएनएन और लेबल की कमी के मुद्दे

एचजीएनएन गणना करते हैं नोड एम्बेडिंग जो प्रत्येक नोड की स्थानीय संरचनाओं (नोड और उसके पड़ोसी की जानकारी सहित) को सारांशित करता है। इन नोड एम्बेडिंग का उपयोग क्लासिफायर द्वारा प्रत्येक नोड के लेबल की भविष्यवाणी करने के लिए किया जाता है। एक विशिष्ट नोड प्रकार के लिए लेबल की भविष्यवाणी करने के लिए एक HGNN मॉडल और एक क्लासिफायरियर को प्रशिक्षित करने के लिए, हमें प्रकार के लिए अच्छी मात्रा में लेबल की आवश्यकता होती है।

डीप लर्निंग के औद्योगिक अनुप्रयोगों में एक सामान्य समस्या लेबल की कमी है, और उनके विविध नोड प्रकारों के साथ, HGNN के इस चुनौती का सामना करने की अधिक संभावना है। उदाहरण के लिए, सार्वजनिक रूप से उपलब्ध सामग्री नोड प्रकार (जैसे, उत्पाद नोड) बहुतायत से लेबल किए जाते हैं, जबकि गोपनीयता प्रतिबंधों के कारण उपयोगकर्ता या खाता नोड के लिए लेबल उपलब्ध नहीं हो सकते हैं। इसका मतलब है कि अधिकांश मानक प्रशिक्षण सेटिंग्स में, एचजीएनएन मॉडल केवल कुछ लेबल-प्रचुर मात्रा में नोड प्रकारों के लिए अच्छा अनुमान लगाना सीख सकते हैं और आमतौर पर किसी भी शेष नोड प्रकारों के लिए कोई निष्कर्ष नहीं निकाल सकते हैं (उनके लिए किसी भी लेबल की अनुपस्थिति को देखते हुए)।

विषम रेखांकन पर सीखने का स्थानांतरण

जीरो-शॉट ट्रांसफर लर्निंग एक मॉडल के प्रदर्शन को बेहतर बनाने के लिए इस्तेमाल की जाने वाली तकनीक है लक्ष्य कार्यक्षेत्र बिना किसी लेबल के दूसरे संबंधित से मॉडल द्वारा सीखे गए ज्ञान का उपयोग करके स्रोत पर्याप्त रूप से लेबल किए गए डेटा वाला डोमेन। HGs में कुछ नोड प्रकारों के लिए इस लेबल की कमी के मुद्दे को हल करने के लिए ट्रांसफर लर्निंग को लागू करने के लिए, लक्षित डोमेन शून्य-लेबल वाले नोड प्रकार होंगे। तब स्रोत डोमेन क्या होगा? पहले का काम आमतौर पर स्रोत डोमेन को एक अलग एचजी में स्थित एक ही प्रकार के नोड्स के रूप में सेट करता है, यह मानते हुए कि उन नोड्स को बहुतायत से लेबल किया गया है। यह ग्राफ-टू-ग्राफ ट्रांसफर लर्निंग बाहरी HG पर एक HGNN मॉडल को प्री-ट्रेन करें और फिर मॉडल को मूल (लेबल-दुर्लभ) HG पर चलाएं।

हालाँकि, ये दृष्टिकोण तीन कारणों से कई वास्तविक दुनिया के परिदृश्यों में लागू नहीं होते हैं। सबसे पहले, कोई भी बाहरी एचजी जिसे ग्राफ-टू-ग्राफ ट्रांसफर लर्निंग सेटिंग में इस्तेमाल किया जा सकता है, लगभग निश्चित रूप से होगा संपदा, इस प्रकार, संभवतः अनुपलब्ध है। दूसरा, भले ही चिकित्सक बाहरी एचजी तक पहुंच प्राप्त कर सकें, इसकी संभावना नहीं है उस स्रोत HG का वितरण ट्रांसफर लर्निंग को लागू करने के लिए पर्याप्त रूप से अपने लक्ष्य एचजी से मेल खाएगा। अंत में, नोड प्रकार से पीड़ित हैं लेबल की कमी अन्य एचजी (जैसे, उपयोगकर्ता नोड्स पर गोपनीयता के मुद्दे) पर एक ही समस्या का सामना करने की संभावना है।

हमारा दृष्टिकोण: एक विषम ग्राफ के भीतर नोड प्रकारों के बीच सीखने का स्थानांतरण

यहाँ, हम एक अधिक व्यावहारिक स्रोत डोमेन पर प्रकाश डालते हैं, एक ही HG पर प्रचुर मात्रा में लेबल वाले अन्य नोड प्रकार. अतिरिक्त एचजी का उपयोग करने के बजाय, हम विभिन्न प्रकार के नोड्स में ज्ञान को एक एचजी (चिकित्सकों के पूर्ण स्वामित्व में माना जाता है) के भीतर स्थानांतरित करते हैं। अधिक विशेष रूप से, हम लेबल-प्रचुर (स्रोत) नोड प्रकार पर एक एचजीएनएन मॉडल और एक क्लासिफायरियर को पूर्व-प्रशिक्षित करते हैं, फिर अतिरिक्त फाइन-ट्यूनिंग के बिना उसी एचजी में स्थित शून्य-लेबल वाले (लक्ष्य) नोड प्रकारों पर मॉडल का पुन: उपयोग करते हैं। एक आवश्यकता यह है कि स्रोत और लक्ष्य नोड प्रकार समान लेबल सेट साझा करते हैं (उदाहरण के लिए, ई-कॉमर्स एचजी में, उत्पाद नोड्स में उत्पाद श्रेणियों का वर्णन करने वाला एक लेबल सेट होता है, और उपयोगकर्ता नोड समान लेबल सेट साझा करते हैं जो उनकी पसंदीदा खरीदारी श्रेणियों का वर्णन करते हैं) .

यह चुनौतीपूर्ण क्यों है?

दुर्भाग्य से, हम लक्ष्य नोड प्रकार पर पूर्व-प्रशिक्षित HGNN और क्लासिफायरियर का सीधे पुन: उपयोग नहीं कर सकते हैं। एचजीएनएन आर्किटेक्चर की एक महत्वपूर्ण विशेषता यह है कि वे एचजी की बहुलता को पूरी तरह से सीखने के लिए प्रत्येक नोड प्रकार के विशेष मॉड्यूल से बने होते हैं। एचजीएनएन प्रत्येक नोड प्रकार के लिए एम्बेडिंग की गणना करने के लिए मॉड्यूल के अलग-अलग सेट का उपयोग करते हैं। नीचे दिए गए चित्र में, नीले और लाल रंग के मॉड्यूल का उपयोग क्रमशः स्रोत और लक्ष्य नोड प्रकारों के लिए नोड एम्बेडिंग की गणना करने के लिए किया जाता है।

एचजीएनएन प्रत्येक नोड प्रकार के लिए विशिष्ट मॉड्यूल से बने होते हैं और विभिन्न नोड प्रकार के एम्बेडिंग की गणना करने के लिए मॉड्यूल के अलग-अलग सेट का उपयोग करते हैं। अधिक विवरण में पाया जा सकता है कागज़.

स्रोत नोड प्रकार पर एचजीएनएन के पूर्व-प्रशिक्षण के दौरान, एचजीएनएन में स्रोत-विशिष्ट मॉड्यूल अच्छी तरह से प्रशिक्षित होते हैं, हालांकि लक्ष्य-विशिष्ट मॉड्यूल कम प्रशिक्षित होते हैं क्योंकि उनके पास बहुत कम मात्रा में ग्रेडिएंट प्रवाहित होते हैं। यह नीचे दिखाया गया है, जहाँ हम देखते हैं कि एल 2 मानदंड लक्ष्य नोड प्रकार के लिए ढालों की (यानी, एम_टीटी) स्रोत प्रकारों की तुलना में बहुत कम हैं (अर्थात, M_{एस एस}). इस मामले में एक एचजीएनएन मॉडल लक्ष्य नोड प्रकार के लिए खराब नोड एम्बेडिंग को आउटपुट करता है, जिसके परिणामस्वरूप खराब कार्य प्रदर्शन होता है।

एचजीएनएन में, लक्ष्य प्रकार-विशिष्ट मॉड्यूल स्रोत नोड प्रकार पर पूर्व-प्रशिक्षण के दौरान शून्य या केवल थोड़ी मात्रा में ग्रेडिएंट प्राप्त करते हैं, जिससे लक्ष्य नोड प्रकार पर खराब प्रदर्शन होता है।

केटीएन: एचजीएनएन के लिए प्रशिक्षित क्रॉस-टाइप ट्रांसफर लर्निंग

हमारा काम स्रोत नोड एम्बेडिंग के वितरण का पालन करने के लिए पूर्व-प्रशिक्षित एचजीएनएन मॉडल द्वारा गणना की गई (खराब) लक्ष्य नोड एम्बेडिंग को बदलने पर केंद्रित है। तब क्लासिफायर, स्रोत नोड प्रकार पर पूर्व-प्रशिक्षित, के लिए पुन: उपयोग किया जा सकता है लक्ष्य नोड प्रकार। हम लक्ष्य नोड एम्बेडिंग को स्रोत डोमेन में कैसे मैप कर सकते हैं? इस प्रश्न का उत्तर देने के लिए, हम जांच करते हैं कि कैसे HGNNs स्रोत और लक्ष्य वितरण के बीच संबंध जानने के लिए नोड एम्बेडिंग की गणना करते हैं।

HGNN प्रत्येक परत में लक्ष्य नोड के एम्बेडिंग को बढ़ाने के लिए कनेक्टेड नोड एम्बेडिंग को जोड़ता है। दूसरे शब्दों में, स्रोत और लक्ष्य नोड प्रकार दोनों के लिए नोड एम्बेडिंग अपडेट किए जाते हैं…