1. ProgrammingBig DataData ScienceData विज्ञान प्रोग्रामिंग ऑल-इन-वन डमीज धोखा शीट के लिए
डेटा विज्ञान प्रोग्रामिंग कोड की अवधारणा
  1. ProgrammingBig DataData ScienceMachine Learning बनाम Deep Learning: एआई के अन्य रूपों से गहन सीखने के अंतर की व्याख्या करना

जॉन पॉल म्यूएलर, लुका म्यूएलर द्वारा

एआई से संबंधित धन की शर्मिंदगी को देखते हुए, जैसे बड़ी मात्रा में डेटा, नए और शक्तिशाली कम्प्यूटेशनल हार्डवेयर सभी के लिए उपलब्ध है, और बहुत सारे निजी और सार्वजनिक निवेश, आप गहरी सीखने के पीछे की तकनीक के बारे में उलझन में हो सकते हैं, जिसमें शामिल हैं तंत्रिका नेटवर्क में अतीत की तुलना में अधिक न्यूरॉन्स और छिपी हुई परतें हैं। डीप नेटवर्क अतीत के सरल, उथले नेटवर्क के साथ विपरीत है, जिसमें सबसे अच्छी तरह से एक या दो छिपी हुई परतें दिखाई देती हैं। कई समाधान जो आज संभव सीखने को प्रस्तुत करते हैं, वे बिल्कुल नए नहीं हैं, लेकिन गहरी शिक्षा उन्हें नए तरीकों से उपयोग करती है।

डीप लर्निंग केवल एक पुरानी तकनीक की परिशोधन नहीं है, जिसे 1957 में कॉर्नेल वैमानिकी प्रयोगशाला में फ्रैंक रोसेनब्लट द्वारा खोजा गया था। डीप लर्निंग बेहतर परिष्कार के कारण बेहतर काम करता है क्योंकि यह शक्तिशाली कंप्यूटरों के पूर्ण उपयोग और बेहतर (केवल अधिक नहीं) डेटा की उपलब्धता के माध्यम से जोड़ता है। डीप लर्निंग का तात्पर्य नए और आश्चर्यजनक अनुप्रयोगों के साथ प्रौद्योगिकी द्वारा दी जाने वाली क्षमताओं में गहरा गुणात्मक परिवर्तन भी है। इन क्षमताओं की उपस्थिति पुराने लेकिन अच्छे तंत्रिका नेटवर्क का आधुनिकीकरण करती है, उन्हें कुछ नए में बदल देती है। निम्नलिखित लेख में बताया गया है कि कितना गहरा सीखना अपने कार्य को प्राप्त करता है।

गहरी सीखने के लिए अधिक परतों को जोड़ना

आप आश्चर्यचकित हो सकते हैं कि क्यों गहरी शिक्षा केवल अब खिल गई है जब गहरी सीखने की नींव के रूप में इस्तेमाल की जाने वाली तकनीक बहुत पहले अस्तित्व में थी। कंप्यूटर आज अधिक शक्तिशाली हैं, और गहन सीखने से बड़ी मात्रा में डेटा तक पहुंचा जा सकता है। हालाँकि, ये उत्तर केवल अतीत में गहन सीखने के लिए महत्वपूर्ण समस्याओं की ओर इशारा करते हैं, और कम कंप्यूटिंग शक्ति के साथ-साथ कम डेटा के साथ केवल दुर्गम बाधाएं नहीं हैं। कुछ समय पहले, गहरी सीखने को एक महत्वपूर्ण तकनीकी समस्या का सामना करना पड़ा जिसने तंत्रिका नेटवर्क को वास्तव में जटिल कार्यों को करने के लिए पर्याप्त परतें रखने से रोक दिया।

क्योंकि यह कई परतों का उपयोग कर सकता है, गहरी शिक्षा उन समस्याओं को हल कर सकती है जो मशीन सीखने की पहुंच से बाहर हैं, जैसे कि छवि मान्यता, मशीन अनुवाद और भाषण मान्यता। जब केवल कुछ परतों के साथ फिट किया जाता है, तो एक तंत्रिका नेटवर्क एक आदर्श सार्वभौमिक फ़ंक्शन सन्निकटन है, जो एक ऐसी प्रणाली है जो किसी भी गणितीय फ़ंक्शन को फिर से बना सकती है। जब कई और परतों के साथ फिट किया जाता है, तो एक तंत्रिका नेटवर्क बनाने में सक्षम हो जाता है, इसकी मैट्रिक्स श्रृंखला की आंतरिक श्रृंखला के अंदर, जटिल समस्याओं को हल करने के लिए अभ्यावेदन का एक परिष्कृत सिस्टम। यह समझने के लिए कि छवि मान्यता जैसे जटिल कार्य कैसे काम करते हैं, इस प्रक्रिया पर विचार करें:

  1. छवियों को पहचानने के लिए प्रशिक्षित एक गहरी सीखने की प्रणाली (जैसे कि बिल्लियों की विशेषता वाले कुत्तों की तस्वीरों को अलग करने में सक्षम नेटवर्क) आंतरिक भार को परिभाषित करता है जो एक चित्र विषय को पहचानने की क्षमता रखता है। छवि में प्रत्येक एकल समोच्च और कोने का पता लगाने के बाद, गहन सीखने वाला नेटवर्क ऐसे सभी बुनियादी लक्षणों को समग्र विशेषता विशेषताओं में इकट्ठा करता है। नेटवर्क एक आदर्श प्रतिनिधित्व के लिए ऐसी विशेषताओं से मेल खाता है जो उत्तर प्रदान करता है।

दूसरे शब्दों में, एक गहन शिक्षण नेटवर्क अपने आंतरिक भार का उपयोग करके बिल्लियों को कुत्तों से अलग कर सकता है, जो कि, आदर्श रूप से, एक कुत्ते और बिल्ली के समान होना चाहिए। यह इन आंतरिक वज़न का उपयोग आपके द्वारा प्रदान की गई किसी भी नई छवि से मेल खाने के लिए करता है।

गहरी सीखने की शुरुआती उपलब्धियों में से एक, जिसने जनता को इसकी क्षमता से अवगत कराया, वह है बिल्ली का न्यूरॉन। एंड्रयू ब्रेन और जेफ डीन द्वारा उस समय चलाए गए Google ब्रेन टीम ने 16,000 कंप्यूटरों को एक बिलियन से अधिक वज़न के साथ एक गहरे सीखने के नेटवर्क की गणना करने के लिए रखा, इस प्रकार YouTube वीडियो से बिना पढ़े सीखने को सक्षम किया। कंप्यूटर नेटवर्क बिना किसी मानवीय हस्तक्षेप के भी खुद को निर्धारित कर सकता है कि एक बिल्ली क्या है, और Google वैज्ञानिक नेटवर्क से बाहर खुदाई करने में कामयाब रहे कि कैसे नेटवर्क को खुद ही उम्मीद है कि एक बिल्ली को देखना चाहिए (वायर्ड लेख में तंत्रिका नेटवर्क पर चर्चा करते हुए देखें) ।

उस समय के दौरान जब कंप्यूटर हार्डवेयर की सीमा के कारण वैज्ञानिक एक तंत्रिका नेटवर्क में अधिक परतें नहीं जमा कर सकते थे, प्रौद्योगिकी की क्षमता दफन रही, और वैज्ञानिकों ने तंत्रिका नेटवर्क को अनदेखा कर दिया। सफलता की कमी गहरा संदेह है कि पिछले एअर इंडिया सर्दियों के दौरान प्रौद्योगिकी के आसपास पैदा हुई। हालांकि, वैज्ञानिकों ने वास्तव में कुछ और अधिक परिष्कृत बनाने से रोका जो गायब होने वाले ग्रेडिएंट्स के साथ समस्या थी।

जब आप तंत्रिका नेटवर्क के माध्यम से एक संकेत संचारित करने की कोशिश करते हैं और शून्य मानों के करीब जाने के लिए संकेत तेजी से गायब हो जाता है, तो एक गायब हो जाता है; यह सक्रियण कार्यों के माध्यम से नहीं मिल सकता है ऐसा इसलिए होता है क्योंकि तंत्रिका नेटवर्क जंजीर गुणा होते हैं। प्रत्येक नीचे-शून्य गुणा में आने वाले मूल्यों में तेजी से कमी होती है, और सक्रियण कार्यों को सिग्नल पास करने के लिए बड़े पर्याप्त मानों की आवश्यकता होती है। दूर न्यूरॉन परतें आउटपुट से होती हैं, संभावना है कि वे अपडेट से लॉक हो जाएँगी क्योंकि सिग्नल बहुत छोटे हैं और सक्रियण फ़ंक्शन उन्हें रोक देंगे। नतीजतन, आपका नेटवर्क संपूर्ण रूप से सीखना बंद कर देता है, या यह अविश्वसनीय रूप से धीमी गति से सीखता है।

एक साथ रखने और जटिल नेटवर्क का परीक्षण करने का हर प्रयास विफल हो गया क्योंकि बैकप्रॉपगैगेशन एल्गोरिथ्म इनपुट के समीप की परतों को अपडेट नहीं कर सकता है, इस प्रकार जटिल डेटा से किसी भी सीखने का प्रतिपादन करता है, भले ही ऐसा डेटा उस समय उपलब्ध था, लगभग असंभव। आज, कनाडा में टोरंटो विश्वविद्यालय के विद्वानों के अध्ययन के लिए गहरे नेटवर्क संभव हैं, जैसे कि जेफ्री हिंटन, जिन्होंने एक पुराने जमाने की मशीन सीखने के दृष्टिकोण के लिए सबसे अधिक लग रहा था, यहां तक ​​कि तंत्रिका नेटवर्क पर काम करने पर जोर दिया।

प्रोफेसर हिंटन, तंत्रिका नेटवर्क के क्षेत्र के एक वयोवृद्ध (उन्होंने बैकप्रोपागैज एल्गोरिथ्म को परिभाषित करने में योगदान दिया), और टोरंटो में उनकी टीम ने लुप्त हो रहे ग्रेडिएंट्स की समस्या को दरकिनार करने के लिए कुछ तरीकों को तैयार किया। उन्होंने नए समाधानों को पुनर्जीवित करने के लिए क्षेत्र को खोला जिसने तंत्रिका नेटवर्क को मशीन सीखने और एआई में फिर से एक महत्वपूर्ण उपकरण बना दिया।

प्रोफेसर हिन्टन और उनकी टीम गहरी तंत्रिका नेटवर्क के प्रशिक्षण में तेजी लाने के लिए GPU के उपयोग का परीक्षण करने वालों में पहले स्थान पर है। 2012 में, उन्होंने दवा कंपनी मर्क एंड कागले (डेटा विज्ञान प्रतियोगिताओं के लिए एक वेबसाइट) द्वारा आयोजित एक खुली प्रतियोगिता जीती, जिसमें उनकी सबसे हालिया गहरी सीखने की खोजों का उपयोग किया गया था। इस घटना ने उनके काम पर बहुत ध्यान दिया। आप इस ज्योफ्री Hinton साक्षात्कार से तंत्रिका नेटवर्क परतों के साथ Hinton टीम की क्रांतिकारी उपलब्धि के सभी विवरण पढ़ सकते हैं।

गहरी सीखने के लिए सक्रियता बदलना

जेफ्री हिंटन की टीम दो समाधानों के कारण एक तंत्रिका वास्तुकला में अधिक परतें जोड़ने में सक्षम थी, जो बैकपैनलैग के साथ परेशानी को रोकती थी:

  • उन्होंने स्मार्ट नेटवर्क इनिशियलाइज़ेशन का उपयोग करके विस्फोटकों की समस्या को रोका। एक विस्फोट ढाल एक लुप्त होती ढाल से भिन्न होता है क्योंकि यह एक नेटवर्क को उड़ा सकता है क्योंकि विस्फोट ढाल को संभालने के लिए बहुत बड़ा हो जाता है। आपका नेटवर्क तब तक फट सकता है जब तक कि आप नेटवर्क को बड़े वजन की संख्याओं की गणना करने से रोकने के लिए उसे सही तरीके से शुरू नहीं करते हैं। फिर आप नेटवर्क सक्रियण को बदलकर गायब होने वाले ग्रेडिएंट्स की समस्या को हल करते हैं। टीम ने महसूस किया कि विभिन्न सक्रियण परतों के माध्यम से एक सिग्नल पास करने से बैकप्रॉपैगैनेशन सिग्नल नम हो जाता है जब तक कि सिग्मॉइड सक्रियण कैसे काम करता है यह जांचने के बाद अब और अधिक बेहोश हो जाता है। उन्होंने इस समस्या के समाधान के रूप में एक नई सक्रियता का उपयोग किया। उपयोग करने के लिए एल्गोरिथ्म का विकल्प एक पुराने सक्रियण प्रकार के ReLU की ओर गिर गया, जो कि सुधारा हुआ रैखिक इकाइयों के लिए है। एक ReLU सक्रियण ने प्राप्त सिग्नल को रोक दिया यदि यह शून्य से नीचे था, तो यह तंत्रिका नेटवर्क की गैर-रैखिकता विशेषता को आश्वस्त करता है और सिग्नल को पास होने देता है जैसा कि शून्य से ऊपर था। (इस प्रकार की सक्रियता का उपयोग करना वर्तमान तकनीक के साथ पुरानी लेकिन फिर भी अच्छी तकनीक के संयोजन का एक उदाहरण है।) नीचे दी गई छवि दिखाती है कि यह प्रक्रिया कैसे काम करती है।
गहन शिक्षण में ReLU सक्रियण कार्य

ReLU अविश्वसनीय रूप से अच्छी तरह से काम किया और backpropagation सिग्नल को प्रारंभिक गहरी नेटवर्क परतों पर आने देता है। जब संकेत सकारात्मक होता है, तो इसका व्युत्पन्न 1. होता है। आप देखने में ReLU व्युत्पन्न का प्रमाण भी पा सकते हैं। ध्यान दें कि इनपुट सिग्नल पॉजिटिव होने पर परिवर्तन की दर एक इकाई के बराबर और बराबर होती है (जबकि जब संकेत नकारात्मक होता है, तो व्युत्पन्न 0 होता है, इस प्रकार सिग्नल को पास होने से रोकता है)।

आप f (x) = मैक्स (0, x) का उपयोग करके ReLU फ़ंक्शन की गणना कर सकते हैं। इस एल्गोरिथ्म के उपयोग ने प्रशिक्षण गति को बहुत अधिक बढ़ा दिया, जिससे किसी भी मृत न्यूरॉन्स को प्रभावित किए बिना और भी गहरे नेटवर्क के तेजी से प्रशिक्षण की अनुमति मिली। एक मृत न्यूरॉन वह है जिसे नेटवर्क सक्रिय नहीं कर सकता है क्योंकि सिग्नल बहुत अधिक घातक हैं।

गहरी शिक्षा के लिए ड्रॉपआउट द्वारा नियमितीकरण जोड़ना

नेटवर्क को नियमित करने के उद्देश्य से शुरुआती गहन शिक्षण समाधान को पूरा करने के लिए हिंटन की टीम द्वारा किए गए गहन शिक्षण का अन्य परिचय। एक नियमित नेटवर्क नेटवर्क वज़न को सीमित करता है, जो नेटवर्क को इनपुट डेटा को याद रखने और गवाह डेटा पैटर्न को सामान्य करने से रोकता है।

याद रखें, कुछ न्यूरॉन्स विशिष्ट जानकारी को याद करते हैं और अन्य न्यूरॉन्स को इस मजबूत न्यूरॉन पर भरोसा करने के लिए मजबूर करते हैं, जिससे कमजोर न्यूरॉन्स कुछ भी सीखने को खुद को उपयोगी मानते हैं (एक स्थिति जिसे सह-अनुकूलन कहा जाता है)। सह-अनुकूलन को रोकने के लिए, कोड अस्थायी नेटवर्क में न्यूरॉन्स के एक यादृच्छिक हिस्से की सक्रियता को बंद कर देता है।

जैसा कि आप नीचे की छवि के बाईं ओर से देखते हैं, वज़न सामान्य रूप से सक्रियण के लिए आउटपुट में अपने इनपुट को गुणा करके संचालित होता है। सक्रियण को बंद करने के लिए, कोड परिणाम के साथ लोगों और शून्य के यादृच्छिक मिश्रण से बना एक मुखौटा को गुणा करता है। यदि न्यूरॉन को एक से गुणा किया जाता है, तो नेटवर्क अपना सिग्नल पास करता है। जब एक न्यूरॉन शून्य से गुणा किया जाता है, तो नेटवर्क अपने सिग्नल को रोक देता है, जिससे अन्य न्यूरॉन्स इस प्रक्रिया पर भरोसा नहीं करते।

गहरी सीख

ड्रॉपआउट केवल प्रशिक्षण के दौरान काम करता है और वजन के किसी भी हिस्से को स्पर्श नहीं करता है। यह केवल नेटवर्क के भाग को मुखौटे और छुपाता है, डेटा पैटर्न सीखने में एक अधिक सक्रिय भूमिका निभाने के लिए बेजोड़ भाग को मजबूर करता है। भविष्यवाणी के समय के दौरान, ड्रॉपआउट काम नहीं करता है, और वजन को इस तथ्य पर ध्यान देने के लिए संकलित किया जाता है कि उन्होंने प्रशिक्षण के दौरान एक साथ काम नहीं किया था।

  1. ProgrammingBig DataData ScienceUsing AI सेंटीमेंट एनालिसिस के लिए

जॉन पॉल म्यूएलर, लुका म्यूएलर द्वारा

पाठ के विषय की ओर, लेखक के दृष्टिकोण (चाहे सकारात्मक, नकारात्मक, या तटस्थ) का उपयोग करके एक लिखित पाठ से सेंटीमेंट विश्लेषण कम्प्यूटेशनल रूप से प्राप्त होता है। इस तरह का विश्लेषण विपणन और संचार में काम करने वाले लोगों के लिए उपयोगी साबित होता है क्योंकि यह उन्हें यह समझने में मदद करता है कि ग्राहक और उपभोक्ता किसी उत्पाद या सेवा के बारे में क्या सोचते हैं और इस प्रकार, उचित रूप से कार्य करते हैं (उदाहरण के लिए, असंतुष्ट ग्राहकों को पुनर्प्राप्त करने की कोशिश करना या एक अलग बिक्री रणनीति का उपयोग करने का निर्णय लेना। )। हर कोई भावुक विश्लेषण करता है। उदाहरण के लिए, पाठ पढ़ते समय, लोग स्वाभाविक रूप से उस भावना को निर्धारित करने का प्रयास करते हैं जो उस व्यक्ति को स्थानांतरित करता है जिसने इसे लिखा था। हालाँकि, जब पढ़ने और समझने के लिए ग्रंथों की संख्या बहुत बड़ी है और पाठ लगातार जमा होता है, जैसा कि सोशल मीडिया और ग्राहक ई-मेल में है, तो भावना विश्लेषण को स्वचालित करना महत्वपूर्ण है।

एआई भावना विश्लेषण

आगामी उदाहरण केरस और टेन्सरफ्लो का उपयोग करके आरएनएन का एक परीक्षण रन है जो एक फिल्म समीक्षा में व्यक्त किए गए दृष्टिकोण को वर्गीकृत करने में सक्षम एक भावना विश्लेषण एल्गोरिदम बनाता है। डेटा IMDb डेटासेट का एक नमूना है जिसमें समीक्षा के भाव को व्यक्त करने वाले एक लेबल (0 = नकारात्मक, 1 = सकारात्मक) के साथ फिल्मों की 50,000 समीक्षाओं (ट्रेन और परीक्षण सेटों के बीच आधे में विभाजन) शामिल हैं। IMDb एक बड़ा ऑनलाइन डेटाबेस है जिसमें फिल्मों, टीवी श्रृंखला और वीडियो गेम के बारे में जानकारी होती है। मूल रूप से एक प्रशंसक आधार द्वारा बनाए रखा गया, यह अब एक अमेज़ॅन सहायक कंपनी द्वारा चलाया जाता है। IMDb पर, लोगों को उनके पसंदीदा शो के बारे में जानकारी की आवश्यकता होती है और साथ ही साथ अपनी टिप्पणियों को पोस्ट करने या पढ़ने के लिए अन्य आगंतुकों के लिए एक समीक्षा लिखते हैं।

Keras IMDb डेटा के लिए एक डाउनलोड करने योग्य आवरण प्रदान करता है। आप इस डेटा को ट्रेन और परीक्षण सेट में तैयार करते हैं, फेरबदल करते हैं। विशेष रूप से, केआरएस द्वारा पेश किए गए आईएमडीबी टेक्स्टुअल डेटा को विराम चिह्न से हटा दिया जाता है, जिसे लोअरकेस में सामान्य किया जाता है, और संख्यात्मक मानों में बदल दिया जाता है। प्रत्येक शब्द को आवृत्ति में अपनी रैंकिंग का प्रतिनिधित्व करने वाली संख्या में कोडित किया जाता है। ज्यादातर लगातार शब्दों की संख्या कम होती है; कम लगातार शब्दों की संख्या अधिक होती है।

एक स्टार्टर बिंदु के रूप में, कोड केआरएस से आईएमडीबी फ़ंक्शन को आयात करता है और इसका उपयोग इंटरनेट से डेटा (लगभग 17.5 एमबी डाउनलोड) प्राप्त करने के लिए करता है। पैरामीटर जो उदाहरण का उपयोग करता है उसमें केवल शीर्ष 10,000 शब्द शामिल हैं, और केरस को एक विशिष्ट यादृच्छिक बीज का उपयोग करके डेटा को फेरबदल करना चाहिए। (बीज को जानने से आवश्यकतानुसार फेरबदल करना संभव हो जाता है।) फ़ंक्शन दो ट्रेन और परीक्षण सेट देता है, दोनों पाठ अनुक्रम और भावना परिणाम से बना है।

keras.datasets से imdb आयात करें
top_words = 10000
((x_train, y_train),
(x_test, y_test)) = imdb.load_data (num_words = top_words)
बीज = 21)

पिछले कोड के पूरा होने के बाद, आप निम्न कोड का उपयोग करके कई उदाहरण देख सकते हैं:

प्रिंट ("प्रशिक्षण उदाहरण:% i"% लेन (x_train))
प्रिंट ("टेस्ट उदाहरण:% i"% लेन (x_test))

तंत्रिका नेटवर्क के प्रशिक्षण और परीक्षण चरण में उपयोग के लिए उपलब्ध मामलों की संख्या के बारे में पूछताछ करने के बाद, कोड प्रत्येक चरण के लिए 25,000 उदाहरणों के उत्तर का आउटपुट देता है। (यह डेटासेट भाषा की समस्या के लिए एक अपेक्षाकृत छोटा है; स्पष्ट रूप से डेटासेट मुख्य रूप से प्रदर्शन प्रयोजनों के लिए है।) इसके अलावा, कोड निर्धारित करता है कि क्या डेटासेट संतुलित है, जिसका अर्थ है कि इसमें लगभग समान संख्या में सकारात्मक और नकारात्मक भावनाएं हैं।

आयात एनपीपी के रूप में सुन्न
प्रिंट (np.unique (y_train, return_counts = True))

परिणाम, सरणी ([12500, 12500]), पुष्टि करता है कि डेटासेट सकारात्मक और नकारात्मक परिणामों के बीच समान रूप से विभाजित है। प्रतिक्रिया वर्गों के बीच ऐसा संतुलन विशेष रूप से डेटासेट की प्रदर्शनकारी प्रकृति के कारण है। वास्तविक दुनिया में, आप शायद ही कभी संतुलित डेटासेट पाते हैं। अगला चरण कुछ पायथन शब्दकोश बनाता है जो डेटासेट और वास्तविक शब्दों में उपयोग किए गए कोड के बीच परिवर्तित हो सकता है। वास्तव में, इस उदाहरण में इस्तेमाल किया गया डेटा प्रीप्रोसेस किया गया है और शब्दों का प्रतिनिधित्व करने वाले संख्याओं के अनुक्रम प्रदान करता है, न कि स्वयं शब्दों का। (LSTM और GRU एल्गोरिदम जो आपको Keras में मिलते हैं, संख्या के रूप में संख्याओं के अनुक्रम की अपेक्षा करते हैं।)

word_to_id = {w: i ​​+ 3 for w, i in imdb.get_word_index ()। आइटम्स ()}।
id_to_word = {0: '', 1: '', 2: ''}
id_to_word.update ({i + 3: w for w, i in imdb.get_word_index ()। आइटम्स ()}।
def Convert_to_text (अनुक्रम):
वापसी '' .जवाब ([id_to_word [s] क्रम में s के लिए अगर s = = 3]:
प्रिंट (convert_to_text (x_train [8]))

पिछला कोड स्निपेट दो रूपांतरण शब्दकोशों (शब्दों से लेकर संख्यात्मक कोड और इसके विपरीत) और एक फ़ंक्शन को परिभाषित करता है जो डेटासेट उदाहरणों को पठनीय पाठ में बदल देता है। एक उदाहरण के रूप में, कोड नौवें उदाहरण को प्रिंट करता है: "यह फिल्म एक बुरी ट्रेन मलबे की तरह भयानक थी जैसा कि यह था ..."। इस अंश से, आप आसानी से अनुमान लगा सकते हैं कि इस फिल्म के लिए भावना सकारात्मक नहीं है। बुरे, मलबे, और भयानक जैसे शब्द एक मजबूत नकारात्मक भावना व्यक्त करते हैं, और यह सही भावना का अनुमान लगाना आसान बनाता है।

इस उदाहरण में, आप संख्यात्मक अनुक्रम प्राप्त करते हैं और उन्हें शब्दों में वापस करते हैं, लेकिन विपरीत आम है। आमतौर पर, आपको शब्दों से बने वाक्यांश मिलते हैं और उन्हें RNN की एक परत को खिलाने के लिए पूर्णांकों के क्रम में बदल देते हैं। Keras एक विशेष फ़ंक्शन, टोकनर प्रदान करता है जो आपके लिए ऐसा कर सकता है। पाठ को एक अनुक्रम में बदलने के लिए प्रशिक्षण डेटा, और ग्रंथों_टो_मेट्रिक्स से पूर्णांकों में शब्दों को कैसे मैप किया जाए, यह जानने के लिए यह fit_on_text विधियों का उपयोग करता है।

हालाँकि, अन्य वाक्यांशों में, आपको भावना विश्लेषण के लिए इस तरह के खुलासा करने वाले शब्द नहीं मिल सकते हैं। भावना को अधिक सूक्ष्म या अप्रत्यक्ष तरीके से व्यक्त किया जाता है, और पाठ में जल्दी भावना को समझना संभव नहीं हो सकता है क्योंकि वाक्यांश और शब्दों का खुलासा प्रवचन में बहुत बाद में प्रकट हो सकता है। इस कारण से, आपको यह भी तय करना होगा कि आप कितना वाक्यांश विश्लेषण करना चाहते हैं।

परंपरागत रूप से, आप पाठ का प्रारंभिक भाग लेते हैं और इसे संपूर्ण समीक्षा के प्रतिनिधि के रूप में उपयोग करते हैं। कभी-कभी आपको कुछ शुरुआती शब्दों की आवश्यकता होती है - उदाहरण के लिए पहले 50 शब्द - अर्थ प्राप्त करने के लिए; कभी-कभी आपको और अधिक की आवश्यकता होती है। विशेष रूप से लंबे ग्रंथ अपने उन्मुखीकरण को जल्दी प्रकट नहीं करते हैं। इसलिए यह आपके ऊपर निर्भर है कि आप किस प्रकार के पाठ के साथ काम कर रहे हैं और यह तय करें कि गहन शिक्षण का उपयोग करके कितने शब्दों का विश्लेषण करना है। यह उदाहरण केवल पहले 200 शब्दों पर विचार करता है, जिन्हें पर्याप्त होना चाहिए।

आपने देखा है कि कोड संख्या 3 से शुरू होने वाले शब्दों को कोड देना शुरू कर देता है, इस प्रकार 0 से 2 तक के कोड छोड़ दिए जाते हैं। विशेष टैग के लिए कम संख्या का उपयोग किया जाता है, जैसे कि वाक्यांश की शुरुआत को संकेत देना, खाली स्थानों को भरना अनुक्रम निर्धारित करना एक निश्चित लंबाई पर, और उन शब्दों को चिह्नित करना, जिन्हें बाहर रखा गया है क्योंकि वे अक्सर पर्याप्त नहीं होते हैं। यह उदाहरण केवल सबसे लगातार 10,000 शब्दों को चुनता है। प्रारंभ, समाप्ति और उल्लेखनीय स्थितियों को इंगित करने के लिए टैग का उपयोग करना एक चाल है जो विशेष रूप से मशीन अनुवाद के लिए RNN के साथ काम करता है।

keras.preprocessing.fterence से आयात पैड_ परिणाम
max_pad = 200
x_train = पैड_ परिणाम (x_train,
maxlen = max_pad)
x_test = पैड_ परिणाम (x_test,
maxlen = max_pad)
प्रिंट (x_train [0])

केआरएस से पैड_ परिणाम फ़ंक्शन का उपयोग करके अधिकतम 200 सेट के साथ कोड प्रत्येक समीक्षा के पहले दो सौ शब्दों को लेता है। यदि समीक्षा में दो सौ से कम शब्द हैं, तो कई शून्य मान आवश्यक अनुक्रम अनुक्रम तत्वों की आवश्यक संख्या तक पहुंचने से पहले हैं। एक निश्चित लंबाई तक अनुक्रमों को काटना और शून्य मानों के साथ voids को भरने को इनपुट पैडिंग कहा जाता है, गहन शिक्षण एल्गोरिदम जैसे आरएनएन का उपयोग करते समय एक महत्वपूर्ण प्रसंस्करण गतिविधि। अब कोड वास्तुकला डिजाइन करता है:

keras.models से अनुक्रमिक आयात करते हैं
keras.layers से द्विदिश, घने, ड्रॉपआउट आयात करते हैं
keras.layers से GlobalMaxPool1D, LSTM आयात करते हैं
keras.layers.embeddings से एंबेडिंग आयात करें
embedding_vector_length = 32
मॉडल = अनुक्रमिक ()
model.add (एम्बेडिंग (top_words,
embedding_vector_length,
input_length = max_pad))
model.add (द्विदिश (LSTM (64, वापसी_ सत्य =)))
model.add (GlobalMaxPool1D ())
model.add (डेंस (16, सक्रियण = "रिले"))
model.add (डेंस (1, सक्रियण = "सिग्मोइड"))
model.compile (हानि = 'binary_crossentropy',
अनुकूलक = 'एडम',
मैट्रिक्स = [ 'सटीकता'])
प्रिंट (model.summary ())

पिछला कोड स्निपेट गहन शिक्षण मॉडल के आकार को परिभाषित करता है, जहां यह केरस से प्राकृतिक भाषा प्रसंस्करण के लिए कुछ विशेष परतों का उपयोग करता है। उदाहरण के लिए विभिन्न तंत्रिका परतों का उपयोग करके वास्तुकला के साथ क्या हो रहा है, यह निर्धारित करने के लिए मॉडल (model.summary () कमांड) के सारांश की भी आवश्यकता है।

आपके पास एम्बेडिंग परत है, जो संख्यात्मक अनुक्रमों को एक घने शब्द एम्बेडिंग में बदल देती है। उस प्रकार का शब्द एम्बेडिंग RNN की एक परत द्वारा सीखे जाने के लिए अधिक उपयुक्त है। केरेस एक एंबेडिंग लेयर प्रदान करता है, जो नेटवर्क की पहली लेयर होने के अलावा दो कार्य पूरा कर सकता है:

  • प्रीव्यू किए गए शब्द एम्बेडिंग (जैसे Word2vec या GloVe) को अनुक्रम इनपुट पर लागू करना। आपको बस मैट्रिक्स को इसके पैरामीटर भार से एम्बेड करने की आवश्यकता है। स्क्रैच से एम्बेड शब्द बनाना, इसके द्वारा प्राप्त इनपुट के आधार पर।

इस दूसरे मामले में, एंबेडिंग को केवल जानना आवश्यक है:

  • input_dim: डेटा से अपेक्षित शब्दावली का आकार output_dim: एम्बेड किए जाने वाले स्थान का आकार (जो तथाकथित आयाम) निर्मित किया जाएगा input_length: उम्मीद करने के लिए अनुक्रम आकार

आपके द्वारा मापदंडों का निर्धारण करने के बाद, एंबेडिंग प्रशिक्षण के दौरान अनुक्रमों को घने मैट्रिक्स में बदलने के लिए बेहतर भार प्राप्त करेगा। घने मैट्रिक्स का आकार अनुक्रमों की लंबाई और एम्बेडिंग की आयामीता द्वारा दिया जाता है।

यदि आप केरस द्वारा प्रदान की गई एम्बेडिंग परत का उपयोग करते हैं, तो आपको यह याद रखना होगा कि फ़ंक्शन वांछित एम्बेडिंग के आयाम द्वारा शब्दावली के आकार का केवल एक भार मैट्रिक्स प्रदान करता है। यह शब्दों को मैट्रिक्स के स्तंभों में मैप करता है और फिर प्रदान किए गए उदाहरणों के लिए मैट्रिक्स वज़न को ट्यून करता है। यह समाधान, हालांकि गैर-मानक भाषा समस्याओं के लिए व्यावहारिक है, पहले चर्चा किए गए शब्द एम्बेडिंग के अनुरूप नहीं है, जो कि एक अलग तरीके से और लाखों उदाहरणों पर प्रशिक्षित होते हैं।

उदाहरण द्विदिश रैपिंग का उपयोग करता है - 64 कोशिकाओं की एक LSTM परत। द्विदिश एक सामान्य LSTM परत को दोगुना करके बदल देता है: पहली तरफ, यह आपके द्वारा प्रदान किए गए इनपुट के सामान्य अनुक्रम को लागू करता है; दूसरे पर, यह अनुक्रम के विपरीत गुजरता है। आप इस दृष्टिकोण का उपयोग करते हैं क्योंकि कभी-कभी आप एक अलग-अलग क्रम में शब्दों का उपयोग करते हैं, और एक द्विदिश परत का निर्माण किसी भी शब्द पैटर्न को पकड़ लेगा, चाहे वह कोई भी आदेश हो। केरस कार्यान्वयन वास्तव में सीधा है: आप इसे उस परत पर एक फ़ंक्शन के रूप में लागू करते हैं जिसे आप द्विदिश रूप से प्रस्तुत करना चाहते हैं।

द्विदिश LSTM अनुक्रमों को लौटाने के लिए सेट है (रिटर्न_ परिणाम = सत्य); अर्थात्, प्रत्येक सेल के लिए, यह अनुक्रम के प्रत्येक तत्व को देखने के बाद प्रदान किए गए परिणाम को लौटाता है। प्रत्येक अनुक्रम के लिए परिणाम, 200 x 128 का एक आउटपुट मैट्रिक्स है, जहां 200 अनुक्रम तत्वों की संख्या है और 128 परत में उपयोग की जाने वाली LSTM कोशिकाओं की संख्या है। यह तकनीक RNN को प्रत्येक LSTM सेल के अंतिम परिणाम लेने से रोकती है। पाठ की भावना के बारे में संकेत वास्तव में एम्बेडेड शब्दों के अनुक्रम में कहीं भी दिखाई दे सकते हैं।

संक्षेप में, यह महत्वपूर्ण है कि प्रत्येक सेल का अंतिम परिणाम न लिया जाए, बल्कि इसका सबसे अच्छा परिणाम है। इसलिए कोड निम्न स्तर पर निर्भर करता है, GlobalMaxPool1D, प्रत्येक LSTM सेल द्वारा प्रदान किए गए परिणामों के प्रत्येक अनुक्रम की जांच करने और केवल अधिकतम परिणाम बनाए रखने के लिए। यह सुनिश्चित करना चाहिए कि उदाहरण प्रत्येक LSTM सेल से सबसे मजबूत सिग्नल उठाता है, जो कुछ सार्थक संकेतों को चुनने के लिए अपने प्रशिक्षण द्वारा विशेष रूप से विशिष्ट है।

तंत्रिका संकेतों को फ़िल्टर किए जाने के बाद, उदाहरण में 128 आउटपुट की एक परत होती है, प्रत्येक LSTM सेल के लिए। कोड ReLU सक्रियण के साथ 16 न्यूरॉन्स की एक सघन घने परत का उपयोग करके संकेतों को कम करता है और मिश्रण करता है (इस प्रकार केवल सकारात्मक संकेत पास करता है)। सिग्मॉइड सक्रियण का उपयोग करके आर्किटेक्चर एक अंतिम नोड के साथ समाप्त होता है, जो परिणाम को 0-1 रेंज में निचोड़ देगा और उन्हें संभाव्यता के साथ देखेगा।

आर्किटेक्चर को परिभाषित करने के बाद, आप अब सेंटीमेंट विश्लेषण करने के लिए नेटवर्क को प्रशिक्षित कर सकते हैं। तीन युगों (नेटवर्क के माध्यम से डेटा को तीन बार पास करना यह पैटर्न सीखता है) पर्याप्त होगा। कोड हर बार 256 समीक्षाओं के बैचों का उपयोग करता है, जो बैकप्रॉपैगैनेशन का उपयोग करके अपने भार को अपडेट करने से पहले नेटवर्क को हर बार पर्याप्त प्रकार के शब्दों और भावनाओं को देखने की अनुमति देता है। अंत में, कोड सत्यापन डेटा (जो प्रशिक्षण डेटा का हिस्सा नहीं है) द्वारा प्रदान किए गए परिणामों पर केंद्रित है। सत्यापन डेटा से एक अच्छा परिणाम प्राप्त करने का मतलब है कि तंत्रिका जाल इनपुट को सही ढंग से संसाधित कर रहा है। कोड प्रत्येक युग समाप्त होने के बाद सत्यापन डेटा पर रिपोर्ट करता है।

इतिहास = model.fit (x_train, y_train,
सत्यापन_दाता = (x_test, y_test),
युग = 3, बैच_साइज = 256)

परिणाम प्राप्त करने में थोड़ा समय लगता है, लेकिन यदि आप एक GPU का उपयोग कर रहे हैं, तो यह उस समय में पूरा हो जाएगा जब आप एक कप कॉफी पीते हैं। इस बिंदु पर, आप परिणामों का मूल्यांकन कर सकते हैं, फिर से सत्यापन डेटा का उपयोग कर सकते हैं। (प्रशिक्षण के दौरान कोड द्वारा बताए गए परिणामों से कोई आश्चर्य या अंतर नहीं होना चाहिए।)

हानि, मीट्रिक = मॉडल। मूल्यांकन (x_test, y_test, क्रिया = 0)
प्रिंट ("परीक्षण सटीकता:% 0.3f"% मीट्रिक)

अंतिम सटीकता, जो गहरे तंत्रिका नेटवर्क से सही उत्तरों का प्रतिशत है, का मूल्य लगभग 85-86 प्रतिशत होगा। आपके तंत्रिका नेटवर्क के निर्माण के दौरान यादृच्छिकता के कारण प्रयोग चलाने पर परिणाम हर बार थोड़ा बदल जाएगा। आपके द्वारा काम कर रहे डेटा के छोटे आकार को देखते हुए यह पूरी तरह से सामान्य है। यदि आप सही भाग्यशाली वजन के साथ शुरू करते हैं, तो इस तरह के लघु प्रशिक्षण सत्र में सीखना आसान हो जाएगा।

अंत में, आपका नेटवर्क एक सेंटिमेंट एनालाइज़र है, जो मूवी रिव्यू में व्यक्त की गई भावना का सही अनुमान लगा सकता है। अधिक प्रशिक्षण डेटा और अधिक परिष्कृत तंत्रिका आर्किटेक्चर को देखते हुए, आप ऐसे परिणाम प्राप्त कर सकते हैं जो और भी प्रभावशाली हैं। विपणन में, एक समान उपकरण का उपयोग कई प्रक्रियाओं को स्वचालित करने के लिए किया जाता है जिन्हें पाठ पढ़ने और कार्रवाई करने की आवश्यकता होती है। फिर, आप एक तंत्रिका नेटवर्क के साथ इस तरह के एक नेटवर्क को जोड़ सकते हैं जो एक आवाज सुनता है और इसे पाठ में बदल देता है। (यह RNN का एक और अनुप्रयोग है, जो अब एलेक्सा, सिरी, गूगल वॉयस और कई अन्य निजी सहायकों को शक्ति प्रदान करता है।) संक्रमण एप्लिकेशन को मुखर भावों में भी भाव को समझने की अनुमति देता है, जैसे कि ग्राहक का फोन कॉल।

  1. ProgrammingBig DataData Science10 नौकरियों के प्रकार जो डीप लर्निंग का उपयोग करते हैं

जॉन पॉल म्यूएलर, लुका म्यूएलर द्वारा

गहरी सीखने के लिए बहुत सारे उपयोग हैं - आपके डिजिटल असिस्टेंट की वॉयस-एक्टिवेटेड सुविधाओं से लेकर सेल्फ-ड्राइविंग कारों तक। अपने दैनिक जीवन को बेहतर बनाने के लिए गहन सीखने का उपयोग करना बेशक अच्छा है, लेकिन अधिकांश लोगों को एक प्रौद्योगिकी को अपनाने के लिए अन्य कारणों की आवश्यकता होती है, जैसे कि नौकरी मिलना। सौभाग्य से, डीप लर्निंग न केवल आपकी जानकारी को तेज़ी से खोजने की क्षमता को प्रभावित करता है, बल्कि नौकरी के कुछ दिलचस्प अवसर भी प्रदान करता है, और "वाह" कारक के साथ जो केवल गहन शिक्षण प्रदान कर सकता है। यह लेख आपको दस दिलचस्प व्यवसायों का अवलोकन देता है जो आज कुछ हद तक गहरी शिक्षा पर निर्भर करते हैं। यह सामग्री केवल हिमशैल के टिप का प्रतिनिधित्व करती है, हालांकि; अधिक व्यवसाय उत्पन्न हो रहे हैं जो जल्दी से गहरी शिक्षा का उपयोग करते हैं, और हर दिन अधिक जोड़े जाते हैं।

लोगों को प्रबंधित करते समय गहन सीखने में मदद मिल सकती है

द सर्कल नाम की एक भयानक फिल्म आपको विश्वास हो जाएगा कि आधुनिक तकनीक 1984 में जॉर्ज ब्रावेल द्वारा बिग ब्रदर की तुलना में अधिक आक्रामक होगी। फिल्म की कहानी के हिस्से में हर जगह कैमरे लगाना शामिल है - यहां तक ​​कि बेडरूम में भी। मुख्य चरित्र हर सुबह उठता है कि हर कोई उसे देख रहा है। हां, यदि आप इसे अनुमति देते हैं तो यह आपको वसीयत दे सकता है।

हालाँकि, अधिकांश भाग के लिए वास्तविक गहरी शिक्षा लोगों की निगरानी और न्याय करने के बारे में नहीं है। यह Oracle के वैश्विक मानव संसाधन बादल की तरह है। डरावनी होने से दूर, यह विशेष तकनीक आपको स्मार्ट और अपने दिन की सभी गतिविधियों के शीर्ष पर देख सकती है। वीडियो शीर्ष पर थोड़ा है, लेकिन यह आपको एक अच्छा विचार देता है कि वर्तमान में कितना गहरा सीखना आपके काम को आसान बना सकता है।

इस तकनीक के पीछे का विचार लोगों के लिए सफलता को आसान बनाना है। यदि आप ओरेकल के वीडियो और संबंधित सामग्रियों को देखते हैं, तो आप पाते हैं कि प्रौद्योगिकी प्रबंधन को संगठन के भीतर कर्मचारियों के लक्ष्यों के लिए संभावित मार्ग सुझाने में मदद करती है। कुछ मामलों में, कर्मचारी अपनी वर्तमान स्थिति को पसंद करते हैं, लेकिन सॉफ्टवेयर अभी भी अपने काम को अधिक आकर्षक और मजेदार बनाने के तरीके सुझा सकता है। सॉफ्टवेयर कर्मचारियों को सिस्टम में खो जाने से बचाता है और कस्टम स्तर पर कर्मचारी को प्रबंधित करने में मदद करता है ताकि प्रत्येक कर्मचारी को व्यक्तिगत इनपुट मिले।

गहरी शिक्षा से चिकित्सा में सुधार होता है

डीप लर्निंग कई मायनों में दवा के अभ्यास को प्रभावित कर रहा है, जैसा कि आप देख सकते हैं जब आप डॉक्टर के पास जाते हैं या अस्पताल में समय बिताते हैं। गहरी शिक्षा बीमारियों का निदान करने और उनका सही इलाज खोजने में सहायता करती है। डीप लर्निंग का उपयोग यहां तक ​​कि आंख के लोगों सहित हार्ड-टू-डिटेक्ट मुद्दों के लिए नैदानिक ​​प्रक्रिया को बेहतर बनाने के लिए किया जाता है। हालांकि, चिकित्सा में गहन सीखने के लिए सबसे महत्वपूर्ण उपयोगों में से एक शोध में है।

शोध उद्देश्यों के लिए उपयोग करने के लिए सही मरीज़ों को खोजने का सरल कार्य वास्तव में उतना आसान नहीं है। मरीजों को सख्त मापदंड पूरे करने चाहिए या कोई भी परीक्षण परिणाम अमान्य साबित हो सकता है। शोधकर्ता अब सही मरीज़ को खोजने, परीक्षण मानदंडों को तैयार करने और परिणामों का अनुकूलन करने जैसे कार्यों को करने के लिए गहन सीखने पर निर्भर हैं। जाहिर है, दवा को बहुत से ऐसे लोगों की आवश्यकता होगी जो अपनी वर्तमान गति से उन्नति प्राप्त करने के लिए दवा के लिए और चिकित्सा के लिए गहन शिक्षण तकनीकों के उपयोग में प्रशिक्षित हैं।

डीप लर्निंग नए उपकरणों को विकसित करने में मदद करता है

कंप्यूटर प्रौद्योगिकी के कुछ क्षेत्रों में नवाचार, जैसे कि बुनियादी प्रणाली, जो अब एक वस्तु है, पिछले कुछ वर्षों में धीमा हो गया है। हालांकि, हाल ही में व्यवहार्य बने क्षेत्रों में नवाचार बहुत बढ़ गया है। एक आविष्कारक आज नए उपकरणों के लिए पहले से कहीं अधिक संभव आउटलेट है। इन नए क्षेत्रों में से एक गहन शिक्षण कार्य करने का साधन है। अधिक से अधिक जटिलता के गहन सीखने के कार्यों को करने की क्षमता बनाने के लिए, कई संगठन अब विशेष हार्डवेयर का उपयोग करते हैं जो GPU की क्षमताओं से अधिक है - वर्तमान में गहरी सीखने के लिए प्रसंस्करण तकनीक।

डीप लर्निंग तकनीक अपनी प्रारंभिक अवस्था में है, इसलिए एक स्मार्ट आविष्कारक वास्तव में पूरी मेहनत किए बिना कुछ दिलचस्प के साथ आ सकता है। यह लेख नई AI तकनीकों के बारे में बताता है, लेकिन यहां तक ​​कि ये प्रौद्योगिकियां जो कुछ भी हो सकता है उसकी गहराई को हल करना शुरू नहीं करती हैं।

दीप लर्निंग, वर्तमान पेटेंट कानून और लोगों द्वारा नई चीजों को बनाने के तरीके को बनाए रखने की अपनी क्षमता के कारण, दोनों अन्वेषकों और निवेशकों का ध्यान आकर्षित कर रहा है। इस तरह के अधिकांश लेखों का एक दिलचस्प हिस्सा यह है कि वे नौकरियों में महत्वपूर्ण वृद्धि की भविष्यवाणी करते हैं जो विभिन्न प्रकार के गहन सीखने के चारों ओर घूमते हैं, जिनमें से अधिकांश कुछ नया बनाने में शामिल होते हैं। अनिवार्य रूप से, यदि आप किसी तरह से गहरी शिक्षा का उपयोग कर सकते हैं और इसे एक मौजूदा जीवंत व्यवसाय के साथ जोड़ सकते हैं, तो आप नौकरी पा सकते हैं या अपना खुद का व्यवसाय विकसित कर सकते हैं।

गहरी शिक्षा ग्राहक सहायता प्रदान कर सकती है

कई गहन शिक्षण चर्चाएँ अनुवाद सेवाओं सहित चैटबॉट और ग्राहक सहायता के अन्य रूपों को संदर्भित करती हैं। यदि आप उत्सुक हैं, तो आपको पांडोराबॉट्स.कॉम पर एक चैटबॉट के साथ एक इंटरैक्टिव अनुभव हो सकता है। हालांकि, चैटबॉट और अन्य ग्राहक सहायता तकनीकों के उपयोग से चिंता बढ़ गई है।

कुछ उपभोक्ता समूह जो कहते हैं कि मानव ग्राहक समर्थन बर्बाद है, जैसा कि फोर्ब्स के इस लेख में है। हालांकि, अगर आपको कभी भी कुछ जटिल प्रदर्शन करने के लिए चैटबॉट से निपटना पड़ा है, तो आप जानते हैं कि अनुभव अपील की तुलना में कम है। तो नया प्रतिमान मानव और चैटबोट संयोजन है।

आज आपके द्वारा उपयोग की जाने वाली अधिकांश तकनीक को माना जाता है कि यह मानव को प्रतिस्थापित करता है, लेकिन ज्यादातर मामलों में, यह नहीं हो सकता है। कुछ समय के लिए, आपको कई स्थितियों को देखने की उम्मीद करनी चाहिए, जिसमें एक टीम के रूप में मानव और बॉट एक साथ काम कर रहे हैं। बॉट शारीरिक रूप से तीव्र कार्यों के साथ-साथ सांसारिक, उबाऊ काम करने के तनाव को कम करता है। मानव अधिक दिलचस्प चीजें करेगा और अप्रत्याशित परिस्थितियों के लिए रचनात्मक समाधान प्रदान करेगा। नतीजतन, लोगों को इन क्षेत्रों में काम करने के लिए आवश्यक प्रशिक्षण प्राप्त करने और सुरक्षित महसूस करने की आवश्यकता है कि वे लाभकारी रोजगार प्राप्त करना जारी रखेंगे।

डीप लर्निंग आपको नए तरीकों से डेटा देखने में मदद कर सकता है

वेबसाइटों और अन्य डेटा स्रोतों की एक श्रृंखला देखें और आप एक बात नोटिस करते हैं: वे सभी अलग-अलग डेटा प्रस्तुत करते हैं। एक कंप्यूटर प्रस्तुति में अंतरों को नहीं समझ पाता है और न ही उसे एक या दूसरे रूप में देखा जाता है। यह वास्तव में डेटा को नहीं समझता है; यह पैटर्न की तलाश करता है। डीप लर्निंग एप्लिकेशन को यह सुनिश्चित करने के लिए एप्लिकेशन को अपने दम पर अधिक डेटा एकत्र करने में सक्षम कर रहा है कि एप्लिकेशन उपयुक्त पैटर्न देख सकता है, तब भी जब उन पैटर्नों से अलग है जो एप्लिकेशन ने पहले देखा है। भले ही गहन शिक्षण डेटा संग्रह को बढ़ाएगा और गति देगा, हालांकि, एक मानव को अभी भी डेटा की व्याख्या करने की आवश्यकता होगी। वास्तव में, मनुष्यों को अभी भी यह सुनिश्चित करने की आवश्यकता है कि एप्लिकेशन अच्छा डेटा एकत्र करता है क्योंकि एप्लिकेशन वास्तव में डेटा के बारे में कुछ नहीं समझता है।

डेटा को नए तरीकों से देखने का एक और तरीका डेटा संवर्द्धन करना है। फिर से, आवेदन ग्रंट काम करता है, लेकिन यह निर्धारित करने के लिए किस प्रकार की वृद्धि का निर्धारण करने के लिए एक मानव लेता है। दूसरे शब्दों में, मानव रचनात्मक, दिलचस्प हिस्सा करता है, और आवेदन सिर्फ साथ काम करता है, यह सुनिश्चित करता है कि चीजें काम करती हैं।

ये पहले दो गहरे सीखने के उपयोग दिलचस्प हैं और वे रोजगार उत्पन्न करना जारी रखेंगे, लेकिन गहन शिक्षा का सबसे दिलचस्प उपयोग उन गतिविधियों के लिए है जो अभी तक मौजूद नहीं हैं। एक रचनात्मक मानव उन तरीकों को देख सकता है जो अन्य लोग गहरी शिक्षा का उपयोग कर रहे हैं और कुछ नया लेकर आ रहे हैं। एआई, मशीन लर्निंग, और डीप लर्निंग के कुछ रोचक उपयोगों की जाँच करें जो अभी व्यावहारिक बन रहे हैं।

डीप लर्निंग तेजी से विश्लेषण कर सकता है

जब अधिकांश लोग विश्लेषण की बात करते हैं, तो वे किसी शोधकर्ता, किसी प्रकार के वैज्ञानिक या किसी विशेषज्ञ के बारे में सोचते हैं। हालाँकि, गहरी शिक्षा कुछ दिलचस्प स्थानों में उलझती जा रही है, जिसका उपयोग करने के लिए मानवीय भागीदारी की आवश्यकता होगी, जैसे कि यातायात दुर्घटनाओं की भविष्यवाणी करना।

एक पुलिस विभाग की कल्पना करें कि यातायात प्रवाह पैटर्न के आधार पर संसाधनों का आवंटन किया जाए ताकि एक अधिकारी पहले से ही अपेक्षित दुर्घटना स्थल पर प्रतीक्षा कर रहा हो। पुलिस लेफ्टिनेंट को यह जानने की आवश्यकता होगी कि इस प्रकार के एप्लिकेशन का उपयोग कैसे किया जाए। बेशक, यह विशेष उपयोग अभी तक नहीं हुआ है, लेकिन यह बहुत संभावना है क्योंकि यह पहले से ही मौजूदा तकनीक का उपयोग कर संभव है। इसलिए विश्लेषण करना अब उनके नाम के सामने "डॉ" वाले लोगों के लिए काम नहीं होगा; यह सभी के लिए होगा।

विश्लेषण, अपने आप में, यह सब उपयोगी नहीं है। यह एक विशेष वातावरण में एक विशिष्ट आवश्यकता के साथ विश्लेषण के संयोजन का कार्य है जो उपयोगी हो जाता है। विश्लेषण के साथ आप जो करते हैं, वह आपके और आपके आसपास के लोगों पर उस विश्लेषण के प्रभाव को परिभाषित करता है। एक मानव एक उद्देश्य के साथ विश्लेषण की अवधारणा को समझ सकता है; एक गहन शिक्षण समाधान केवल विश्लेषण कर सकता है और एक आउटपुट प्रदान कर सकता है।

गहन सीखने से बेहतर कार्य वातावरण बनाने में मदद मिल सकती है

यदि आप एक एआई के साथ सफलतापूर्वक बातचीत करने की अनुमति देते हैं, तो कौशल सीखने के लिए गहन सीखने से आपका जीवन बेहतर और आपके रोजगार को और अधिक सुखद बना देगा। यह लेख बताता है कि एआई भविष्य में कार्यस्थल को कैसे बदल सकता है। इस चर्चा का एक महत्वपूर्ण तत्व काम को अधिक आमंत्रित करना है।

मानव इतिहास के एक बिंदु पर, काम वास्तव में अधिकांश लोगों के लिए सुखद था। ऐसा नहीं है कि वे हर समय गाते और हँसते रहे, लेकिन कई लोग प्रत्येक दिन शुरू करने के लिए उत्सुक थे। बाद में, औद्योगिक क्रांति के दौरान, अन्य लोगों ने काम में रुकावट डाल दी, जिससे हर दिन काम से दूर रहने का आनंद कुछ लोगों को मिला। समस्या इतनी गंभीर हो गई है कि आप इसके बारे में लोकप्रिय गाने पा सकते हैं, जैसे "वीकेंड के लिए काम करना।" कार्यस्थल से ड्रग को हटाकर, गहन सीखने से कार्य को फिर से सुखद बनाने की क्षमता है।

डीप लर्निंग कार्य वातावरण को कई तरह से प्रभावित करेगा, न कि केवल कार्य के वास्तविक प्रदर्शन को। उदाहरण के लिए, गहरी शिक्षा पर आधारित प्रौद्योगिकियां आपके स्वास्थ्य और इसलिए आपकी उत्पादकता में सुधार करने की क्षमता रखती हैं। यह सभी के लिए एक जीत है क्योंकि आप जीवन का आनंद लेंगे और अधिक काम करेंगे, जबकि आपके बॉस को आपके प्रयासों से उस छिपी हुई क्षमता से अधिक मिलता है।

जिन चीज़ों का आप अक्सर उल्लेख नहीं करते हैं उनमें से एक विकसित देशों में गिरती जन्म दर की उत्पादकता पर प्रभाव है। यह मैकिन्से लेख इस मुद्दे को कुछ हद तक लेता है और विभिन्न उद्योगों पर गहन सीखने के संभावित प्रभाव को दर्शाता हुआ एक चार्ट प्रदान करता है। यदि वर्तमान प्रवृत्ति जारी रहती है, तो कम उपलब्ध श्रमिकों के कार्यस्थल में वृद्धि की आवश्यकता होगी।

हालांकि, आप अपने भविष्य के बारे में सोच सकते हैं यदि आप चिंता करते हैं कि आप नई वास्तविकता के अनुकूल नहीं हो सकते हैं। समस्या यह है कि आप वास्तव में यह नहीं जान सकते हैं कि आप सुरक्षित हैं या नहीं। जॉन पॉल मुलर और लुका मासारोन [विली] द्वारा आर्टिफिशियल इंटेलिजेंस फॉर डमीज में, आप एआई-सुरक्षित व्यवसायों और नए व्यवसायों की चर्चा देखते हैं जो एआई बनाएंगे। आप यह भी जान सकते हैं कि आप किसी बिंदु पर अंतरिक्ष में काम करना कैसे समाप्त कर सकते हैं। दुर्भाग्य से, हर कोई औद्योगिक क्रांति के दौरान लुडिट्स जितना नहीं कर सका, उस तरह का कदम उठाना चाहता है। निश्चित रूप से, AI ने जो वादे किए हैं, वे औद्योगिक क्रांति (औद्योगिक क्रांति के प्रभावों के बारे में पढ़ें) की तुलना में कहीं अधिक परिणाम देने वाले हैं और इससे भी अधिक विघटनकारी होगा। एंड्रयू वैंग जैसे कुछ राजनेता पहले से ही बुनियादी सार्वभौमिक आय की तरह अल्पकालिक सुधार देख रहे हैं। ये नीतियाँ, यदि लागू होती हैं, तो AI के प्रभाव को कम करने में मदद करेंगी, लेकिन वे दीर्घकालिक समाधान प्रदान नहीं करेंगे। कुछ बिंदु पर, समाज एआई के परिणामस्वरूप आज की तुलना में काफी अलग हो जाएगा - क्योंकि औद्योगिक क्रांति ने पहले ही समाज को बदल दिया है।

गहन सीखने से शोध अस्पष्ट या विस्तृत जानकारी मिल सकती है

कंप्यूटर एक काम कर सकते हैं - पैटर्न मिलान - असाधारण अच्छी तरह से (और मनुष्यों की तुलना में बहुत बेहतर। यदि आपको कभी भी यह महसूस हुआ है कि आप जानकारी में तैर रहे हैं और इसमें से कोई भी आपकी वर्तमान आवश्यकता से संबंधित नहीं है, तो आप अकेले नहीं हैं। ओवरलोड कई वर्षों से एक समस्या है और हर साल बिगड़ती है। आप सूचनाओं के अधिभार से निपटने के बारे में बहुत सारी सलाह पा सकते हैं। समस्या यह है कि आप अभी भी जानकारी में डूब रहे हैं। गहन सीखने से आपको एक बाधा में सुई खोजने में सक्षम होता है। और समय की उचित मात्रा में। महीनों के बजाय, एक अच्छा गहन सीखने वाला समाधान आपको उन मामलों में जानकारी की आवश्यकता हो सकती है जो ज्यादातर मामलों में होते हैं।

हालांकि, यह जानना कि जानकारी मौजूद है आमतौर पर पर्याप्त नहीं है। आपको ऐसी जानकारी की आवश्यकता है जो आपके प्रश्न का पूरी तरह से उत्तर देने के लिए पर्याप्त हो, जिसका अर्थ अक्सर एक से अधिक स्रोतों का पता लगाना और जानकारी को समेकित करना होता है। फिर से, एक गहन शिक्षण समाधान पैटर्न ढूंढ सकता है और आपके लिए डेटा को एक साथ मैश कर सकता है ताकि आपको इनपुट को कई स्रोतों से मैन्युअल रूप से संयोजित न करना पड़े।

एआई के बाद डेटा का पता चलता है और कई स्रोतों को एक एकल सामंजस्यपूर्ण रिपोर्ट (आप आशा करते हैं) में जोड़ती है, इसने आपके लिए यह सब कुछ किया है। यह अभी भी मानव के लिए है कि वह जानकारी का उपयोग करे और इसे सफलतापूर्वक उपयोग करने का तरीका निर्धारित करे। कंप्यूटर ने कार्य के रचनात्मक भाग को नहीं निकाला; यह कार्य के रचनात्मक भाग को करने के लिए आवश्यक संसाधनों को खोजने की मादकता को दूर करता है। जैसे-जैसे सूचना बढ़ रही है, वैसे लोगों की संख्या में वृद्धि देखने की उम्मीद करें जो विस्तृत या अस्पष्ट जानकारी का पता लगाने में विशेषज्ञ हैं।

सूचना दलाल समाज का एक अनिवार्य हिस्सा बन रहा है और एक दिलचस्प करियर पथ का प्रतिनिधित्व करता है, जिसके बारे में बहुत से लोगों ने नहीं सुना है। यह लेख दलालों की सूचना का एक अच्छा सारांश प्रस्तुत करता है।

डीप लर्निंग से इमारतों को डिजाइन करने में मदद मिल सकती है

अधिकांश लोग वास्तुकला को एक रचनात्मक व्यापार के रूप में देखते हैं। अगले एम्पायर स्टेट बिल्डिंग या किसी अन्य एडीफिस को डिजाइन करने की कल्पना करें जो कि समय की कसौटी पर खरा उतरेगा। अतीत में, इस तरह के एक इमारत को डिजाइन करने में वर्षों लग गए। अजीब तरह से, ठेकेदार ने वास्तव में एम्पायर स्टेट बिल्डिंग का निर्माण केवल एक साल में किया, लेकिन यह आमतौर पर ऐसा नहीं होता है। डीप लर्निंग और कंप्यूटर तकनीक वर्चुअल वॉकथ्रू जैसी चीजों को अनुमति देकर इमारतों के डिजाइन और निर्माण के समय को कम करने में मदद कर सकती है। वास्तव में, गहरी शिक्षा के उपयोग से वास्तुकारों के जीवन में महत्वपूर्ण तरीके से सुधार हो रहा है।

हालाँकि, डिज़ाइन को वर्चुअल टूर में बदलना इस क्षेत्र में गहन शिक्षण का सबसे प्रभावशाली पराक्रम नहीं है। डीप लर्निंग के उपयोग से डिज़ाइनर संभावित इंजीनियरिंग समस्याओं का पता लगा सकते हैं, तनाव परीक्षण कर सकते हैं और डिज़ाइनिंग बोर्ड छोड़ने से पहले अन्य तरीकों से सुरक्षा सुनिश्चित कर सकते हैं। ये क्षमताएं किसी भवन के बनने के बाद होने वाली समस्याओं की संख्या को कम कर देती हैं, और वास्तुविद किसी असफलता के संकट और संभावित त्रासदी के बजाय सफलता की बुलंदियों का आनंद ले सकते हैं।

गहरी शिक्षा सुरक्षा बढ़ा सकती है

दुर्घटनाएं होती हैं! हालांकि, गहरी सीखने से दुर्घटनाओं को रोकने में मदद मिल सकती है - कम से कम अधिकांश भाग के लिए। वास्तविक समय में जटिल पैटर्न का विश्लेषण करके, गहन शिक्षण ऐसे लोगों की सहायता कर सकता है जो सुरक्षा आश्वासन के विभिन्न पहलुओं में शामिल हैं। उदाहरण के लिए, विभिन्न ट्रैफ़िक पैटर्न पर नज़र रखने और दुर्घटना की संभावना का पहले से अनुमान लगाकर, एक गहन शिक्षण समाधान सुरक्षा विशेषज्ञों को सुझाव दे सकता है कि दुर्घटना को रोकने के लिए सुझाव दें। बहुत अधिक चरों के कारण एक मानव विश्लेषण नहीं कर सकता है। हालांकि, एक गहन शिक्षण समाधान विश्लेषण प्रदर्शन कर सकता है और फिर संभावित कार्यान्वयन के लिए मानव को आउटपुट प्रदान कर सकता है।

हर दूसरे पेशे के साथ, जिसमें गहरी शिक्षा शामिल है, मानव समाधान के समझ भाग के रूप में कार्य करता है। हर बार सटीक समाधान प्रदान करने के लिए विभिन्न प्रकार की दुर्घटनाएं किसी भी गहन शिक्षण समाधान की क्षमता को धता बताएंगी। मनुष्य अनुमानित नहीं है, लेकिन अन्य मनुष्यों को सही जानकारी दी गई भयानक चीज़ों के संकट को कम कर सकते हैं। गहन शिक्षण समाधान उस सही जानकारी को प्रदान करता है, लेकिन इसे सही ढंग से जानकारी की व्याख्या करने के लिए मानव दूरदर्शिता और अंतर्ज्ञान की आवश्यकता होती है।

  1. ProgrammingBig DataData Science10 एप्लीकेशन जिसमें डीप लर्निंग की आवश्यकता होती है

जॉन पॉल म्यूएलर, लुका म्यूएलर द्वारा

यह लेख बहुत छोटा है। यह उन तरीकों का वर्णन करना भी शुरू नहीं कर सकता है जिनसे भविष्य में गहन शिक्षा प्रभावित होगी। इस लेख पर विचार करें कि एक tantalizing tidbit की पेशकश की जाए - एक क्षुधावर्धक जो आगे की गहन शिक्षा की दुनिया की खोज के लिए आपकी भूख को बढ़ा सकता है।

कुछ मामलों में ये गहरे शिक्षण अनुप्रयोग पहले से ही आम हैं। आपने शायद आज उनमें से कम से कम एक का उपयोग किया है, और केवल एक से अधिक होने की संभावना है। हालाँकि तकनीक ने व्यापक उपयोग देखना शुरू कर दिया है, यह वास्तव में अभी शुरुआत है। हम कुछ की शुरुआत में हैं, और एआई वास्तव में इस बिंदु पर काफी अपरिपक्व है।

गहरे शिक्षण अनुप्रयोगों के साथ फ़ोटो को रंग पुनर्स्थापित करें

यह आलेख हत्यारे रोबोट, डायस्टोपियन वायदा, एआई रन एमोक, या किसी भी सनसनीखेज परिदृश्यों की चर्चा करता है जो आप फिल्मों में देख सकते हैं। यहां आपको जो जानकारी मिलती है वह वास्तविक जीवन, मौजूदा एआई अनुप्रयोगों के बारे में है जो आप आज के साथ बातचीत कर सकते हैं।

गहरे सीखने का उपयोग काले और सफेद वीडियो और चित्रों को रंग बहाल करने के लिए किया जा सकता है

संभवतः आपके पास कुछ काले-सफेद वीडियो या परिवार के सदस्यों या विशेष घटनाओं की तस्वीरें हैं जिन्हें आप रंग में देखना पसंद करते हैं। रंग में तीन तत्व होते हैं: ह्यू (वास्तविक रंग), मूल्य (रंग का अंधेरा या हल्कापन), और संतृप्ति (रंग की तीव्रता)। अजीब तरह से पर्याप्त है, कई कलाकार रंग-अंधे हैं और अपनी रचनाओं में रंग मूल्य का मजबूत उपयोग करते हैं। इसलिए ह्यू गायब है (वह तत्व जिसमें ब्लैक-एंड-व्हाइट आर्ट की कमी है) दुनिया का अंत नहीं है। इसके विपरीत, कुछ कलाकार इसे एक लाभ के रूप में देखते हैं।

काले और सफेद रंग में कुछ देखने पर, आप मूल्य और संतृप्ति देखते हैं, लेकिन रंग नहीं। रंगकरण ह्यू को वापस जोड़ने की प्रक्रिया है। कलाकार आमतौर पर व्यक्तिगत रंगों के श्रमसाध्य चयन का उपयोग करके इस प्रक्रिया को करते हैं। हालाँकि, AI ने संवैधानिक तंत्रिका नेटवर्क (CNNs) का उपयोग करके इस प्रक्रिया को स्वचालित कर दिया है।

रंगीकरण के लिए सीएनएन का उपयोग करने का सबसे आसान तरीका आपकी मदद करने के लिए एक पुस्तकालय खोजना है। अल्गोरिदमिया साइट इस तरह की लाइब्रेरी प्रदान करती है और कुछ उदाहरण कोड दिखाती है। आप प्रदत्त फ़ील्ड में URL चिपकाकर भी आवेदन का प्रयास कर सकते हैं। पेटीएम डॉट कॉम का यह आलेख बताता है कि यह एप्लिकेशन कितना अच्छा काम करता है। यह बिल्कुल अद्भुत है!

गहरी सीख व्यक्ति को वास्तविक समय में बना सकती है

व्यक्ति आपको यह नहीं बताता है कि वीडियो स्ट्रीम में कौन है, बल्कि वीडियो स्ट्रीम में किसी व्यक्ति के कौन से तत्व हैं। उदाहरण के लिए, एक व्यक्ति मुद्रा का उपयोग करके आपको बता सकता है कि वीडियो में व्यक्ति की कोहनी दिखाई देती है या नहीं और यह कहां दिखाई देती है। यह आलेख आपको इस बारे में अधिक बताता है कि यह संपूर्ण विज़ुअलाइज़ेशन तकनीक कैसे काम करती है। वास्तव में, आप देख सकते हैं कि सिस्टम पहले मामले में एक व्यक्ति के संक्षिप्त एनीमेशन के माध्यम से कैसे काम करता है और दूसरे मामले में तीन लोग।

व्यक्ति के सभी प्रकार के उपयोगी उद्देश्य हो सकते हैं। उदाहरण के लिए, आप विभिन्न प्रकार के खेलों के लिए लोगों को अपने रूप को बेहतर बनाने में मदद करने के लिए एक व्यक्ति मुद्रा का उपयोग कर सकते हैं - गोल्फ से लेकर गेंदबाजी तक। एक व्यक्ति मुद्रा वीडियो गेम के नए प्रकार भी संभव बना सकता है। कल्पना कीजिए कि बोझिल गियर के सामान्य वर्गीकरण के बिना किसी खेल के लिए किसी व्यक्ति की स्थिति को ट्रैक करने में सक्षम है। सैद्धांतिक रूप से, आप अपराध-दृश्य विश्लेषण करने के लिए या किसी व्यक्ति द्वारा अपराध करने की संभावना निर्धारित करने के लिए व्यक्ति का उपयोग कर सकते हैं।

मुद्रा पहचान का एक और दिलचस्प अनुप्रयोग चिकित्सा और पुनर्वास उद्देश्यों के लिए है। गहरी शिक्षा द्वारा संचालित सॉफ्टवेयर आपको बता सकता है कि क्या आप अपने अभ्यास को सही ढंग से कर रहे हैं और अपने सुधारों को ट्रैक कर रहे हैं। जब आप चिकित्सा सुविधा (टेलीरेहिस्ट्री नामक गतिविधि) में नहीं होते हैं, तो इस तरह का एक आवेदन पेशेवर देखभालकर्ता के काम का समर्थन कर सकता है।

सौभाग्य से, आप कम से कम आज tfjs- मॉडल (PoseNet) पुस्तकालय का उपयोग कर व्यक्ति के साथ काम शुरू कर सकते हैं। आप इसे एक वेबकेम के साथ एक्शन, सोर्स कोड के साथ देख सकते हैं। उदाहरण को लोड करने में थोड़ा समय लगता है, इसलिए आपको धैर्य रखने की आवश्यकता है।

गहन शिक्षण वास्तविक समय के व्यवहार विश्लेषण का प्रदर्शन कर सकता है

व्यवहार विश्लेषण एक कदम आगे बढ़ता है जो व्यक्ति विश्लेषण करता है। जब आप व्यवहार विश्लेषण करते हैं, तो यह सवाल अभी भी नहीं है कि किससे, लेकिन कैसे। यह विशेष रूप से एआई एप्लिकेशन को प्रभावित करता है कि विक्रेता उत्पादों और वेबसाइटों को कैसे डिज़ाइन करते हैं। इस तरह के लेख जैसे एम्प्लिट्यूड से यह पूरी तरह से परिभाषित करने और व्यवहार विश्लेषण के उपयोग को चिह्नित करने के लिए बड़ी लंबाई तक जाता है। ज्यादातर मामलों में, व्यवहार विश्लेषण आपको यह देखने में मदद करता है कि उत्पाद डिजाइनर ने आपसे जिस प्रक्रिया का पालन करने की अपेक्षा की है, वह उस प्रक्रिया से मेल नहीं खाती है जिसका आप वास्तव में उपयोग करते हैं।

व्यवहार विश्लेषण में जीवन के अन्य क्षेत्रों में भी भूमिका होती है। उदाहरण के लिए, व्यवहार विश्लेषण लोगों को चिकित्सा पेशे में उन लोगों के साथ संभावित मुद्दों की पहचान करने में मदद कर सकता है जिनके पास विशिष्ट चिकित्सा स्थितियां हैं, जैसे कि आत्मकेंद्रित, और रोगी को उन मुद्दों को दूर करने में मदद करते हैं। व्यवहार विश्लेषण भी शारीरिक कला के शिक्षकों को छात्रों को अपने कौशल को सुधारने में मदद कर सकता है। आप यह भी देख सकते हैं कि इसका इस्तेमाल कानूनी पेशे में इस्तेमाल किया गया था ताकि मकसद का पता लगाया जा सके। (अपराध स्पष्ट है, लेकिन एक व्यक्ति कुछ क्यों करता है एक अवांछित व्यवहार के उचित निवारण के लिए आवश्यक है।)

सौभाग्य से, आप पहले से ही पायथन के साथ व्यवहार विश्लेषण करना शुरू कर सकते हैं।

भाषाओं के अनुवाद के लिए गहन शिक्षण का उपयोग किया जा सकता है

इंटरनेट ने एक ऐसा वातावरण बनाया है, जिससे आप यह जान सकते हैं कि आप वास्तव में किससे बात कर रहे हैं, वह व्यक्ति कहां है, या कभी-कभी वह व्यक्ति भी जब आप से बात कर रहे हैं। हालाँकि, एक चीज़ नहीं बदली गई है: जब दो पक्ष आम भाषा नहीं बोलते हैं तो एक भाषा को दूसरी भाषा में अनुवाद करने की आवश्यकता होती है। कुछ मामलों में, गलतफहमी हास्य हो सकती है, यह मानते हुए कि दोनों पक्षों में हास्य की भावना है।

हालाँकि, युद्ध के दौरान, सभी प्रकार के गंभीर परिणामों के कारण भी गलतियाँ हुईं। नतीजतन, भले ही अनुवाद सॉफ़्टवेयर इंटरनेट पर बेहद सुलभ हो, लेकिन सावधानी बरतने के लिए कि किस उत्पाद का उपयोग करना महत्वपूर्ण है। इन अनुप्रयोगों में से एक सबसे लोकप्रिय Google अनुवाद है, लेकिन कई अन्य अनुप्रयोग उपलब्ध हैं, जैसे कि, DeepL। फोर्ब्स के अनुसार, मशीनी अनुवाद एक ऐसा क्षेत्र है जिसमें AI का उपयोग होता है।

अनुवाद के आवेदन आम तौर पर बिडायरेक्शनल रिकरंट न्यूरल नेटवर्क्स (BRNNs) पर निर्भर करते हैं। आपको अपना BRNN नहीं बनाना होगा क्योंकि आपके पास चुनने के लिए कई मौजूदा API हैं। उदाहरण के लिए, आप लाइब्रेरी का उपयोग करके Google अनुवाद API तक पायथन पहुंच प्राप्त कर सकते हैं। मुद्दा यह है कि अनुवाद संभवतः अधिक लोकप्रिय गहरे सीखने के अनुप्रयोगों में से एक है और एक है कि कई लोग इसके बारे में सोचने के बिना भी उपयोग करते हैं।

सौर बचत क्षमता का अनुमान लगाने के लिए गहन शिक्षण का उपयोग किया जा सकता है

यह निर्धारित करने की कोशिश करना कि सौर ऊर्जा वास्तव में आपके स्थान पर काम करेगी या नहीं, जब तक कि बहुत सारे अन्य लोग भी इसका उपयोग नहीं कर रहे हों। इसके अलावा, यह जानना भी कठिन है कि आप किस स्तर की बचत का आनंद ले सकते हैं। बेशक, आप सौर ऊर्जा को स्थापित नहीं करना चाहते हैं यदि वह इसे उपयोग करने के लिए अपने लक्ष्यों को पूरा नहीं करता है, जिसमें वास्तव में दीर्घकालिक लागत बचत शामिल नहीं हो सकती है (हालांकि आम तौर पर ऐसा होता है)। कुछ गहरी सुदृढीकरण सीखने की परियोजनाएं अब आपको सौर ऊर्जा से अनुमान लगाने में मदद करती हैं, जिसमें प्रोजेक्ट सनरूफ भी शामिल है। सौभाग्य से, आप अपने पायथन एप्लिकेशन में इस तरह की भविष्यवाणी के लिए समर्थन प्राप्त कर सकते हैं।

एआई कंप्यूटर गेम में लोगों को हरा सकता है

एआई-बनाम-लोगों की प्रतियोगिता ब्याज को आकर्षित करने के लिए जारी है। शतरंज में जीतने से लेकर गो पर जीतने तक, एआई लगता है कि अपराजेय हो गया है - कम से कम, एक खेल में अपराजेय। मनुष्यों के विपरीत, AI माहिर है, और गो पर जीतने वाला AI शतरंज में अच्छा प्रदर्शन करने की संभावना नहीं है। फिर भी, 2017 को अक्सर खेलों में एआई पर मनुष्यों के लिए अंत की शुरुआत के रूप में माना जाता है। बेशक, यह प्रतियोगिता पिछले कुछ समय से चल रही है, और आप ऐसी प्रतियोगिताओं की संभावना तलाश सकते हैं, जो AI 2017 की तुलना में पहले जीती थीं। वास्तव में, कुछ स्रोत अक्टूबर 2015 की शुरुआत में ही गो जीत की तारीख तय करते हैं। इंटरेस्टिंग इंजीनियरिंग का लेख 11 बार एआई का वर्णन है कि जीता।

समस्या यह है कि एआई बनाने का रिवाज है जो एक विशेष खेल को जीत सकता है और यह महसूस कर सकता है कि उस खेल में विशेषज्ञता हासिल करने में, एआई अन्य खेलों में अच्छा प्रदर्शन नहीं कर सकता है। सिर्फ एक गेम के लिए AI बनाने की प्रक्रिया मुश्किल लग सकती है। यह लेख बताता है कि एक साधारण शतरंज AI का निर्माण कैसे किया जाता है, जो वास्तव में शतरंज के मास्टर को नहीं हराता है, लेकिन एक मध्यवर्ती खिलाड़ी के साथ अच्छा कर सकता है।

हालाँकि, यह वास्तव में जल्द ही यह कहना है कि लोग खेल से बाहर हैं। भविष्य में, लोग AI के खिलाफ एक से अधिक खेल के साथ प्रतिस्पर्धा कर सकते हैं। इस तरह की प्रतियोगिता के उदाहरण पहले से ही लाजिमी हैं, जैसे कि जो लोग खेल के एक ट्रायथलॉन में प्रदर्शन करते हैं, जिनमें एक के बजाय तीन खेल प्रतियोगिताएं होती हैं। प्रतियोगिता फिर लचीलेपन में से एक बन जाएगी: एआई बस हंक नहीं कर सकता है और केवल एक गेम सीख सकता है, इसलिए मानव के पास एक लचीलापन बढ़त होगी। एआई के इस तरह के उपयोग से पता चलता है कि मानव और एआई को भविष्य में सहयोग करना पड़ सकता है, एआई विशिष्ट कार्यों में विशेषज्ञता के साथ और मानव सभी आवश्यक कार्यों को करने के लिए आवश्यक लचीलापन प्रदान करता है।

आवाज सीखने के लिए डीप लर्निंग का इस्तेमाल किया जा सकता है

आपकी कार आपसे पहले ही बोल सकती है; कई कारें अब लोगों से नियमित रूप से बात करती हैं। अजीब तरह से, आवाज पीढ़ी अक्सर इतनी अच्छी होती है कि एक वास्तविक से उत्पन्न आवाज को बताना मुश्किल होता है। कुछ लेख इस बारे में बात करते हैं कि कंप्यूटर की आवाज़ों को खोजने का अनुभव जो काफी वास्तविक लगता है, अधिक सामान्य हो रहे हैं। यह मुद्दा अब पर्याप्त ध्यान आकर्षित करता है कि कई कॉल सेंटर आपको बताते हैं कि आप किसी व्यक्ति के बजाय कंप्यूटर से बात कर रहे हैं।

यद्यपि कॉल आउटपुट स्क्रिप्टेड प्रतिक्रियाओं पर निर्भर करता है, जिससे यह अति उच्च स्तर के विश्वास के साथ प्रतिक्रियाएं उत्पन्न करना संभव हो जाता है, आवाज की पहचान करना थोड़ा कठिन होता है (लेकिन इसमें बहुत सुधार हुआ है)। सफलतापूर्वक आवाज पहचान के साथ काम करने के लिए, आपको अक्सर अपने इनपुट को विशिष्ट प्रमुख शब्दों तक सीमित रखने की आवश्यकता होती है। ऐसे कीवर्ड का उपयोग करके जिन्हें वॉइस रिकग्निशन समझने के लिए डिज़ाइन किया गया है, आप किसी अनुरोध को दोहराने के लिए उपयोगकर्ता की आवश्यकता से बचते हैं। विशिष्ट शब्दों के लिए यह आवश्यक है कि आप कंप्यूटर से बात कर रहे हैं - बस कुछ अप्रत्याशित के लिए पूछें और कंप्यूटर यह नहीं जानता कि इसके साथ क्या करना है।

अपनी खुद की आवाज प्रणाली को लागू करने का आसान तरीका मौजूदा एपीआई पर भरोसा करना है, जैसे क्लाउड स्पीच टू टेक्स्ट। बेशक, आपको कुछ ऐसी चीज़ की आवश्यकता हो सकती है जिसे आप कस्टमाइज़ कर सकते हैं। इस स्थिति में, एपीआई का उपयोग करना मददगार साबित होगा। यह लेख बताता है कि पायथन का उपयोग करके अपने स्वयं के आवाज-आधारित एप्लिकेशन का निर्माण कैसे करें।

डीप लर्निंग का उपयोग जनसांख्यिकी की भविष्यवाणी करने के लिए किया जा सकता है

जनसांख्यिकी, उन महत्वपूर्ण या सामाजिक आँकड़े जो कुछ विशेषताओं के लोगों को समूह बनाते हैं, हमेशा से भाग कला और भाग विज्ञान रहे हैं। आप ग्राहकों (या संभावित ग्राहकों) के लिए जनसांख्यिकी उत्पन्न करने के लिए अपने कंप्यूटर को प्राप्त करने के बारे में कोई भी लेख पा सकते हैं। जनसांख्यिकी का उपयोग व्यापक है, लेकिन आप उन्हें उन चीजों के लिए उपयोग करते हैं जो भविष्यवाणी करते हैं कि कौन सा उत्पाद एक विशेष समूह खरीदेगा (बनाम प्रतियोगिता का)। जनसांख्यिकी लोगों को श्रेणीबद्ध करने और फिर उनके समूह संघों के आधार पर कुछ कार्रवाई की भविष्यवाणी करने का एक महत्वपूर्ण साधन है। यहाँ वे विधियाँ हैं जिन्हें आप अक्सर जनसांख्यिकी एकत्रित करते समय AI के लिए उद्धृत करते हैं:

  • ऐतिहासिक: पिछली क्रियाओं के आधार पर, एक AI सामान्य करता है कि आप भविष्य में कौन से कार्य कर सकते हैं। वर्तमान गतिविधि: आपके द्वारा अब और शायद अन्य विशेषताओं जैसे कि लिंग के अनुसार की जाने वाली क्रिया के आधार पर, एक कंप्यूटर आपकी अगली क्रिया की भविष्यवाणी करता है। विशेषताएं: उन गुणों के आधार पर, जो आपको परिभाषित करते हैं, जैसे कि लिंग, आयु और क्षेत्र जहां आप रहते हैं, एक कंप्यूटर उन विकल्पों की भविष्यवाणी करता है जिन्हें आप बनाने की संभावना रखते हैं।

आप AI की भविष्यवाणियों की क्षमताओं के बारे में लेख पा सकते हैं जो सच होने के लिए बहुत अच्छा लगता है। उदाहरण के लिए, यह माध्यम लेख कहता है कि AI अब आपके नाम के आधार पर आपके जनसांख्यिकी का अनुमान लगा सकता है। उस लेख में कंपनी, Demografy, लिंग, आयु और सांस्कृतिक संबंध प्रदान करने का दावा करती है जो पूरी तरह से नाम पर आधारित है। भले ही साइट दावा करती है कि यह 100 प्रतिशत सटीक है, यह आँकड़ा अत्यधिक संभावना नहीं है क्योंकि कुछ नाम लिंग अस्पष्ट हैं, जैसे रेनी और अन्य को कुछ देशों में एक लिंग और अन्य लिंग को सौंपा गया है। हां, जनसांख्यिकीय भविष्यवाणी काम कर सकती है, लेकिन उन सभी बातों पर विश्वास करने से पहले सावधानी बरतें जो ये साइट आपको बताती हैं।

यदि आप जनसांख्यिकीय भविष्यवाणी के साथ प्रयोग करना चाहते हैं, तो आप ऑनलाइन कई एपीआई पा सकते हैं। उदाहरण के लिए, दीपा एपीआई वीडियो में किसी व्यक्ति की उपस्थिति के आधार पर आपकी आयु, लिंग और सांस्कृतिक पृष्ठभूमि की भविष्यवाणी करने में मदद करने का वादा करता है। प्रत्येक ऑनलाइन API विशेषज्ञ करता है, इसलिए आपको जिस प्रकार के इनपुट डेटा प्रदान कर सकते हैं, उसकी ओर एक आँख से एपीआई का चयन करना होगा।

AI वास्तविक दुनिया की तस्वीरों से कला बना सकता है

गहरी शिक्षा वास्तविक दुनिया की तस्वीर और शैली के लिए मौजूदा मास्टर की सामग्री का उपयोग कर सकती है। वास्तव में, इस दृष्टिकोण का उपयोग करके उत्पन्न कला के कुछ टुकड़े नीलामी ब्लॉक पर उच्च कीमतों की कमान कर रहे हैं। आप इस विशेष प्रकार की कला पीढ़ी पर सभी प्रकार के लेख पा सकते हैं, जैसे कि यह वायर्ड लेख।

हालाँकि, भले ही चित्र दीवार पर लटकने के लिए अच्छे हों, लेकिन आप अन्य प्रकार की कलाओं का उत्पादन करना चाह सकते हैं। उदाहरण के लिए, आप स्मूथी 3-डी जैसे उत्पादों का उपयोग करके अपनी तस्वीर का 3-डी संस्करण बना सकते हैं। यह मूर्तिकला बनाने के समान नहीं है; बल्कि, आप अपने चित्र का 3-डी संस्करण बनाने के लिए 3-डी प्रिंटर का उपयोग करते हैं। एक प्रयोग देखें जो आप देख सकते हैं कि प्रक्रिया कैसे काम करती है।

किसी AI के आउटपुट में कुछ दृश्य शामिल करने की आवश्यकता नहीं होती है, उदाहरण के लिए, गहरी सीख आपको चित्र की सामग्री के आधार पर संगीत बनाने में सक्षम बनाती है। कला का यह रूप एआई द्वारा उपयोग की जाने वाली विधि को स्पष्ट करता है। AI ऐसी सामग्री को रूपांतरित करता है जिसे वह एक रूप से दूसरे रूप में नहीं समझता है। मनुष्य के रूप में, हम परिवर्तन को देखते और समझते हैं, लेकिन सभी कंप्यूटर देखते हैं कि अन्य मनुष्यों द्वारा बनाए गए चतुर एल्गोरिदम का उपयोग करने के लिए संख्याएं हैं।

प्राकृतिक आपदाओं का पूर्वानुमान लगाने के लिए गहन शिक्षण का उपयोग किया जा सकता है

जब तक वहाँ लोग और प्राकृतिक आपदाएँ आई हैं, लोग प्राकृतिक आपदाओं की भविष्यवाणी करने की कोशिश कर रहे हैं। कोई भी भूकंप, तूफान, ज्वालामुखी विस्फोट या किसी अन्य प्राकृतिक आपदा का हिस्सा नहीं बनना चाहता है। जल्दी से दूर होने में सक्षम होने के नाते इस मामले में मुख्य विचार यह है कि मनुष्य किसी भी प्राकृतिक आपदा को रोकने के लिए अभी तक अपने पर्यावरण को अच्छी तरह से नियंत्रित नहीं कर सकते हैं।

डीप लर्निंग इंसानों के दिमाग को चकरा देने वाले बेहद सूक्ष्म पैटर्न देखने का साधन उपलब्ध कराता है। Google के समाधान के लेख के अनुसार, ये पैटर्न प्राकृतिक तबाही की भविष्यवाणी करने में मदद कर सकते हैं। तथ्य यह है कि सॉफ्टवेयर किसी भी आपदा का अनुमान लगा सकता है बस आश्चर्यजनक है। हालांकि, यह लेख चेतावनी देता है कि ऐसे सॉफ़्टवेयर पर विशेष रूप से भरोसा करना एक गलती होगी।

प्रौद्योगिकी पर अधिकता एक निरंतर विषय है, इसलिए यह आश्चर्यचकित नहीं होना चाहिए कि गहरी सीखने के साथ-साथ प्राकृतिक आपदाओं की भविष्यवाणी करने में सही से कम है।

  1. ProgrammingBig DataData ScienceDeep लर्निंग और आवर्तक तंत्रिका नेटवर्क

जॉन पॉल म्यूएलर, लुका म्यूएलर द्वारा

तंत्रिका नेटवर्क आपके इनपुट को एक वांछित आउटपुट में परिवर्तित करते हैं। गहरी शिक्षा में भी, प्रक्रिया समान है, हालांकि परिवर्तन अधिक जटिल है। कुछ परतों से बने एक सरल तंत्रिका नेटवर्क के विपरीत, गहन परिवर्तन जटिल परिवर्तनों को करने के लिए अधिक परतों पर निर्भर करता है। डेटा स्रोत से आउटपुट तंत्रिका नेटवर्क की इनपुट परत से जुड़ता है, और इनपुट परत डेटा को संसाधित करना शुरू कर देती है। छिपी हुई परतें पैटर्न को मैप करती हैं और उन्हें एक विशिष्ट आउटपुट से संबंधित करती हैं, जो एक मूल्य या संभावना हो सकती है। यह प्रक्रिया किसी भी तरह के इनपुट के लिए पूरी तरह से काम करती है, और यह छवियों के लिए विशेष रूप से अच्छी तरह से काम करती है।

प्रत्येक परत अपने डेटा को संसाधित करने के बाद, यह परिवर्तित डेटा को अगली परत में आउटपुट करती है। वह अगली परत पिछली परतों से पूर्ण स्वतंत्रता के साथ डेटा को संसाधित करती है। इस रणनीति के उपयोग का अर्थ है कि यदि आप अपने तंत्रिका नेटवर्क को एक वीडियो खिला रहे हैं, तो नेटवर्क प्रत्येक छवि को एक-एक, एक के बाद एक संसाधित करेगा, और परिणाम तब भी नहीं बदलेगा जब आप प्रदान की गई छवियों के क्रम में फेरबदल करते हैं। । इस तरह से नेटवर्क चलाने पर, आपको सूचना संसाधन के क्रम से कोई फायदा नहीं होगा।

हालांकि, अनुभव यह भी सिखाता है कि एक प्रक्रिया को समझने के लिए, आपको कभी-कभी घटनाओं को अनुक्रम में देखना होगा। जब आप किसी नए चरण का पता लगाने के लिए पिछले चरण से प्राप्त अनुभव का उपयोग करते हैं, तो आप सीखने की अवस्था को कम कर सकते हैं और प्रत्येक चरण को समझने के लिए आवश्यक समय और प्रयास को कम कर सकते हैं।

आवर्तक तंत्रिका नेटवर्क: स्मृति का उपयोग करके अनुक्रम मॉडलिंग

कुछ तंत्रिका आर्किटेक्चर आपको एकल इनपुट का उपयोग करके एक साथ तत्वों के अनुक्रम को संसाधित करने की अनुमति नहीं देते हैं। उदाहरण के लिए, जब आपके पास मासिक उत्पाद की बिक्री की एक श्रृंखला होती है, तो आप बिक्री के आंकड़ों को बारह इनपुटों का उपयोग करके समायोजित करते हैं, प्रत्येक महीने के लिए एक, और तंत्रिका नेटवर्क को एक समय में उनका विश्लेषण करने दें। यह इस प्रकार है कि जब आपके पास लंबे अनुक्रम होते हैं, तो आपको बड़ी संख्या में इनपुट का उपयोग करके उन्हें समायोजित करने की आवश्यकता होती है, और आपका नेटवर्क काफी विशाल हो जाता है क्योंकि प्रत्येक इनपुट को हर दूसरे इनपुट के साथ जुड़ना चाहिए। आपके पास एक बड़ी संख्या में कनेक्शन (जो कई वज़न में तब्दील होता है) द्वारा विशेषता वाला एक नेटवर्क है।

आवर्तक तंत्रिका नेटवर्क (RNN) परसेप्ट्रॉन और CNN के लिए एक विकल्प हैं। वे पहली बार 1980 के दशक में दिखाई दिए, और विभिन्न शोधकर्ताओं ने उन्हें सुधारने के लिए तब तक काम किया जब तक कि उन्होंने हाल ही में गहन सीखने और कम्प्यूटेशनल शक्ति में विकास के लिए लोकप्रियता प्राप्त नहीं की।

आरएनएन के पीछे का विचार सरल है, वे अनुक्रम के प्रत्येक तत्व की एक बार जांच करते हैं और उसकी स्मृति को बनाए रखते हैं ताकि वे अनुक्रम में अगले तत्व की जांच करते समय इसका पुन: उपयोग कर सकें। पाठ को पढ़ते समय मानव मन कैसे काम करता है, इसके बारे में बताया गया है: एक व्यक्ति पाठ को अक्षर से पढ़ता है, लेकिन शब्द में प्रत्येक अक्षर को याद करके शब्दों को समझता है। इसी तरह से, एक आरएनएन किसी शब्द को उसके द्वारा प्राप्त पत्रों के अनुक्रम को याद करके परिणाम में जोड़ सकता है। इस तकनीक का एक विस्तार यह संभव बनाता है कि एक आरएनएन को यह निर्धारित करने के लिए कहा जाए कि क्या कोई वाक्यांश सकारात्मक या नकारात्मक है - एक व्यापक रूप से प्रयुक्त विश्लेषण जिसे भावना विश्लेषण कहा जाता है। नेटवर्क कुछ शब्द अनुक्रमों में एक सकारात्मक या नकारात्मक उत्तर को जोड़ता है जो प्रशिक्षण के उदाहरणों में देखा गया है।

आप एक आरएनएन को एक तंत्रिका इकाई (जिसे सेल के रूप में भी जाना जाता है) के रूप में रेखांकन करते हैं, जो एक इनपुट को आउटपुट से जोड़ता है, लेकिन स्वयं से भी जोड़ता है। यह स्व-कनेक्शन पुनरावृत्ति की अवधारणा का प्रतिनिधित्व करता है, जो कि किसी विशेष आउटपुट को प्राप्त करने तक खुद पर लागू एक फ़ंक्शन है। पुनरावृत्ति के सबसे अधिक इस्तेमाल किए जाने वाले उदाहरणों में से एक गुट कंप्यूटिंग है। नीचे दी गई छवि एक विशिष्ट आरएनएन उदाहरण दिखाती है जो शब्द को जाज बनाने के लिए एक अक्षर अनुक्रम का उपयोग करता है। नीचे दी गई छवि के दाईं ओर एक इनपुट के रूप में जैज़ प्राप्त करने वाले आरएनएन इकाई व्यवहार का प्रतिनिधित्व दर्शाया गया है, लेकिन वास्तव में केवल एक इकाई है, जैसा कि बाईं ओर दिखाया गया है।

गहरी सीखने और आवर्तक तंत्रिका नेटवर्क

यह छवि बाईं ओर एक पुनरावर्ती सेल दिखाती है और इसे इकाइयों की एक अनकही श्रृंखला के रूप में विस्तारित करती है जो दाईं ओर जाज शब्द के एकल अक्षर प्राप्त करती है। यह जे के साथ शुरू होता है, उसके बाद अन्य अक्षर। जैसा कि यह प्रक्रिया होती है, RNN एक आउटपुट का उत्सर्जन करता है और इसके आंतरिक मापदंडों को संशोधित करता है। अपने आंतरिक मापदंडों को संशोधित करके, इकाई उस डेटा से सीखती है जो उसे प्राप्त होती है और पिछले डेटा की मेमोरी से। इस सीखने का योग RNN सेल की स्थिति है।

तंत्रिका नेटवर्क पर चर्चा करते समय, आप वजन के बारे में बहुत सारी चर्चा सुनेंगे। RNN के साथ, आपको शब्द की अवस्था को भी जानना होगा। वज़न एक आरएनएन में इनपुट को आउटपुट में प्रोसेस करने में मदद करता है, लेकिन राज्य में आरएनएन को अब तक देखी गई जानकारी के निशान हैं, इसलिए राज्य आरएनएन के कामकाज को प्रभावित करता है। राज्य एक प्रकार की अल्पकालिक स्मृति है जो अनुक्रम पूरा होने के बाद रीसेट करता है। आरएनएन सेल को एक अनुक्रम के टुकड़े मिलते हैं, यह निम्न कार्य करता है:

  1. उन्हें संसाधित करता है, प्रत्येक इनपुट के साथ राज्य को बदलता है। एक आउटपुट का उत्सर्जन करता है। अंतिम आउटपुट को देखने के बाद, RNN बैकप्रोपैजेशन का उपयोग करके इनपुट को सही आउटपुट में मैप करने के लिए सबसे अच्छा वजन सीखता है।

समवर्ती तंत्रिका नेटवर्क: भाषण को पहचानना और अनुवाद करना

भाषाओं के बीच पहचान और अनुवाद करने की क्षमता प्रत्येक दिन अधिक महत्वपूर्ण हो जाती है क्योंकि अर्थव्यवस्थाएं हर जगह तेजी से वैश्विक हो जाती हैं। भाषा अनुवाद एक ऐसा क्षेत्र है जिसमें एआई का मनुष्यों पर एक निश्चित लाभ है - इतना कि डिजिटलिस्ट पत्रिका और फोर्ब्स के लेखों से सवाल उठने लगे हैं कि मानव अनुवादक कब तक व्यवहार्य रहेगा।

बेशक, आपको गहरी सीखने का उपयोग करके अनुवाद प्रक्रिया को व्यवहार्य बनाना होगा। एक तंत्रिका वास्तुकला के दृष्टिकोण से, आपके पास कुछ विकल्प हैं:

  • RNN सेल द्वारा प्रदान किए गए सभी आउटपुट रखें अंतिम RNN सेल आउटपुट रखें

अंतिम आउटपुट पूरे RNN का आउटपुट है क्योंकि यह अनुक्रम परीक्षा पूरी करने के बाद निर्मित होता है। हालाँकि, आप पिछले आउटपुट का उपयोग कर सकते हैं यदि आपको किसी अन्य अनुक्रम की भविष्यवाणी करने की आवश्यकता है या आप वर्तमान एक के बाद अधिक आरएनएन कोशिकाओं को स्टैक करने का इरादा रखते हैं, जैसे कि कन्वेंशनल न्यूरल नेटवर्क्स (सीएनएन) के साथ काम करते समय। आरकेएन को खड़ी करना नेटवर्क को जटिल अनुक्रम पैटर्न सीखने और भविष्यवाणियों के निर्माण में अधिक प्रभावी बनने में सक्षम बनाता है।

आप RNN को एक ही परत में क्षैतिज रूप से स्टैक कर सकते हैं। एक अनुक्रम से सीखने के लिए कई आरएनएन की अनुमति देना डेटा से इसे प्राप्त करने में मदद कर सकता है। कई आरएनएन का उपयोग करना सीएनएन के समान है, जिसमें प्रत्येक एकल परत छवि से विवरण और पैटर्न सीखने के लिए दृढ़ संकल्प की गहराई का उपयोग करती है। एकाधिक आरएनएन मामले में, एक परत उस अनुक्रम की विभिन्न बारीकियों को समझ सकती है, जिसकी वे जांच कर रहे हैं।

RNN के डिजाइनिंग ग्रिड, दोनों क्षैतिज और लंबवत रूप से, पूर्वानुमानात्मक प्रदर्शन में सुधार करते हैं। हालांकि, आउटपुट का उपयोग करने का निर्णय लेना यह निर्धारित करता है कि RNN द्वारा संचालित एक गहन शिक्षण वास्तुकला क्या प्राप्त कर सकता है। कुंजी इनपुट के रूप में उपयोग किए जाने वाले तत्वों की संख्या और आउटपुट के रूप में अपेक्षित अनुक्रम लंबाई है। जैसे ही गहन शिक्षण नेटवर्क RNN आउटपुट को सिंक्रनाइज़ करता है, आपको अपना वांछित परिणाम मिलता है।

कई आरएनएन का उपयोग करते समय आपके पास कुछ संभावनाएं हैं, जैसा कि नीचे की छवि में दिखाया गया है:

  • वन टू वन: जब आपके पास एक इनपुट हो और एक आउटपुट की उम्मीद हो। वे एक मामले को लेते हैं, जो एक निश्चित संख्या में सूचनात्मक चर से बना होता है, और एक अनुमान प्रदान करता है, जैसे कि संख्या या संभावना। एक से कई: यहां आपके पास एक इनपुट है और आप परिणामस्वरूप आउटपुट के अनुक्रम की अपेक्षा करते हैं। स्वचालित कैप्शनिंग तंत्रिका नेटवर्क इस दृष्टिकोण का उपयोग करते हैं: आप एकल छवि इनपुट करते हैं और छवि सामग्री का वर्णन करने वाले वाक्यांश का उत्पादन करते हैं। कई एक: RNN के लिए क्लासिक उदाहरण। उदाहरण के लिए, आप एक पाठ अनुक्रम को इनपुट करते हैं और आउटपुट के रूप में एकल परिणाम की अपेक्षा करते हैं। आप इस दृष्टिकोण को एक भावुक विश्लेषण अनुमान या पाठ के अन्य वर्गीकरण के उत्पादन के लिए उपयोग करते हैं। कई लोगों के लिए: आप इनपुट के रूप में एक अनुक्रम प्रदान करते हैं और आउटपुट के परिणामस्वरूप अनुक्रम की अपेक्षा करते हैं। यह सबसे प्रभावशाली गहरे सीखने-संचालित एआई अनुप्रयोगों में से कई के लिए मुख्य वास्तुकला है। इस दृष्टिकोण का उपयोग मशीनी अनुवाद के लिए किया जाता है (जैसे कि एक नेटवर्क जो स्वचालित रूप से अंग्रेजी से जर्मन में वाक्यांश का अनुवाद कर सकता है), चैटबॉट्स (एक तंत्रिका नेटवर्क जो आपके सवालों का जवाब दे सकता है और आपके साथ बहस कर सकता है), और अनुक्रम लेबलिंग (छवियों में से प्रत्येक का वर्गीकरण) एक वीडियो)।
आवर्तक तंत्रिका नेटवर्क इनपुट और आउटपुट

मशीनी अनुवाद एक मशीन की क्षमता है कि वह सही और सार्थक अनुवाद कर सके, एक मानव भाषा दूसरे में। यह क्षमता कुछ ऐसी है जिसे वैज्ञानिकों ने लंबे समय तक प्राप्त करने के लिए स्ट्राइक किया है, खासकर सैन्य उद्देश्यों के लिए। आप वासिली जुबेरव के लेख में अमेरिकी और रूसी वैज्ञानिकों द्वारा मशीन अनुवाद करने के सभी प्रयासों की आकर्षक कहानी पढ़ सकते हैं। Google को Google न्यूरल मशीन ट्रांसलेशन (GNMT) लॉन्च करने के बाद ही असली सफलता मिली, जिसे आप Google AI ब्लॉग पर अधिक पढ़ सकते हैं। GNMT RNN की एक श्रृंखला (कई-से-कई प्रतिमान का उपयोग करते हुए) पर निर्भर करता है, जिस भाषा में आप जिस भाषा से अनुवाद करना चाहते हैं, उसे (एनकोडर लेयर कहा जाता है) में शब्द अनुक्रम पढ़ें और परिणामों को दूसरी RNN परत (डिकोडर लेयर) पर लौटाएँ। इसे अनुवादित आउटपुट में बदल देता है।

न्यूरल मशीन अनुवाद के लिए दो परतों की आवश्यकता होती है क्योंकि एक भाषा का व्याकरण और वाक्य विन्यास दूसरे से अलग हो सकता है। एक ही आरएनएन एक ही समय में दो भाषा प्रणालियों को समझ नहीं सकता है, इसलिए दो भाषाओं को संभालने के लिए एनकोडर-डिकोडर जोड़े की आवश्यकता है। यह प्रणाली परिपूर्ण नहीं है, लेकिन यह वासिली जुबेरव के लेख में वर्णित पिछले समाधानों से एक अविश्वसनीय छलांग है, जो शब्द क्रम, शाब्दिक गलतियों (चुने हुए अनुवाद शब्द) और व्याकरण (शब्दों का उपयोग कैसे किया जाता है) में त्रुटियों को बहुत कम करता है।

इसके अलावा, प्रदर्शन प्रशिक्षण सेट, शामिल भाषाओं के बीच अंतर और उनकी विशिष्ट विशेषताओं पर निर्भर करता है। उदाहरण के लिए, क्योंकि जापानी में वाक्य संरचना कैसे बनाई जाती है, जापान सरकार अब 2020 में टोक्यो ओलंपिक खेलों के दौरान मदद करने के लिए और एक उन्नत तंत्रिका नेटवर्क समाधान विकसित करके पर्यटन को बढ़ावा देने के लिए एक वास्तविक समय आवाज अनुवादक में निवेश कर रही है।

RNN वे कारण होते हैं जो आपकी आवाज सहायक आपको जवाब दे सकते हैं या आपका स्वचालित अनुवादक आपको एक विदेशी भाषा अनुवाद दे सकता है। क्योंकि एक आरएनएन केवल गुणन और संक्षेपण का पुनरावर्ती ऑपरेशन है, गहरे शिक्षण नेटवर्क वास्तव में किसी भी अर्थ को समझ नहीं सकते हैं; वे बस शब्द और वाक्यांशों को संसाधित करते हैं जो उन्होंने प्रशिक्षण के दौरान सीखा है।

आवर्तक तंत्रिका नेटवर्क: चित्रों पर सही कैप्शन रखना

कई-कई दृष्टिकोणों का उपयोग करके आरएनएन का एक अन्य संभावित अनुप्रयोग कैप्शन पीढ़ी है, जिसमें एक तंत्रिका नेटवर्क को एक छवि प्रदान करना और एक पाठ विवरण प्राप्त करना शामिल है जो बताता है कि छवि में क्या हो रहा है। चैटबॉट और मशीन अनुवादकों के विपरीत, जिनके उत्पादन का उपभोग मनुष्यों द्वारा किया जाता है, कैप्शन पीढ़ी रोबोटिक्स के साथ काम करती है। यह केवल छवि या वीडियो विवरण उत्पन्न करने से अधिक है।

कैप्शन पीढ़ी बिगड़ा दृष्टि वाले लोगों को होरस पहनने योग्य जैसे उपकरणों का उपयोग करके अपने वातावरण का अनुभव करने में मदद कर सकती है या रोबोटों के लिए छवियों और ज्ञान के आधारों (जो पाठ आधारित हैं) के बीच एक पुल का निर्माण कर सकती हैं - जिससे उन्हें अपने परिवेश को बेहतर ढंग से समझने की अनुमति मिलती है। आप विशेष रूप से तैयार डेटासेट जैसे पास्कल सेंटेंस डेटासेट से शुरू करते हैं; फ़्लिकर 30K, जिसमें फ़्लिकर छवियां शामिल हैं जो भीड़ के सोर्सिंग द्वारा एनोटेट की गई हैं; या एमएस कोको डाटासेट। इन सभी डेटासेट में, प्रत्येक छवि में एक या अधिक वाक्यांश शामिल होते हैं जो छवि सामग्री को समझाते हैं। उदाहरण के लिए, MS Coco डेटासेट नमूना संख्या 5947 में, आपको चार उड़ने वाले हवाई जहाज दिखाई देते हैं जिन्हें आप सही तरीके से कैप्शन के रूप में देख सकते हैं:

  • आसमान में एक ही दिन में चार हवाई जहाज ओवरहेड एक बादल दिन पर हवा में चार एकल-इंजन वाले विमान चार विमानों के एक समूह के गठन में उड़ान आकाश से उड़ने वाले हवाई जहाज का एक समूह आसमान से उड़ते विमानों का एक बेड़ा

एक अच्छी तरह से प्रशिक्षित तंत्रिका नेटवर्क एक समान फोटो के साथ प्रस्तुत किए जाने पर, अनुरूप वाक्यांशों का उत्पादन करने में सक्षम होना चाहिए। Google ने पहली बार इस समस्या के समाधान पर एक पेपर प्रकाशित किया था, 2014 में शो एंड टेल नेटवर्क या न्यूरल इमेज कैप्शन (एनआईसी) नाम दिया, और फिर एक साल बाद इसे अपडेट किया।

तब से Google ने NIC को खोल दिया और इसे TensorFlow ढांचे के हिस्से के रूप में पेश किया। एक तंत्रिका नेटवर्क के रूप में, इसमें एक बहाना सीएनएन (जैसे कि Google LeNet, 2014 का विजेता), जो इमेज ट्रांसफर करने की प्रक्रिया को सीखता है।

एक छवि को मूल्यों के अनुक्रम में बदल दिया जाता है, जो सीएनएन द्वारा उच्च-स्तरीय छवि विशेषताओं का प्रतिनिधित्व करता है। प्रशिक्षण के दौरान, एम्बेडेड छवि RNN की एक परत से गुज़रती है जो छवि की विशेषताओं को उनके आंतरिक स्थिति में याद करती है। सीएनएन आरएनएन द्वारा उत्पादित परिणामों की तुलना प्रशिक्षण छवि के लिए प्रदान किए गए सभी संभावित विवरणों से करता है और एक त्रुटि की गणना की जाती है। उसके बाद त्रुटि RNN के वज़न को समायोजित करने के लिए RNN नेटवर्क के हिस्से को बैकप्रोगैगेट करता है और छवियों को सही ढंग से कैप्शन करने के तरीके को सीखने में मदद करता है। विभिन्न छवियों का उपयोग करके कई बार इस प्रक्रिया को दोहराने के बाद, नेटवर्क नई छवियों को देखने और इन नई छवियों का अपना विवरण प्रदान करने के लिए तैयार है।

आवर्तक तंत्रिका नेटवर्क अधिक उन्नत नवाचार के लिए अवसर प्रदान करते हैं और कुछ आवश्यक कार्यों को स्वचालित करने में मदद कर सकते हैं।

  1. ProgrammingBig DataData ScienceDeep लर्निंग और प्राकृतिक भाषा प्रसंस्करण

जॉन पॉल म्यूएलर, लुका म्यूएलर द्वारा

सरलीकरण के रूप में, आप भाषा को अक्षरों से बने शब्दों के अनुक्रम के रूप में देख सकते हैं (साथ ही विराम चिह्न, प्रतीक, इमोटिकॉन्स, और इसी तरह)। गहरी सीखने की प्रक्रिया RNN, जैसे LSTM या GRU की परतों का उपयोग करके भाषा को सबसे अच्छा बनाती है। हालाँकि, RNN का उपयोग करने के बारे में जानना आपको नहीं बताएगा कि इनपुट के रूप में अनुक्रमों का उपयोग कैसे करें; आपको दृश्यों के प्रकार को निर्धारित करने की आवश्यकता है। वास्तव में, गहन शिक्षण नेटवर्क केवल संख्यात्मक इनपुट मूल्यों को स्वीकार करते हैं। कंप्यूटर उन अक्षर अनुक्रमों को कूटबद्ध करता है जिन्हें आप एक प्रोटोकॉल के अनुसार संख्याओं में समझते हैं, जैसे कि यूनिकोड परिवर्तन प्रारूप -8 बिट (UTF-8)। UTF-8 सबसे अधिक उपयोग किया जाने वाला एन्कोडिंग है।

डीप लर्निंग भी मैट्रिसेस (इमेज प्रोसेसिंग के समान) के रूप में अनुक्रमों का प्रतिनिधित्व करके RNN के बजाय कॉन्टेक्शनल न्यूरल नेटवर्क्स (CNNs) का उपयोग करके टेक्स्ट डेटा प्रोसेस कर सकता है। केआरए CNN परतों का समर्थन करता है, जैसे कि Conv1D, जो समय में आदेशित सुविधाओं पर काम कर सकता है - अर्थात, शब्दों या अन्य संकेतों के अनुक्रम। 1D कन्वेंशन आउटपुट आमतौर पर एक MaxPooling1D परत द्वारा होता है जो आउटपुट को सारांशित करता है। अनुक्रमों पर लागू सीएनएन अनुक्रम के वैश्विक क्रम के लिए उनकी असंवेदनशीलता में एक सीमा पाते हैं। (वे स्थानीय पैटर्न को देखते हैं।) इस कारण से, वे RNN के साथ संयोजन में अनुक्रम प्रसंस्करण में सबसे अच्छा उपयोग करते हैं, उनके प्रतिस्थापन के रूप में नहीं।

प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में प्रक्रियाओं की एक श्रृंखला होती है जो सांख्यिकीय विश्लेषण, मशीन सीखने के एल्गोरिदम और गहन सीखने के लिए शब्दों और वाक्यांशों के प्रसंस्करण में सुधार करते हैं। एनएलपी कम्प्यूटेशनल भाषाविज्ञान के लिए अपनी जड़ें देता है जो एआई नियम-आधारित सिस्टम संचालित करता है, जैसे कि विशेषज्ञ प्रणाली, जिसने मानव ज्ञान, अनुभव और सोचने के तरीके के कंप्यूटर अनुवाद के आधार पर निर्णय किए। एनएलपी ने शाब्दिक जानकारी को पचा लिया, जो असंरचित है, और अधिक संरचित डेटा में ताकि विशेषज्ञ प्रणाली आसानी से हेरफेर कर सकें और इसका मूल्यांकन कर सकें।

डीप लर्निंग ने आज ऊपरी हाथ ले लिया है, और विशेषज्ञ प्रणाली विशिष्ट अनुप्रयोगों तक सीमित हैं जिसमें निर्णय प्रक्रियाओं की व्याख्या और नियंत्रण सर्वोपरि है (उदाहरण के लिए, चिकित्सा अनुप्रयोगों में और कुछ स्वयं-ड्राइविंग कारों पर व्यवहार निर्णय प्रणाली)। फिर भी, एनएलपी पाइपलाइन अभी भी कई गहरे शिक्षण अनुप्रयोगों के लिए काफी प्रासंगिक है।

प्राकृतिक भाषा प्रसंस्करण: टोकन के रूप में समझ को परिभाषित करना

एक एनएलपी पाइपलाइन में, पहला कदम कच्चा पाठ प्राप्त करना है। आमतौर पर आप इसे मेमोरी में स्टोर करते हैं या डिस्क से एक्सेस करते हैं। जब डेटा मेमोरी में फिट होने के लिए बहुत बड़ा होता है, तो आप डिस्क पर इसका पॉइंटर बनाए रखते हैं (जैसे डायरेक्टरी नाम और फ़ाइल नाम)। निम्नलिखित उदाहरण में, आप एक सूची में संग्रहीत तीन दस्तावेज़ों (स्ट्रिंग चर द्वारा दर्शाए गए) का उपयोग करते हैं (दस्तावेज़ कंटेनर nat में कॉर्पस है

आयात एनपीपी के रूप में सुन्न
ग्रंथ = ["मेरा कुत्ता बिल्लियों के साथ मिल जाता है",
"वह बिल्ली शातिर है",
"लंच होने पर मेरा कुत्ता खुश है"]

पाठ प्राप्त करने के बाद, आप इसे संसाधित करते हैं। जैसा कि आप प्रत्येक वाक्यांश को संसाधित करते हैं, आप पाठ से प्रासंगिक सुविधाओं को निकालते हैं (आप आमतौर पर एक बैग-ऑफ़-वर्ड्स मैट्रिक्स बनाते हैं) और एक लर्निंग मॉडल के लिए सब कुछ पास करते हैं, जैसे कि एक गहरी लर्निंग एल्गोरिदम। पाठ प्रसंस्करण के दौरान, आप पाठ में हेरफेर करने के लिए विभिन्न परिवर्तनों का उपयोग कर सकते हैं (टोकन केवल अनिवार्य परिवर्तन होने के साथ):

  • सामान्यीकरण: पूंजीकरण निकालें। सफाई: गैर-प्रासंगिक तत्वों जैसे विराम चिह्न और संख्या को हटा दें। टोकनाइजेशन: एक वाक्य को अलग-अलग शब्दों में विभाजित करें। शब्द हटाने को रोकें: ऐसे सामान्य, अस्वाभाविक शब्दों को हटा दें जो वाक्य में अर्थ को जोड़ते नहीं हैं, जैसे कि लेख और ए। अगर आप भावुकता का अंदाजा लगाना चाहते हैं तो नकारात्मक चीजों को हटाना हानिकारक नहीं हो सकता है। स्टेमिंग: किसी शब्द को उसके तने में कम करें (जो विभक्ति संबंध जोड़ने से पहले शब्द का रूप है)। एक एल्गोरिथ्म, जिसे एक स्टेमर कहा जाता है, नियमों की एक श्रृंखला के आधार पर ऐसा कर सकता है। Lemmatization: किसी शब्द को उसके शब्दकोश रूप में बदलना (लेम्मा)। यह स्टेमिंग का एक विकल्प है, लेकिन यह अधिक जटिल है क्योंकि आप एक एल्गोरिथ्म का उपयोग नहीं करते हैं। इसके बजाय, आप प्रत्येक शब्द को उसके लेम्मा में बदलने के लिए एक शब्दकोश का उपयोग करते हैं। स्थिति-टैगिंग: वाक्य में इसकी व्याकरणिक भूमिका के साथ वाक्यांश में प्रत्येक शब्द को टैग करें (जैसे कि एक शब्द को क्रिया के रूप में या संज्ञा के रूप में टैग करना)। एन-ग्राम: प्रत्येक शब्द को एक निश्चित संख्या (एन-ग्राम में n) के साथ जोड़कर, निम्नलिखित शब्दों के साथ और उन्हें एक अद्वितीय सेट के रूप में व्यवहार करें। आमतौर पर, द्वि-ग्राम (दो आसन्न तत्वों या टोकन की एक श्रृंखला) और त्रि-ग्राम (तीन आसन्न तत्वों या टोकन की एक श्रृंखला) विश्लेषण उद्देश्यों के लिए सबसे अच्छा काम करते हैं।

इन परिवर्तनों को प्राप्त करने के लिए, आपको एक विशेष पायथन पैकेज की आवश्यकता हो सकती है जैसे कि एनएलटीके या स्किकिट-लर्न। गहरी शिक्षा और उदाहरणों की एक बड़ी संख्या के साथ काम करते समय, आपको केवल बुनियादी परिवर्तनों की आवश्यकता होती है: सामान्यीकरण, सफाई और टोकन। गहरी सीखने की परतें यह निर्धारित कर सकती हैं कि किस जानकारी को निकालना और प्रक्रिया करना है। जब कुछ उदाहरणों के साथ काम करते हैं, तो आपको यह सीखने के लिए जितना संभव हो उतना एनएलपी प्रसंस्करण प्रदान करने की आवश्यकता होती है, ताकि यह निर्धारित किया जा सके कि कुछ उदाहरणों द्वारा प्रदान किए गए छोटे मार्गदर्शन के बावजूद क्या करना है।

Keras एक फ़ंक्शन प्रदान करता है, keras.preprocessing.text.Tokenizer, जो सामान्य करता है (निचले पैरामीटर को True पर सेट करता है) का उपयोग करता है, क्लीन करता है (फ़िल्टर पैरामीटर को हटाने के लिए वर्णों की एक स्ट्रिंग होती है, आमतौर पर ये: '!' '$% & (!) ) * +, -। /: <=>; @ [\] ^ _ `{| |} ~ ') और टोकन।

प्राकृतिक भाषा प्रसंस्करण: सभी दस्तावेजों को एक बैग में रखना

पाठ को संसाधित करने के बाद, आपको संबंधित विशेषताओं को निकालना होगा, जिसका अर्थ है कि शेष पाठ को प्रक्रिया के लिए तंत्रिका नेटवर्क के लिए संख्यात्मक जानकारी में बदलना। यह आमतौर पर बैग-ऑफ-वर्ड दृष्टिकोण का उपयोग करके किया जाता है, जो कि आवृत्ति एन्कोडिंग या पाठ को द्विआधारी एन्कोडिंग द्वारा प्राप्त किया जाता है। यह प्रक्रिया प्रत्येक शब्द को एक मैट्रिक्स कॉलम में बदलने के लिए उतनी ही विस्तृत करती है जितना कि आपके द्वारा प्रतिनिधित्व किए जाने वाले शब्दों की संख्या। निम्न उदाहरण दिखाता है कि इस प्रक्रिया को कैसे प्राप्त किया जाए और इसका क्या अर्थ है। पहले चरण के रूप में, आप प्रसंस्करण के लिए शब्द शब्दावली का आकार निर्धारित करने के लिए कुछ पायथन कमांड्स का उपयोग करके एक सामान्य सामान्यीकरण और टोकन तैयार करते हैं:

अद्वितीय_शब्द = सेट (word.lower) के लिए ग्रंथों में वाक्यांश के लिए
वाक्यांश में शब्द। split (""))
प्रिंट (f "वहाँ हैं {len (unique_words)} अद्वितीय शब्द")

कोड 14 शब्दों की रिपोर्ट करता है। अब आप केरस से टोकेनाइज़र फ़ंक्शन को लोड करने और अपेक्षित शब्दावली आकार प्रदान करके पाठ को संसाधित करने के लिए आगे बढ़ते हैं:

keras.preprocessing.text आयात टोकनर से
शब्दावली_साइज़ = len (unique_words) + 1
टोकेनाइज़र = टोकनर (संख्या_शब्द = शब्दावली_साइज़)

एक शब्दावली_ का उपयोग करना, जो कि बहुत छोटी है, सीखने की प्रक्रिया से महत्वपूर्ण शब्दों को बाहर कर सकती है। जो बहुत बड़ी है वह बेकार में कंप्यूटर मेमोरी का उपभोग कर सकती है। आपको ग्रंथों की सूची में निहित विभिन्न शब्दों की संख्या का सही अनुमान लगाकर टोकन प्रदान करने की आवश्यकता है। आप हमेशा एक वाक्यांश की शुरुआत के लिए एक अतिरिक्त शब्द प्रदान करने के लिए शब्दावली_साइज़ में 1 जोड़ते हैं (एक शब्द जो गहन शिक्षण नेटवर्क में मदद करता है)। इस बिंदु पर, टोकननेयर ग्रंथों में मौजूद शब्दों को अनुक्रमित करता है, जो पाठ में शब्दों का प्रतिनिधित्व करने वाले संख्यात्मक मान हैं:

tokenizer.fit_on_texts (ग्रंथों)
प्रिंट (tokenizer.index_word)

परिणामी सूचकांक निम्नानुसार हैं:

{1: 'है', 2: 'मेरा', 3: 'कुत्ता', 4: 'हो जाता है', 5: 'साथ')
6: 'साथ', 7: 'बिल्लियाँ', 8: 'वह', 9: 'बिल्ली', 10: 'शातिर',
11: 'हैप्पी', 12: 'व्हेन', 13: 'इट', 14: 'लंच'}

अनुक्रमणिका उस स्तंभ संख्या का प्रतिनिधित्व करती है जिसमें शब्द जानकारी होती है:

प्रिंट (tokenizer.texts_to_matrix (ग्रंथों))

यहां परिणामी मैट्रिक्स है:

[[0। 0. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0.]
[0। 1. 0. 0. 0. 0. 0. 1. 1. 1. 1. 0. 0. 0.]
[0। 1. 1. 1. 0. 0. 0. 0. 0. 0. 1. 1. 1. 1.]]

मैट्रिक्स में 15 कॉलम (14 शब्द और वाक्यांश सूचक की शुरुआत) और तीन पंक्तियाँ हैं, जो तीन संसाधित ग्रंथों का प्रतिनिधित्व करती हैं। यह उथले तंत्रिका नेटवर्क का उपयोग करने के लिए पाठ मैट्रिक्स है (आरएनएन को एक अलग प्रारूप की आवश्यकता होती है, जैसा कि बाद में चर्चा की गई है), जो हमेशा ग्रंथों की संख्या से शब्दावली_ आकार के रूप में होता है। मैट्रिक्स के अंदर की संख्या वाक्यांश में किसी शब्द के प्रकट होने की संख्या को दर्शाती है। हालांकि यह केवल संभव प्रतिनिधित्व नहीं है। यहाँ अन्य हैं:

  • फ़्रिक्वेंसी एन्कोडिंग: वाक्यांश में शब्द दिखावे की संख्या गिना जाता है। एक-हॉट एन्कोडिंग या बाइनरी एन्कोडिंग: किसी वाक्यांश में किसी शब्द की उपस्थिति को नोट करता है, चाहे वह कितनी बार दिखाई दे। टर्म फ़्रीक्वेंसी-इनवर्स डॉक्यूमेंट फ़्रीक्वेंसी (TF-IDF) स्कोर: मैट्रिक्स में शब्दों की समग्र संख्या के सापेक्ष किसी डॉक्यूमेंट में शब्द कितनी बार दिखाई देता है, इसके सापेक्ष मापता है। (उच्च स्कोर वाले शब्द अधिक विशिष्ट हैं; कम स्कोर वाले शब्द कम जानकारीपूर्ण हैं।)

आप Keras से सीधे TF-IDF परिवर्तन का उपयोग कर सकते हैं। टोकनर एक विधि प्रदान करता है, ग्रंथों_तो_मेट्रिक्स, जो डिफ़ॉल्ट रूप से आपके पाठ को एन्कोड करता है और इसे एक मैट्रिक्स में बदल देता है जिसमें कॉलम आपके शब्द हैं, पंक्तियां आपके पाठ हैं, और मान एक पाठ के भीतर शब्द आवृत्ति हैं। यदि आप रूपांतरण मोड = 'tfidf' द्वारा परिवर्तन लागू करते हैं, तो परिवर्तन मैट्रिक्स मानों को भरने के लिए शब्द आवृत्तियों के बजाय TF-IDF का उपयोग करता है:

प्रिंट (np.round (tokenizer.texts_to_matrix (ग्रंथों,
मोड = 'tfidf'), 1))

ध्यान दें कि मैट्रिक्स प्रतिनिधित्व का उपयोग करके, चाहे आप द्विआधारी, आवृत्ति, या अधिक परिष्कृत TF-IDF का उपयोग करें, आपने वाक्यांश में मौजूद शब्द आदेश के किसी भी अर्थ को खो दिया है। प्रसंस्करण के दौरान, शब्द अलग-अलग स्तंभों में बिखरे हुए हैं, और तंत्रिका नेटवर्क वाक्यांश में शब्द क्रम का अनुमान नहीं लगा सकता है। इस कमी के कारण आप इसे बैग-ऑफ-वर्ड दृष्टिकोण कहते हैं।

बैग-ऑफ-शब्द दृष्टिकोण का उपयोग कई मशीन लर्निंग एल्गोरिदम में किया जाता है, अक्सर अच्छे से लेकर निष्पक्ष तक के परिणाम के साथ, और आप इसे घने वास्तुकला परतों का उपयोग करके एक तंत्रिका नेटवर्क पर लागू कर सकते हैं। N_grams (एनएलपी प्रसंस्करण परिवर्तन के रूप में पिछले पैराग्राफ में चर्चा) में एन्कोड किए गए शब्दों के रूपांतरण कुछ और जानकारी प्रदान करते हैं, लेकिन फिर से, आप शब्दों से संबंधित नहीं कर सकते।

RNN अनुक्रमों का ट्रैक रखते हैं, इसलिए वे अभी भी एक-हॉट एन्कोडिंग का उपयोग करते हैं, लेकिन वे पूरे वाक्यांश को एन्कोड नहीं करते हैं, बल्कि, वे व्यक्तिगत रूप से प्रत्येक टोकन को एनकोड करते हैं (जो एक शब्द, एक चरित्र या वर्णों का एक गुच्छा भी हो सकता है)। इस कारण से, वे वाक्यांश का प्रतिनिधित्व करने वाले अनुक्रमित अनुक्रम की अपेक्षा करते हैं:

प्रिंट (tokenizer.texts_to_sequences (ग्रंथों))

जैसा कि प्रत्येक वाक्यांश सूचकांक संख्याओं के अनुक्रम के रूप में एक तंत्रिका नेटवर्क इनपुट से गुजरता है, संख्या एक-गर्म एन्कोडेड वेक्टर में बदल जाती है। एक गर्म एन्कोडेड वैक्टर को एक समय में आरएनएन की परतों में खिलाया जाता है, जिससे उन्हें सीखना आसान हो जाता है। उदाहरण के लिए, यहाँ मैट्रिक्स में पहले वाक्यांश का परिवर्तन है:

[[0। 0. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0। 0. 0. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
[0। 0. 0. 0. 1. 0. 0. 0. 0. 0. 0. 0. 0.]
[0। 0. 0. 0. 0. 1. 0. 0. 0. 0. 0. 0. 0.]
[0। 0. 0. 0. 0. 0. 1. 0. 0. 0. 0. 0. 0.]
[0। 0. 0. 0. 0. 0. 1. 0. 0. 0. 0. 0. 0.]]

इस प्रतिनिधित्व में, आपको पाठ के प्रत्येक टुकड़े के लिए एक अलग मैट्रिक्स मिलता है। प्रत्येक मैट्रिक्स स्तंभों का उपयोग करके अलग-अलग पाठों को अलग-अलग शब्दों के रूप में प्रस्तुत करता है, लेकिन अब पंक्तियाँ शब्द उपस्थिति क्रम का प्रतिनिधित्व करती हैं। (पहली पंक्ति पहला शब्द है, दूसरी पंक्ति दूसरा शब्द है, और इसी तरह।)

इस मूल दृष्टिकोण का उपयोग करते हुए, डेटा वैज्ञानिक प्राकृतिक भाषा प्रसंस्करण के लिए गहन सीखने का उपयोग करने में सक्षम हैं।

  1. ProgrammingBig DataData ScienceNeural Networks और Deep Learning: तंत्रिका नेटवर्क विभेदीकरण

जॉन पॉल म्यूएलर, लुका म्यूएलर द्वारा

एक बार जब आप जानते हैं कि तंत्रिका नेटवर्क मूल रूप से कैसे काम करते हैं, तो आपको एक बेहतर समझ की आवश्यकता है कि गहरी सीखने में उनकी भूमिका को समझने के लिए उन्हें क्या फर्क पड़ता है। विभिन्न तंत्रिका नेटवर्क आर्किटेक्चर से परे, सक्रियण कार्यों, ऑप्टिमाइज़र और तंत्रिका नेटवर्क के सीखने की दर का विकल्प अंतर कर सकता है। मूल संचालन जानना पर्याप्त नहीं है क्योंकि आपको वे परिणाम नहीं मिलेंगे जो आप चाहते हैं। तंत्रिका नेटवर्क के हुड के नीचे देखने से आपको यह समझने में मदद मिलती है कि आप विशिष्ट समस्याओं को मॉडल करने के लिए अपने समाधान को कैसे ट्यून कर सकते हैं। इसके अलावा, तंत्रिका नेटवर्क बनाने के लिए उपयोग किए जाने वाले विभिन्न एल्गोरिदम को समझने से आपको कम प्रयास और कम समय में बेहतर परिणाम प्राप्त करने में मदद मिलेगी। निम्नलिखित लेख तंत्रिका नेटवर्क भेदभाव के तीन क्षेत्रों पर केंद्रित है।

अपने तंत्रिका नेटवर्क के लिए सही सक्रियण कार्य चुनना

एक सक्रियण फ़ंक्शन तंत्रिका नेटवर्क का एक हिस्सा है जो केवल न्यूरॉन के आग लगने पर परिभाषित करता है। इसे एक प्रकार का टिपिंग पॉइंट मानें: एक निश्चित मान के इनपुट के कारण न्यूरॉन में आग नहीं लग सकती क्योंकि यह पर्याप्त नहीं है, लेकिन बस कुछ और इनपुट से न्यूरॉन को आग लग सकती है। एक न्यूरॉन को सरल तरीके से इस प्रकार परिभाषित किया गया है:

y =। (वजन * इनपुट) + पूर्वाग्रह

आउटपुट, y, अनंत और - अनंत के बीच कोई भी मूल्य हो सकता है। समस्या है, तो, यह तय करना है कि वाई का मूल्य फायरिंग मूल्य क्या है, जो कि जहां एक सक्रियण फ़ंक्शन आपके तंत्रिका नेटवर्क में खेलने के लिए आता है। सक्रियण फ़ंक्शन निर्धारित करता है कि किसी विशेष न्यूरॉन या न्यूरॉन्स के समूह के लिए तंत्रिका नेटवर्क में एक निर्णय बिंदु को प्रतिबिंबित करने के लिए कौन सा मूल्य अधिक या कम है।

तंत्रिका नेटवर्क में अन्य सभी चीजों की तरह, आपके पास केवल एक सक्रियण फ़ंक्शन नहीं है। आप सक्रियण फ़ंक्शन का उपयोग करते हैं जो किसी विशेष परिदृश्य में सबसे अच्छा काम करता है। इसे ध्यान में रखते हुए, आप इन श्रेणियों में सक्रियण कार्यों को तोड़ सकते हैं:

  • चरण: एक कदम फ़ंक्शन (जिसे बाइनरी फ़ंक्शन भी कहा जाता है) सक्रिय करने या न करने के बारे में निर्णय लेने के लिए एक विशिष्ट सीमा पर निर्भर करता है। चरण फ़ंक्शन का उपयोग करने का मतलब है कि आप जानते हैं कि कौन से विशिष्ट मूल्य सक्रियण का कारण होगा। हालाँकि, स्टेप फ़ंक्शंस सीमित हैं कि वे या तो पूरी तरह से सक्रिय हैं या पूरी तरह से निष्क्रिय हैं-ग्रे शेड्स मौजूद नहीं हैं। नतीजतन, जब यह निर्धारित करने का प्रयास किया जाता है कि किसी दिए गए इनपुट के आधार पर कौन सा वर्ग सबसे सही है, तो एक चरण फ़ंक्शन ने काम नहीं किया। रैखिक: एक रैखिक फ़ंक्शन (A = cx) इनपुट के आधार पर सक्रियण का एक सीधी रेखा निर्धारण प्रदान करता है। एक रैखिक फ़ंक्शन का उपयोग करने से आपको यह निर्धारित करने में मदद मिलती है कि किस आउटपुट को सक्रिय करना है जिसके आधार पर आउटपुट सबसे सही है (जैसा कि भार द्वारा व्यक्त किया गया है)। हालांकि, रैखिक कार्य केवल एक परत के रूप में काम करते हैं। यदि आप कई रैखिक फ़ंक्शन परतों को स्टैक करने के लिए थे, तो आउटपुट एकल परत का उपयोग करने के समान होगा, जो तंत्रिका नेटवर्क का उपयोग करने के उद्देश्य को पराजित करता है। नतीजतन, एक रैखिक फ़ंक्शन एक परत के रूप में प्रकट हो सकता है, लेकिन कभी भी कई परतों के रूप में नहीं। सिग्मॉइड: एक सिग्मॉइड फ़ंक्शन (ए = 1/1 + ई-एक्स), जो अक्षर सी या एस की तरह एक वक्र का उत्पादन करता है, नॉनलाइनर है। यह कदम फ़ंक्शन की तरह दिखने से शुरू होता है, सिवाय इसके कि दो बिंदुओं के बीच का मूल्य वास्तव में एक वक्र पर मौजूद है, जिसका अर्थ है कि आप कई आउटपुट के साथ वर्गीकरण करने के लिए सिग्मॉइड फ़ंक्शन को ढेर कर सकते हैं। एक सिग्मॉइड फ़ंक्शन की सीमा 0 और 1 के बीच होती है, न कि - अनंत से + अनन्तता के रूप में एक रेखीय फ़ंक्शन के साथ, इसलिए सक्रियण एक विशिष्ट सीमा में बंधे होते हैं। हालांकि, सिग्मॉइड फ़ंक्शन गायब होने वाली ढाल नामक एक समस्या से ग्रस्त है, जिसका अर्थ है कि फ़ंक्शन एक निश्चित बिंदु के बाद सीखने से इनकार कर देता है क्योंकि प्रचारित त्रुटि शून्य तक सिकुड़ जाती है क्योंकि यह दूर की परतों तक पहुंचता है। तन: एक तन समारोह (A = (2/1 + e-2x) - 1) वास्तव में एक स्केल्ड सिग्मोइड फ़ंक्शन है। इसकी रेंज -1 से 1 तक है, इसलिए फिर से, यह न्यूरॉन्स को सक्रिय करने की एक सटीक विधि है। सिग्माइड फ़ंक्शंस और टैन फ़ंक्शन के बीच बड़ा अंतर यह है कि टैन फ़ंक्शन ग्रेडिएंट अधिक मजबूत है, जिसका अर्थ है कि छोटे अंतर का पता लगाना आसान है, वर्गीकरण को अधिक संवेदनशील बनाता है। सिग्मॉइड फ़ंक्शन की तरह, तनह लुप्त हो रही ढाल मुद्दों से ग्रस्त है। ReLU: एक ReLU, या रेक्टीफाइड रैखिक इकाइयाँ, फ़ंक्शन (A (x) = max (0, x)) 0 से अनंत की सीमा में एक आउटपुट प्रदान करता है, इसलिए यह रैखिक फ़ंक्शन के समान है सिवाय इसके कि यह भी nonlinear है, जिससे आपको सक्षम किया जा सके। ReLU फ़ंक्शन को स्टैक करने के लिए। ReLU का एक फायदा यह है कि इसे कम प्रसंस्करण शक्ति की आवश्यकता होती है क्योंकि कम न्यूरॉन्स आग। गतिविधि की कमी के रूप में न्यूरॉन लाइन के 0 भाग तक पहुंचता है इसका मतलब है कि देखने के लिए कम संभावित आउटपुट हैं। हालाँकि, यह लाभ तब भी नुकसान का कारण बन सकता है, जब आपको मरने वाली ReLU नामक समस्या हो। थोड़ी देर के बाद, तंत्रिका नेटवर्क वजन किसी भी लंबे समय तक वांछित प्रभाव प्रदान नहीं करता है (यह बस सीखना बंद कर देता है) और प्रभावित न्यूरॉन्स मर जाते हैं - वे किसी भी इनपुट का जवाब नहीं देते हैं।

इसके अलावा, ReLU के कुछ संस्करण हैं जिन पर आपको विचार करना चाहिए:

  • ELU (एक्सपोनेंशियल लीनियर यूनिट): इनपुट नकारात्मक होने पर ReLU से दूर। इस स्थिति में, आउटपुट शून्य पर नहीं जाते हैं, लेकिन इसके बजाय धीरे-धीरे तेजी से कम हो जाते हैं। PRELU (पैरामीट्रिक रेक्टीफाइड लाइनर यूनिट): इनपुट नकारात्मक होने पर ReLU से दूर होता है। इस मामले में, आउटपुट एक रैखिक फ़ंक्शन है जिसके मापदंडों को नेटवर्क के किसी भी अन्य पैरामीटर के समान तकनीक का उपयोग करके सीखा जाता है। LeakyReLU: PReLU के समान लेकिन रैखिक पक्ष के लिए पैरामीटर तय है।

अपने तंत्रिका नेटवर्क के लिए एक स्मार्ट ऑप्टिमाइज़र पर भरोसा करना

एक ऑप्टिमाइज़र यह सुनिश्चित करने के लिए कार्य करता है कि आपका तंत्रिका नेटवर्क तेज़ और सही तरीके से प्रदर्शन करता है जो भी समस्या आप तंत्रिका नेटवर्क के पूर्वाग्रह और भार को संशोधित करके हल करना चाहते हैं (अपने मशीन सीखने के मॉडल में सुधार के लिए इस लेख को और देखें)। यह पता चलता है कि एक एल्गोरिथ्म इस कार्य को करता है, लेकिन आपको अपेक्षित परिणाम प्राप्त करने के लिए सही एल्गोरिदम चुनना होगा। सभी तंत्रिका नेटवर्क परिदृश्यों के साथ, आपके पास कई वैकल्पिक एल्गोरिदम प्रकार हैं जिनमें से चुनना है:

स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD)

  • RMSProp AdaGrad AdaDelta AMSGrad एडम और इसके वेरिएंट, एडमैक्स और नादम

एक ऑप्टिमाइज़र एक उद्देश्य फ़ंक्शन (जिसे एक त्रुटि फ़ंक्शन के रूप में भी जाना जाता है) के आउटपुट को न्यूनतम या अधिकतम करके ई (एक्स) के रूप में दर्शाया गया है। यह फ़ंक्शन मॉडल के आंतरिक सीखने योग्य मापदंडों पर निर्भर है, जिसका उपयोग भविष्यवाणियों (एक्स) से लक्ष्य मान (Y) की गणना करने के लिए किया जाता है। दो आंतरिक सीखने योग्य पैरामीटर भार (डब्ल्यू) और पूर्वाग्रह (बी) हैं। विभिन्न एल्गोरिदम उद्देश्य उद्देश्य से निपटने के विभिन्न तरीके हैं।

आप आशावादी कार्यों को उस तरीके से वर्गीकृत कर सकते हैं, जिसमें वे व्युत्पन्न (डाई / डीएक्स) से निपटते हैं, जो कि x के संबंध में y का तात्कालिक परिवर्तन है। यहाँ व्युत्पन्न हैंडलिंग के दो स्तर हैं:

  • पहला आदेश: ये एल्गोरिदम मापदंडों के संबंध में ढाल मूल्यों के साथ उद्देश्य फ़ंक्शन को कम या अधिकतम करते हैं। दूसरा आदेश: ये एल्गोरिदम मापदंडों के संबंध में दूसरे क्रम के व्युत्पन्न मूल्यों का उपयोग करके ऑब्जेक्ट फ़ंक्शन को कम या अधिकतम करते हैं। द्वितीय-क्रम व्युत्पन्न यह संकेत दे सकता है कि क्या पहला-क्रम व्युत्पन्न बढ़ रहा है या घट रहा है, जो लाइन की वक्रता के बारे में जानकारी प्रदान करता है।

आप आमतौर पर न्यूरल नेटवर्क्स जैसे फर्स्ट-ऑर्डर ऑप्टिमाइज़ेशन तकनीकों का उपयोग करते हैं, जैसे कि ग्रेडिएंट डिसेंट, क्योंकि उन्हें कम कम्प्यूटेशन की आवश्यकता होती है और बड़े डेटासेट पर काम करते समय अपेक्षाकृत तेजी से एक अच्छे समाधान में परिवर्तित हो जाते हैं।

अपने तंत्रिका नेटवर्क में एक काम सीखने की दर निर्धारित करना

प्रत्येक आशावादी के पास आपके तंत्रिका नेटवर्क में ट्यून करने के लिए पूरी तरह से अलग पैरामीटर हैं। एक निरंतर सीखने की दर को ठीक कर रहा है, जो उस दर का प्रतिनिधित्व करता है जिस पर कोड नेटवर्क के भार (जैसे कि अल्फा पैरामीटर) को अपडेट करता है। सीखने का दर उस समय को प्रभावित कर सकता है जब तंत्रिका नेटवर्क एक अच्छा समाधान (युगों की संख्या) और परिणाम जानने के लिए लेता है। वास्तव में, यदि सीखने की दर बहुत कम है, तो आपका नेटवर्क सीखने के लिए हमेशा के लिए ले जाएगा। वजन को अद्यतन करते समय मूल्य बहुत अधिक अस्थिरता का कारण बनता है, और नेटवर्क कभी भी एक अच्छे समाधान के लिए नहीं जुटता है।

आपके तंत्रिका नेटवर्क को काम करने और प्रशिक्षित करने वाली सीखने की दर चुनना कठिन है क्योंकि आप 0.000001 से 100 तक के मानों को प्रभावी ढंग से आज़मा सकते हैं। सबसे अच्छा मूल्य ऑप्टिमाइज़र से ऑप्टिमाइज़र में भिन्न होता है। आपके द्वारा चुना गया मूल्य इस बात पर निर्भर करता है कि आपके पास किस प्रकार का डेटा है। थ्योरी से यहां थोड़ी मदद मिल सकती है; आपको अपने तंत्रिका नेटवर्क को सफलतापूर्वक प्रशिक्षित करने के लिए सबसे उपयुक्त सीखने की दर खोजने से पहले विभिन्न संयोजनों का परीक्षण करना होगा।

उनके आसपास के सभी गणित के बावजूद, तंत्रिका नेटवर्क को ट्यून करना और उन्हें सबसे अच्छा काम करना ज्यादातर आर्किटेक्चर और मापदंडों के विभिन्न संयोजनों की कोशिश में अनुभवजन्य प्रयासों का विषय है।

सीखने की दर का मूल्यांकन करने के लिए समय निकालें और अपने तंत्रिका नेटवर्क कार्यों को बेहतर तरीके से सुनिश्चित करने के लिए इसे उचित रूप से निर्धारित करें।

  1. ProgrammingBig DataData ScienceHow मशीन सीखने का काम करता है?

जॉन पॉल म्यूएलर, लुका म्यूएलर द्वारा

मशीन लर्निंग एआई का एक अनुप्रयोग है जो स्पष्ट रूप से ऐसा करने के लिए प्रोग्राम किए बिना अनुभव से स्वचालित रूप से सीख और सुधार कर सकता है। मशीन लर्निंग कभी डेटा की बढ़ती मात्रा का विश्लेषण करने के परिणामस्वरूप होती है, इसलिए बुनियादी एल्गोरिदम नहीं बदलते हैं, लेकिन कोड के आंतरिक भार और पूर्वाग्रह एक विशेष उत्तर का चयन करते हैं। बेशक, यह कुछ भी सरल नहीं है। निम्नलिखित लेख में मशीन सीखने के बारे में अधिक चर्चा की गई है ताकि आप एआई की दुनिया के भीतर इसके स्थान को समझ सकें और इससे गहन शिक्षा प्राप्त हो।

डेटा वैज्ञानिक अक्सर मशीन लर्निंग को एल्गोरिदम के रूप में लागू करने के लिए इस्तेमाल की जाने वाली तकनीक का उल्लेख करते हैं। एक एल्गोरिथ्म चरण-दर-चरण संचालन की एक श्रृंखला है, आमतौर पर कम्प्यूटेशन, जो परिभाषित समस्या को चरणों की एक सीमित संख्या में हल कर सकते हैं। मशीन लर्निंग में, एल्गोरिदम डेटा से सीखकर समस्या को हल करने के लिए परिमित कदमों की एक श्रृंखला का उपयोग करते हैं।

मशीन सीखना कैसे काम करता है, यह समझना

मशीन लर्निंग एल्गोरिदम सीखते हैं, लेकिन यह शब्द सीखने के लिए एक सटीक अर्थ खोजने के लिए अक्सर कठिन होता है क्योंकि मशीन लर्निंग एल्गोरिदम कैसे बनाया जाता है, इसके आधार पर डेटा से जानकारी निकालने के लिए अलग-अलग तरीके मौजूद हैं। आम तौर पर, सीखने की प्रक्रिया में बड़ी मात्रा में डेटा की आवश्यकता होती है जो किसी विशेष इनपुट के लिए अपेक्षित प्रतिक्रिया प्रदान करता है। प्रत्येक इनपुट / प्रतिक्रिया जोड़ी एक उदाहरण का प्रतिनिधित्व करती है और अधिक उदाहरण एल्गोरिदम को सीखना आसान बनाते हैं। ऐसा इसलिए है क्योंकि प्रत्येक इनपुट / प्रतिक्रिया जोड़ी एक लाइन, क्लस्टर, या अन्य सांख्यिकीय प्रतिनिधित्व के भीतर फिट होती है, जो एक समस्या डोमेन को परिभाषित करता है।

मशीन लर्निंग एक मॉडल को अनुकूलित करने का कार्य है, जो डेटा का गणितीय, संक्षेप में प्रस्तुतिकरण है, जैसे कि यह अनुमान लगा सकता है या अन्यथा एक उपयुक्त प्रतिक्रिया निर्धारित कर सकता है, जब उसे इनपुट मिलता है कि यह पहले नहीं देखा गया है। मॉडल जितनी अधिक सटीक प्रतिक्रिया के साथ आ सकता है, उतना ही बेहतर मॉडल प्रदान किए गए डेटा इनपुट से सीखा है। एक एल्गोरिथ्म मॉडल को डेटा में फिट करता है, और यह फिटिंग प्रक्रिया प्रशिक्षण है।

नीचे दी गई छवि एक बहुत ही सरल ग्राफ दिखाती है जो मशीन सीखने में क्या होता है अनुकरण करता है। इस मामले में, 1, 4, 5, 8, और 10 के इनपुट मूल्यों के साथ शुरू होता है और उन्हें 7, 13, 15, 21 और 25 के अपने इसी आउटपुट के साथ जोड़ते हुए, मशीन लर्निंग एल्गोरिदम निर्धारित करता है कि प्रतिनिधित्व करने का सबसे अच्छा तरीका इनपुट और आउटपुट के बीच का संबंध सूत्र 2x + 5 है। यह सूत्र इनपुट डेटा को संसाधित करने के लिए उपयोग किए जाने वाले मॉडल को परिभाषित करता है - यहां तक ​​कि नया, अनदेखा डेटा भी - इसी आउटपुट मूल्य की गणना करता है। ट्रेंड लाइन (मॉडल) इस एल्गोरिथम द्वारा निर्मित पैटर्न को दिखाता है, जैसे कि 3 का एक नया इनपुट 11 का अनुमानित आउटपुट देगा। भले ही अधिकांश मशीन लर्निंग परिदृश्य इससे कहीं अधिक जटिल हैं (और एल्गोरिथ्म नहीं बना सकता है) नियम जो प्रत्येक इनपुट को एक सटीक आउटपुट पर सटीक रूप से मैप करते हैं), उदाहरण आपको देता है कि क्या होता है का एक मूल विचार प्रदान करता है। व्यक्तिगत रूप से 3 के इनपुट के लिए एक प्रतिक्रिया कार्यक्रम करने के बजाय, मॉडल इनपुट / प्रतिक्रिया जोड़े के आधार पर सही प्रतिक्रिया की गणना कर सकता है जो उसने सीखा है।

बुनियादी मशीन सीखने परिदृश्य

यह समझना कि मशीन सीखना शुद्ध गणित है

मशीन लर्निंग के पीछे केंद्रीय विचार यह है कि आप एक गणितीय फ़ंक्शन का उपयोग करके वास्तविकता का प्रतिनिधित्व कर सकते हैं जिसे एल्गोरिथम पहले से नहीं जानता है, लेकिन जो कुछ डेटा (हमेशा युग्मित इनपुट और आउटपुट के रूप में) को देखने के बाद अनुमान लगा सकता है। आप वास्तविकता और इसके सभी चुनौतीपूर्ण जटिलता को अज्ञात गणितीय कार्यों के संदर्भ में व्यक्त कर सकते हैं जो मशीन लर्निंग एल्गोरिदम खोजते हैं और अपने आंतरिक गणितीय कार्य के संशोधन के रूप में उपलब्ध करते हैं। यही है, प्रत्येक मशीन लर्निंग एल्गोरिदम को एक परिवर्तनीय गणित फ़ंक्शन के आसपास बनाया गया है। फ़ंक्शन को संशोधित किया जा सकता है क्योंकि इसमें ऐसे उद्देश्य के लिए आंतरिक पैरामीटर या भार हैं। नतीजतन, एल्गोरिदम फ़ंक्शन को डेटा से ली गई विशिष्ट जानकारी को दर्जी कर सकता है। यह अवधारणा सभी प्रकार के मशीन लर्निंग एल्गोरिदम के लिए मुख्य विचार है।

मशीन लर्निंग में सीखना विशुद्ध रूप से गणितीय है, और यह कुछ आउटपुट को कुछ आउटपुट के साथ जोड़कर समाप्त होता है। यह समझने के लिए कुछ भी नहीं है कि एल्गोरिथ्म ने क्या सीखा है। (जब मानव डेटा का विश्लेषण करते हैं, तो हम कुछ हद तक डेटा की समझ का निर्माण करते हैं।) सीखने की प्रक्रिया को अक्सर प्रशिक्षण के रूप में वर्णित किया जाता है क्योंकि एल्गोरिथ्म को प्रस्तुत किए गए हर प्रश्न (इनपुट) के सही उत्तर (आउटपुट) से मिलान करने के लिए प्रशिक्षित किया जाता है। (जॉन पॉल मुलर और लुका मासारोन द्वारा मशीन लर्निंग फॉर डमीज़, वर्णन करता है कि यह प्रक्रिया कैसे काम करती है, आदि)।

जानबूझकर समझ की कमी और गणितीय प्रक्रिया होने के बावजूद, मशीन सीखना कई कार्यों में उपयोगी साबित हो सकता है। यह कई एआई अनुप्रयोगों को सही डेटा का उपयोग करके सीखने के दौरान एक निश्चित संदर्भ दिए गए तर्कसंगत सोच की नकल करने की शक्ति प्रदान करता है।

मशीन लर्निंग के लिए अलग रणनीति

मशीन लर्निंग डेटा से सीखने के लिए कई अलग-अलग तरीके प्रदान करता है। आपके अपेक्षित आउटपुट और आपके द्वारा प्रदान किए गए इनपुट के प्रकार के आधार पर, आप लर्निंग स्टाइल द्वारा एल्गोरिदम को वर्गीकृत कर सकते हैं। आपके द्वारा चुनी गई शैली आपके डेटा के प्रकार और आपके द्वारा अपेक्षित परिणाम पर निर्भर करती है। एल्गोरिदम बनाने के लिए इस्तेमाल की जाने वाली चार सीखने की शैलियाँ हैं:

  • सुपरवाइज्ड मशीन लर्निंग अनसुनी मशीन लर्निंग स्व-पर्यवेक्षित मशीन लर्निंग सुदृढीकरण मशीन सीखने

निम्नलिखित खंड इन मशीन सीखने की शैलियों पर चर्चा करते हैं।

सुपरवाइज्ड मशीन लर्निंग

जब पर्यवेक्षित मशीन लर्निंग एल्गोरिदम के साथ काम करते हैं, तो इनपुट डेटा लेबल होता है और एक विशिष्ट अपेक्षित परिणाम होता है। आप एक मॉडल बनाने के लिए प्रशिक्षण का उपयोग करते हैं जो एक एल्गोरिथ्म डेटा के लिए फिट बैठता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, भविष्यवाणियाँ या वर्गीकरण अधिक सटीक होते जाते हैं। यहाँ पर्यवेक्षित मशीन लर्निंग एल्गोरिदम के कुछ उदाहरण दिए गए हैं:

  • रैखिक या लॉजिस्टिक प्रतिगमन वेक्टर मशीनों का समर्थन (SVMs) नावे बे K- निकटतम पड़ोसी (KNN)

आपको प्रतिगमन समस्याओं के बीच अंतर करने की आवश्यकता है, जिसका लक्ष्य एक संख्यात्मक मूल्य है, और वर्गीकरण समस्याएं हैं, जिसका लक्ष्य एक गुणात्मक चर है, जैसे कि कक्षा या टैग। एक प्रतिगमन कार्य बोस्टन क्षेत्र में घरों की औसत कीमतों को निर्धारित कर सकता है, जबकि एक वर्गीकरण कार्य का एक उदाहरण उनके सीपाल और पंखुड़ी के उपायों के आधार पर आईरिस के फूलों के बीच भेद कर रहा है। यहाँ पर्यवेक्षित मशीन लर्निंग के कुछ उदाहरण दिए गए हैं:

अनसुनी मशीन लर्निंग

अनुपयोगी मशीन लर्निंग एल्गोरिदम के साथ काम करते समय, इनपुट डेटा को लेबल नहीं किया जाता है और परिणाम ज्ञात नहीं होते हैं। इस मामले में, डेटा में संरचनाओं का विश्लेषण आवश्यक मॉडल का उत्पादन करता है। संरचनात्मक विश्लेषण में कई लक्ष्य हो सकते हैं, जैसे कि अतिरेक को कम करना या समान डेटा को समूहित करना। अनुपयोगी मशीन सीखने के उदाहरण हैं

  • क्लस्टरिंग असंगति का पता लगाये तंत्रिका जाल

स्व-पर्यवेक्षित मशीन लर्निंग

आप ऑनलाइन वर्णित सभी प्रकार की सीख लेंगे, लेकिन स्व-पर्यवेक्षित शिक्षा अपनी श्रेणी में है। कुछ लोग इसे स्वायत्त पर्यवेक्षित अधिगम के रूप में वर्णित करते हैं, जो आपको पर्यवेक्षित अधिगम के लाभ देता है, लेकिन डेटा को लेबल करने के लिए आवश्यक सभी कार्यों के बिना।

सैद्धांतिक रूप से, स्वयं-पर्यवेक्षित अन्य प्रकार के सीखने के मुद्दों को हल कर सकता है जो आप वर्तमान में उपयोग कर सकते हैं। निम्न सूची अन्य प्रकार के सीखने के साथ स्व-पर्यवेक्षित सीखने की तुलना करती है जो लोग उपयोग करते हैं।

  • सुपरवाइज्ड मशीन लर्निंग: सेल्फ-सुपरवाइज्ड लर्निंग से जुड़े शिक्षण का सबसे करीबी रूप पर्यवेक्षित मशीन लर्निंग है क्योंकि दोनों तरह की लर्निंग इनपुट्स और लेबल किए गए आउटपुट के जोड़े पर निर्भर करती हैं। इसके अलावा, सीखने के दोनों रूप प्रतिगमन और वर्गीकरण से जुड़े हैं। हालाँकि, अंतर यह है कि स्व-पर्यवेक्षित शिक्षण को आउटपुट लेबल करने के लिए किसी व्यक्ति की आवश्यकता नहीं होती है। इसके बजाय, यह आउटपुट लेबल को प्रासंगिक रूप से खोजने के लिए इनपुट डेटा के भीतर एम्बेडेड सहसंबंध, मेटाडेटा, या डोमेन ज्ञान पर निर्भर करता है। Unsupervised मशीन लर्निंग: unsupervised मशीन लर्निंग की तरह, सेल्फ-सुपरवाइज्ड लर्निंग को डेटा लेबलिंग की आवश्यकता नहीं होती है। हालाँकि, बिना पढ़ी हुई सीख डेटा संरचना पर केंद्रित है - यानी, डेटा के भीतर पैटर्न। इसलिए, आप क्लस्टरिंग, समूहीकरण, आयामीता में कमी, सिफारिश इंजन, या इस तरह के कार्यों के लिए स्व-पर्यवेक्षित सीखने का उपयोग नहीं करते हैं। सेमी-सुपरवाइज्ड मशीन लर्निंग: एक सेमी-सुपरवाइज्ड लर्निंग सॉल्यूशन एक अनप्रूव्ड लर्निंग सॉल्यूशन की तरह काम करता है, जिसमें यह डेटा पैटर्न की तलाश करता है। हालाँकि, अर्ध-पर्यवेक्षित शिक्षण, लेबल और अनलिस्टेड डेटा के मिश्रण पर निर्भर करता है ताकि सख्ती से अनलेब किए गए डेटा का उपयोग करके अपने कार्यों को तेज़ी से पूरा किया जा सके। स्व-पर्यवेक्षित शिक्षण को कभी भी लेबल की आवश्यकता नहीं होती है और अपने कार्य को करने के लिए संदर्भ का उपयोग करता है, इसलिए यह वास्तव में आपूर्ति करते समय लेबल की उपेक्षा करेगा।

सुदृढीकरण मशीन सीखने

आप सुदृढीकरण सीखने को स्व-पर्यवेक्षित सीखने के विस्तार के रूप में देख सकते हैं क्योंकि दोनों रूप समान लक्ष्यों को प्राप्त करने के लिए अप्रकाशित डेटा के साथ सीखने के लिए एक ही दृष्टिकोण का उपयोग करते हैं। हालांकि, सुदृढीकरण सीखने मिश्रण में एक प्रतिक्रिया लूप जोड़ता है। जब एक सुदृढीकरण सीखने का समाधान एक कार्य को सही ढंग से करता है, तो इसे सकारात्मक प्रतिक्रिया मिलती है, जो लक्ष्य इनपुट और आउटपुट को जोड़ने में मॉडल को मजबूत करती है। इसी तरह, यह गलत समाधान के लिए नकारात्मक प्रतिक्रिया प्राप्त कर सकता है। कुछ मामलों में, सिस्टम पुरस्कार के सिस्टम पर आधारित कुत्ते के साथ काम करने के समान ही काम करता है।

मशीन लर्निंग के लिए डेटा का प्रशिक्षण, सत्यापन और परीक्षण करना

मशीन लर्निंग एक प्रक्रिया है, जैसे कंप्यूटर की दुनिया में सब कुछ एक प्रक्रिया है। एक सफल मशीन लर्निंग सॉल्यूशन बनाने के लिए, आप इन कार्यों को आवश्यकतानुसार करते हैं, और जितनी बार आवश्यकता होती है:

  • प्रशिक्षण: मशीन सीखना तब शुरू होता है जब आप किसी विशिष्ट एल्गोरिथ्म का उपयोग करके विशिष्ट डेटा के खिलाफ एक मॉडल को प्रशिक्षित करते हैं। प्रशिक्षण डेटा किसी अन्य डेटा से अलग है, लेकिन यह भी प्रतिनिधि होना चाहिए। यदि प्रशिक्षण डेटा वास्तव में समस्या डोमेन का प्रतिनिधित्व नहीं करता है, तो परिणामस्वरूप मॉडल उपयोगी परिणाम प्रदान नहीं कर सकता है। प्रशिक्षण प्रक्रिया के दौरान, आप देखते हैं कि मॉडल प्रशिक्षण डेटा के प्रति कैसे प्रतिक्रिया करता है और आवश्यकतानुसार एल्गोरिदम का उपयोग करता है और जिस तरीके से आप एल्गोरिथ्म में इनपुट करने से पहले डेटा की मालिश करते हैं। मान्यकरण: कई डेटासेट एक प्रशिक्षण भाग और एक परीक्षण भाग में विभाजित करने के लिए पर्याप्त हैं। आप पहले प्रशिक्षण डेटा का उपयोग करके मॉडल को प्रशिक्षित करते हैं, और फिर आप परीक्षण डेटा का उपयोग करके इसे सत्यापित करते हैं। बेशक, परीक्षण डेटा को फिर से समस्या डोमेन का सही प्रतिनिधित्व करना चाहिए। यह प्रशिक्षण डेटा के साथ सांख्यिकीय रूप से संगत होना चाहिए। अन्यथा, आपको वे परिणाम नहीं दिखेंगे जो दर्शाते हैं कि मॉडल वास्तव में कैसे काम करेगा। परीक्षण: एक मॉडल प्रशिक्षित और मान्य होने के बाद, आपको वास्तविक दुनिया डेटा का उपयोग करके अभी भी इसका परीक्षण करने की आवश्यकता है। यह कदम महत्वपूर्ण है क्योंकि आपको यह सत्यापित करने की आवश्यकता है कि मॉडल वास्तव में एक बड़े डेटासेट पर काम करेगा जिसे आपने प्रशिक्षण या परीक्षण के लिए उपयोग नहीं किया है। प्रशिक्षण और सत्यापन चरणों के साथ, इस चरण के दौरान आपके द्वारा उपयोग किए जाने वाले किसी भी डेटा को उस समस्या डोमेन को प्रतिबिंबित करना चाहिए जिसे आप मशीन लर्निंग मॉडल का उपयोग करके इंटरैक्ट करना चाहते हैं।

प्रशिक्षण उन इनपुटों से अपेक्षित वांछित इनपुट और आउटपुट के सभी प्रकार के उदाहरणों के साथ एक मशीन लर्निंग एल्गोरिदम प्रदान करता है। मशीन लर्निंग एल्गोरिथ्म तब इस इनपुट का उपयोग गणित फ़ंक्शन बनाने के लिए करता है। दूसरे शब्दों में, प्रशिक्षण वह प्रक्रिया है जिसके तहत एल्गोरिथ्म यह पता लगाता है कि डेटा को फ़ंक्शन को कैसे दर्ज़ किया जाए। इस तरह के फ़ंक्शन का आउटपुट आम तौर पर एक निश्चित आउटपुट की संभावना या आउटपुट के रूप में केवल एक संख्यात्मक मान होता है।

प्रशिक्षण प्रक्रिया में क्या होता है, इसका अंदाजा लगाने के लिए, वस्तुओं, जानवरों और लोगों से पेड़ों को अलग करना सीखने वाले बच्चे की कल्पना करें। इससे पहले कि बच्चा एक स्वतंत्र फैशन में ऐसा कर सके, एक शिक्षक बच्चे को एक निश्चित संख्या में पेड़ की छवियों के साथ प्रस्तुत करता है, जो उन सभी तथ्यों के साथ पूरा होता है जो दुनिया के अन्य वस्तुओं से पेड़ को अलग पहचान देते हैं। इस तरह के तथ्य विशेषताएं हो सकते हैं, जैसे कि पेड़ की सामग्री (लकड़ी), उसके हिस्से (ट्रंक, शाखाएं, पत्ते या सुई, जड़ें), और स्थान (मिट्टी में लगाए गए)। बच्चा इस बात की समझ बनाता है कि एक पेड़ कैसा दिखता है, जो पेड़ की विशेषताओं को अन्य, विभिन्न उदाहरणों की छवियों के साथ प्रदर्शित करता है, जैसे कि फर्नीचर के टुकड़े जो लकड़ी से बने होते हैं, लेकिन एक पेड़ के साथ अन्य विशेषताओं को साझा नहीं करते हैं।

एक मशीन लर्निंग क्लासिफायर एक ही काम करता है। एक क्लासिफायरियर एल्गोरिथ्म आपको आउटपुट के रूप में एक क्लास प्रदान करता है। उदाहरण के लिए, यह आपको बता सकता है कि आपके द्वारा इनपुट के रूप में प्रदान की गई तस्वीर ट्री क्लास (और जानवर या व्यक्ति नहीं) से मेल खाती है। ऐसा करने के लिए, यह एक गणितीय सूत्रीकरण बनाकर अपनी संज्ञानात्मक क्षमताओं का निर्माण करता है जिसमें सभी दी गई इनपुट विशेषताओं को एक तरह से शामिल किया जाता है जो एक ऐसा फ़ंक्शन बनाता है जो एक वर्ग को दूसरे से अलग कर सकता है।

मशीन सीखने में सामान्यीकरण की तलाश है

उपयोगी होने के लिए, मशीन लर्निंग मॉडल को प्रदान किए गए डेटा के सामान्य दृश्य का प्रतिनिधित्व करना चाहिए। यदि मॉडल डेटा का पर्याप्त रूप से पालन नहीं करता है, तो यह कमतर है - अर्थात, प्रशिक्षण की कमी के कारण पर्याप्त रूप से फिट नहीं किया गया है। दूसरी ओर, यदि मॉडल डेटा का बहुत निकटता से अनुसरण करता है, तो यह बहुत अधिक प्रशिक्षण के कारण एक दस्ताने की तरह डेटा बिंदुओं का पालन करते हुए, यह बहुत अधिक है। ओवरफिटिंग और ओवरफिटिंग दोनों ही समस्याएं पैदा करती हैं क्योंकि मॉडल उपयोगी परिणाम उत्पन्न करने के लिए पर्याप्त सामान्य नहीं है। अज्ञात इनपुट डेटा को देखते हुए, परिणामी भविष्यवाणियों या वर्गीकरण में बड़े त्रुटि मान शामिल होंगे। केवल जब मॉडल सही ढंग से डेटा के लिए फिट है, तो यह एक उचित त्रुटि सीमा के भीतर परिणाम प्रदान करेगा।

मशीन लर्निंग का उपयोग करने के लिए निर्णय लेने में सामान्यीकरण का यह पूरा मुद्दा भी महत्वपूर्ण है। एक मशीन लर्निंग सॉल्यूशन हमेशा विशिष्ट उदाहरणों से समान प्रकार के सामान्य उदाहरणों तक सामान्यीकरण करता है। यह कार्य कैसे करता है यह मशीन लर्निंग समाधान के उन्मुखीकरण और इसे काम करने के लिए उपयोग किए जाने वाले एल्गोरिदम पर निर्भर करता है।

मशीन लर्निंग और डीप लर्निंग तकनीकों का उपयोग करने वाले डेटा वैज्ञानिकों और अन्य लोगों के लिए समस्या यह है कि कंप्यूटर आपको एक संकेत नहीं दिखाता है जो यह बताता है कि मॉडल सही ढंग से डेटा फिट करता है। अक्सर, यह तय करना मानव अंतर्ज्ञान की बात है कि जब एक मॉडल को एक सामान्यीकृत परिणाम प्रदान करने के लिए पर्याप्त प्रशिक्षित किया जाता है। इसके अलावा, समाधान निर्माता को मौजूद हजारों में से सही एल्गोरिदम चुनना होगा। मॉडल को डेटा में फिट करने के लिए सही एल्गोरिदम के बिना, परिणाम निराशाजनक होंगे। चयन प्रक्रिया को काम करने के लिए, डेटा वैज्ञानिक के पास होना चाहिए

  • उपलब्ध मशीन लर्निंग एल्गोरिदम का एक मजबूत ज्ञान प्रश्न में डेटा के प्रकार से निपटने का अनुभव वांछित आउटपुट की समझ विभिन्न मशीन लर्निंग एल्गोरिदम के साथ प्रयोग करने की इच्छा

अंतिम आवश्यकता सबसे महत्वपूर्ण है क्योंकि कोई कठिन और तेज नियम नहीं हैं जो कहते हैं कि एक विशेष एल्गोरिथ्म हर संभव स्थिति में हर तरह के डेटा के साथ काम करेगा। यदि ऐसा होता तो इतने सारे एल्गोरिदम उपलब्ध नहीं होते। सर्वश्रेष्ठ एल्गोरिथ्म खोजने के लिए, डेटा वैज्ञानिक अक्सर कई एल्गोरिदम के साथ प्रयोग करने और परिणामों की तुलना करने का संकल्प करता है।

पूर्वाग्रह की सीमा को जानना

आपके कंप्यूटर में कोई पूर्वाग्रह नहीं है। इसका विश्व प्रभुत्व या अपने जीवन को कठिन बनाने का कोई लक्ष्य नहीं है। वास्तव में, कंप्यूटर में किसी भी प्रकार के लक्ष्य नहीं होते हैं। केवल एक चीज जो कंप्यूटर प्रदान कर सकता है वह इनपुट और प्रोसेसिंग तकनीक के आधार पर आउटपुट है। हालाँकि, पूर्वाग्रह अभी भी कंप्यूटर में मिलता है और कई तरीकों से परिणाम प्रदान करता है:

  • डेटा: डेटा में mistruths या केवल गलत ब्योरा हो सकता है। उदाहरण के लिए, यदि कोई विशेष मान डेटा में दो बार दिखाई देता है जैसा कि वास्तविक दुनिया में होता है, मशीन लर्निंग सॉल्यूशन से आउटपुट दागी जाती है, भले ही डेटा स्वयं सही हो। एल्गोरिथम: गलत एल्गोरिथ्म का उपयोग करने से मशीन लर्निंग समाधान मॉडल को गलत तरीके से डेटा में फिट करने का कारण होगा। प्रशिक्षण: बहुत अधिक या बहुत कम प्रशिक्षण बदलता है कि मॉडल डेटा को कैसे फिट करता है और इसलिए परिणाम। मानव व्याख्या: जब कोई मशीन लर्निंग सॉल्यूशन एक सही परिणाम देता है, तो उस आउटपुट का उपयोग करने वाला मानव इसका गलत अर्थ लगा सकता है। जब मशीन लर्निंग सॉल्यूशन प्रत्याशित रूप से काम करने में विफल रहता है, तो परिणाम हर बिट के रूप में खराब होते हैं, और शायद इससे भी बदतर होते हैं।

आपको पूर्वाग्रह के प्रभावों पर विचार करने की आवश्यकता है, चाहे आप किसी भी प्रकार का मशीन लर्निंग सॉल्यूशन बनाएं। यह जानना महत्वपूर्ण है कि ये पक्षपात आपके मशीन लर्निंग सॉल्यूशन पर किस प्रकार की सीमाएँ निर्धारित करते हैं और क्या यह घोल उपयोगी आउटपुट प्रदान करने के लिए पर्याप्त विश्वसनीय है।

मशीन सीखने के लिए मॉडल की जटिलता को ध्यान में रखते हुए

मशीन लर्निंग की बात करें तो सिंपल हमेशा बेहतर होता है। कई अलग-अलग एल्गोरिदम आपको अपने मशीन लर्निंग समाधान से उपयोगी आउटपुट प्रदान कर सकते हैं, लेकिन उपयोग करने के लिए सबसे अच्छा एल्गोरिथ्म वह है जो समझने में सबसे आसान है और सबसे सरल परिणाम प्रदान करता है। ऑकैम के रेजर को आमतौर पर पालन करने के लिए सबसे अच्छी रणनीति के रूप में मान्यता प्राप्त है। असल में, ओकाम का रेजर आपको सबसे सरल समाधान का उपयोग करने के लिए कहता है जो एक विशेष समस्या का समाधान करेगा। जैसे-जैसे जटिलता बढ़ती है, वैसे-वैसे त्रुटियों की संभावना बढ़ती जाती है।

एल्गोरिथ्म का चयन करते समय सबसे महत्वपूर्ण मार्गदर्शक कारक सादगी होना चाहिए।