data-science-for-beginners

20 KiB

Raw Blame History

क्लाउडमा डाटा साइंस को परिचय


क्लाउड मा डाटा साइंस: परिचय - [@nitya](https://twitter.com/nitya) द्वारा स्केचनोट

यो पाठमा ,तपाईले क्लाउडको मूलभूत सिद्धांत सिक्नहुनेछ,अनि देख्नुहुनेछ कि तपाईले डाटा साइंस परियोजना चलाउनका लागि क्लाउड सेवाको उपयोग कत दिलचस्प हुन सक्छ । त्यसपछि हामी क्लाउडमा चल्ने वाला डाटा साइंस प्रोजेक्टको केही उदाहरण हेर्नेछौ।

प्री-लेक्चर क्विज़

क्लाउड के हो?

क्लाउड, या क्लाउड कंप्यूटिंग, इंटरनेटमा हुने एक बुनियादी ढांचामा होस्ट हुन पे-एज़-यू-गो कंप्यूटिंग सेवाको एक विस्तृत श्रृंखला को डिलीवरी हो। सेवाहरुमा स्टोरेज, डेटाबेस, नेटवर्किंग, सॉफ्टवेयर, एनालिटिक्स र इंटेलिजेंट सर्विसेज जस्तो उदहारनहरु शामिल छन्।

हामी पब्लिक, प्राइवेट र हाइब्रिड क्लाउडमा यसरी अंतर ल्याउन सक्छौ :

पब्लिक क्लाउड: एउटा पब्लिक क्लाउड को स्वामित्व र संचालन तेस्रो पक्षको क्लाउड सेवा प्रदातासंग हुन्छ जुन इंटरनेटबाट कंप्यूटिंग साधनबाट जनतासंग पुग्छ।
प्राइवेट क्लाउड: एउटा नै व्यवसाय या संगठबाट विशेष रूपमा उपयोग हुने क्लाउड कंप्यूटिंग साधनलाई संदर्भित गर्छ, जहा सेवा र निजी नेटवर्कमा बनाइएको इंफ्रास्ट्रक्चरहरु हुन्छ।
हाइब्रिड क्लाउड: हाइब्रिड क्लाउड एउटा यस्तो सिस्टम हो जसले पब्लिक र प्राइवेट क्लाउडलाइ जोड्छ । उपयोगकर्ताले ऑन-प्रिमाइसेस डेटासेंटर छान्छन्, जहा डाटा र एप्लिकेशनको एक या अधिक पब्लिक क्लाउडमा पनि चल्न सक्छन् ।

अधिकांश क्लाउड कंप्यूटिंग सेवाए तीन श्रेणिमा विभाजित छ: सर्विसको रूपमा इंफ्रास्ट्रक्चर (IaaS), सर्विसको रूपमा प्लेटफॉर्म (PaaS) र सर्विसको रूपमा सॉफ्टवेयर (SaaS)।

सर्विसको रूपमा इंफ्रास्ट्रक्चर (IaaS): उपयोगकर्ताले आईटी इन्फ्रास्ट्रक्चर किराएको रुपमा लिन्छन् ः सर्वर और वर्चुअल मशीन (VMs), स्टोरेज, नेटवर्क, ऑपरेटिंग सिस्टम।
सर्विसको रूपमा प्लेटफॉर्म (PaaS): उपयोगकर्ताले सॉफ्टवेयर ऍप्लिकेशन्सको विकास, परीक्षण, वितरण र मैनेज गर्नका लागि एक वातावरण किराएमा लिन्छन् । उपयोगकर्ताको विकास को लागि आवश्यक सर्वरको इंफ्रास्ट्रक्चर, स्टोरेज, नेटवर्क र डाटाबेस को स्थापना गर्ने या प्रबन्ध गर्नको बारेमा चिंता गर्ने आवश्यकता हुन्न।
सर्विसको रूपमा सॉफ्टवेयर (SaaS): उपयोगकर्ताहरुलाई प्रायजसो माग र सदस्यता को आधारमा इंटरनेटमा सॉफ़्टवेयर एप्लिकेशनसम्म पहुंच प्राप्त हुन्छ ह। उपयोगकर्ताहरुको सॉफ़्टवेयर एप्लिकेशन को होस्टिंग र मैनेजिंग, बुनियादी इंफ्रास्ट्रक्चर या मेंटेनेंस, जस्तै सॉफ़्टवेयर अपग्रेड र सुरक्षा पैचिंगको बारे मा चिंता गर्ने आवश्यकता हुन्न।

केही ठूलो क्लाउड प्रदाताको उदहारन ऐमज़ॉन वेब सर्विसेस, गूगल क्लाउड प्लेटफॉर्म और माइक्रोसॉफ्ट हो। ## डाटा साइंसको लागि क्लाउडनै किन?

डेवलपर र आईटी पेशेवर निम्न कारणले क्लाउडमा काम गर्न छान्छन्:

नवाचार: क्लाउड प्रदाताद्वारा बनाएको नवीन सेवाबाट सीधै आफ्नो ऐप्समा एकीकृत गरेर आफ्नो एप्लिकेशनलाई सशक्त बनाउन सकिन्छ।
लचक: तपाई केवल त्यो सेवाको लागि भुक्तान गर्नु हुन्छ जसको तपाईलाई आवश्यकता छ र त्यो सेवालाई एक विस्तृत श्रृंखलाबाट छान्न्न सक्नुहुनेछ । तपाई आफ्नो जरूरतको अनुसार आफ्नो सेवाको भुक्तान गर्नसक्नुहुनेछ।
बजेट: तपाईको हार्डवेयर र सॉफ़्टवेयर किन्ने, साइट र डेटासेंटर स्थापित गर्न र चलाउनका लागि प्रारंभिक निवेश गर्ने आवश्यकता छैन र तपाई केवल त्यसैको भुक्तान गर्नेुहुनेछ हैं जसको उपयोग गर्नुहुनेछ ।
अनुमापकता: तपाई संसाधन तपाईको परियोजनाको ज़रूरतको अनुसार बडाउन सक्नुहुनेछ, जसको अर्थ यो हो कि तपाई ऐप्स कुनै पनि समयमा बाहरी कारकहरुलाई अपनाएर, कम या धेरै कंप्यूटिंग शक्ति, स्टोरेज र बैंडविड्थको उपयोग गर्नसक्नुहुनेछ।
उत्पादकता: तपाई त्यो कार्यमा समय बिताउनको साटो , जसलाई कुनै अर्को व्यक्ति प्रबंधित गर्न सक्छ, जैसे डेटासेंटरको प्रबंध गर्नु , तपाई व्यवसायमा ध्यान केंद्रित गर्न सक्छ।
विश्वसनीयता: क्लाउड कम्प्यूटिंग तपाईको डाटाको लगातार बैकअप लिनलाई धेरै तरीका प्रदान गर्न सक्छ र तपाई संकटको समयमा पनि आफ्नो व्यवसाय र सेवालाई चालू राख्नका लागि आपदा वसूली योजना स्थापित गर्न सक्नुहुनेछ ।
सुरक्षा: तपाई त्यो नीति र नियंत्रणबाट लाभ उठाउन सक्नुहुनेछ जसले तपाईको प्रोजेक्टको सुरक्षालाई मजबूत बनाउछ।

यिनिहरु केही सबैभन्दा सामान्य कारण हो जसले लोग क्लाउड सेवाको उपयोग गर्न छान्नुहुनेछ।हामीले यो कुराको राम्ररी बुझ्यौ ,आउनुहोस् डाटासँग काम गर्ने डाटा वैज्ञानिकों र डेवलपर्सको कामलाई नजिकबाट र अधिक विशेष रूपबाट हेरौ,र क्लाउडले कई चुनौतियको सामना गर्न कसरी मदद गर्छ हेरौ :

ठूलो मात्रा में डाटा स्टोर गर्न: ठूलो सर्वरों किन्ने, प्रबंधित गर्ने र सुरक्षा गर्नेको साटो , तपाई अज़ूर कॉसमॉस डीबी , अज़ूर एसक्यूएल डेटाबेस और अज़ूर डेटा लेक स्टोरेज जस्तो समाधानको साथ अपने डाटालाई सीधै क्लाउडमा स्टोर गर्न सक्नुहुनेछ।
डेटा एकीकरण गर्ने: डेटा एकीकरण डेटा साइंसको एक अनिवार्य हिस्सा हो, जो तपाईको डेटा संग्रहलाई कार्रवाई गर्नको लागि संक्रमण गर्न दिन्छ। क्लाउडमा दीनजाने वाला डाटा एकीकरण सेवाकोसाथ,तपाई डेटा फ़ैक्टरीको साथ विभिन्न स्रोतबाट डेटा एकत्र, रूपांतरित र एकीकृत गर्न सक्नुहुनेछ।
डेटा प्रोसेसिंग: ठूलो मात्रामा डाटाको संसाधित गर्नका लागि अधिक कंप्यूटिंग शक्तिको आवश्यकता हुन्छ ,र सबैसँग यसको पर्याप्त शक्तिशाली मशीनको सम्म पहुंच हुदैन, यही कारनले धेरैजसो मानिस आफ्नो समाधानलाई चलाउने र डिप्लॉय गर्नका लागि क्लाउड को विशाल कंप्यूटिंग शक्ति सीधै उपयोग गर्न छान्नुहुनेछ।
डेटा एनालिटिक्स सेवाको उपयोग : अज़ूर सिनेप्स एनालिटिक्स, अज़ूर स्ट्रीम एनालिटिक्स र अज़ूर डेटाब्रिक्स जस्तो क्लाउड सेवा तपाईको डाटा को कार्रवाई योग्य अंतर्दृष्टिमा बदलन तपाईको सहायता गर्छ।
मशीन लर्निंग र डेटा इंटेलिजेंस सेवाको उपयोग गर्ने: स्क्रैचबाट शुरू गर्नुको बजाय, तपाई क्लाउड प्रदाताद्वारा पेश गरिएको क मशीन लर्निंग एल्गोरिदमको उपयोग अज़ूरएमएल जैसी सेवाको साथ गर्न सक्नुहुनेछ। तपाई संज्ञानात्मक सेवाको पनि उपयोग गर्न सक्नु हुनेछ जस्तै कि स्पीच-टू-टेक्स्ट, टेक्स्ट-टू-स्पीच, कंप्यूटर दृष्टि आदि।

क्लाउडमा डाटा साइंसको उदाहरण

आउनुहोस् केही परिदृश्यहरुलाई हेरेर यसलाई अधिक मूर्त बनाउ।

रीयल-टाइम सोशल मीडिया भावना विश्लेषण

हामी मशीन लर्निंगबाट शुरू हुनेवाला मानिसद्वारा अध्ययन गरिएको परिदृश्यबाट शुरू गर्नेछौ: वास्तविक समयमा सोशल मीडिया को भावनाको विश्लेषण।

मान्नुहोस् कि तपाई एउटा समाचार मीडिया वेबसाइट चलाउनु हुन्छ र तपाई यसलाई सम्झनका लागि लाइव डाटा को लाभ उठाउन चाहानु हुन्छ र तपाईको पाठकहरुलाई कुन सामग्रीमा रुचि हुन सक्छ ,यसको बारेमा अधिक जान्नको लागि,तपाई एक प्रोग्राम बनाउन सक्नुहुनेछ जो ट्विटर प्रकाशनबाट डेटाको रीयल-टाइम भावना विश्लेषण गर्नेछ ।

तपाई जुन प्रमुख संकेतलाई देख्नुहुनेछ, त्यो विशिष्ट विषय (हैशटैग)र भावनाको ट्वीट्स को मात्रा हो, जुन विश्लेषिकी टूलको उपयोग गरेर स्थापित गर्न सकिन्छ र निर्दिष्ट विषयको आसपासको भावना विश्लेषण गर्छ।

यस प्रोजेक्टलाई बनाउनका लागि आवश्यक स्टेप्स यस प्रकारका छन् :

स्ट्रीमिंग इनपुटका लागि एक इवेंट हब बनाउने, जुन ट्विटरबाट डेटा एकत्र गर्नेछ।
ट्विटर क्लाइंट एप्लिकेशनलाई कॉन्फ़िगर गर्ने र शुरू गर्ने, जसले ट्विटर स्ट्रीमिंग एपीआईलाई पुकार्नेछ ।
एउटा स्ट्रीम एनालिटिक्स जब बनाउने
जब इनपुट र क्वेरी निर्दिष्ट गर्ने
आउटपुट सिंक बनाउने र जॉब आउटपुट निर्दिष्ट गर्ने
जब शुरू गर्ने

पूरा प्रक्रिया हेर्नको लागी प्रलेखन ।

वैज्ञानिक कागजात विश्लेषण

आउनुहोस् यस पाठ्यक्रमको लेखहरुमध्य एक, दिमित्री सोशनिकोव द्वारा बनाईएको परियोजनाको एउटा उदाहरण हेरौ।

दिमित्रीले एउटा टूल बनाउनुभयो जो कोविड पेपर्सलाई विश्लेषण गर्छ । यस परियोजनाको समीक्षा गरेेर, तपाई देख्नसक्नुहुनेछ कि तपाई एक उपकरण कसरी बनाउन सक्नुहुनेछ जसले वैज्ञानिक पत्रबाट ज्ञान प्राप्त गर्ने छ, अंतर्दृष्टि प्राप्त गर्छ र शोधकर्ताहरुलाई एक कुशल तरीकाबाट कागजातको संग्रहको माध्यमबाट नेविगेट गर्न मदत गर्छ।

आउनुहोस् यसको लागि उपयोग गरिने विभिन्न चरणहरुलाई हेरौः * टेक्स्ट एनालिटिक्स फॉर हेल्थ को साथ जानकारी निकाल्न र प्री-प्रोसेस गर्न * प्रसंस्करणलाई समानांतर राख्नका लागि अज़ूरएमएल को उपयोग गर्ने * कॉसमॉस डीबी को साथ जानकारी संग्रहीत गर्न र क्वेरी गर्न * पावर बीआईको उपयोग गरेर डेटा अन्वेषण र विज़ुअलाइज़ेशनका लागि एक इंटरैक्टिव डैशबोर्ड बनाउन

पूरा प्रक्रिया हेर्नका लागि दिमित्री के ब्लॉग

तपाई देख्न सक्नुहुनेछ , हामी डाटा साइन्सको प्रदर्शन गर्नका लागि धेरै तरिकाबाट क्लाउड सेवाको लाभ उठाउन सक्नुहुनेछ। ## पादटिप्पणी

स्त्रोत: * https://azure.microsoft.com/overview/what-is-cloud-computing?ocid=AID3041109
* https://docs.microsoft.com/azure/stream-analytics/stream-analytics-twitter-sentiment-analysis-trends?ocid=AID3041109
* https://soshnikov.com/science/analyzing-medical-papers-with-azure-and-text-analytics-for-health/

पोस्ट-लेक्चर क्विज़

असाइनमेंट

मार्केट रिसर्च

20 KiB Raw Blame History Unescape Escape