मुख्य बातें
1. डेटा विज्ञान का उद्देश्य डेटा से कार्यान्वयन योग्य अंतर्दृष्टियाँ निकालना है ताकि व्यावसायिक समस्याओं का समाधान किया जा सके
डेटा-आधारित निर्णय लेने (DDD) का तात्पर्य उस प्रथा से है जिसमें निर्णय डेटा के विश्लेषण पर आधारित होते हैं, न कि केवल अंतर्ज्ञान पर।
डेटा विज्ञान का व्यावसायिक मूल्य। डेटा-आधारित निर्णय लेने से व्यावसायिक प्रदर्शन में महत्वपूर्ण सुधार होता है, एक अध्ययन में पाया गया कि जो कंपनियाँ DDD अपनाती हैं, उनकी उत्पादकता में 4-6% की वृद्धि होती है। प्रमुख व्यावसायिक अनुप्रयोगों में शामिल हैं:
- ग्राहक विश्लेषण: ग्राहक के छोड़ने की भविष्यवाणी, विपणन को लक्षित करना, सिफारिशों को व्यक्तिगत बनाना
- संचालन अनुकूलन: आपूर्ति श्रृंखला प्रबंधन, पूर्वानुमानित रखरखाव, धोखाधड़ी का पता लगाना
- वित्तीय मॉडलिंग: क्रेडिट स्कोरिंग, एल्गोरिदमिक ट्रेडिंग, जोखिम मूल्यांकन
मुख्य सिद्धांत। प्रभावी डेटा विज्ञान के लिए आवश्यक है:
- व्यावसायिक समस्या और उद्देश्यों को स्पष्ट रूप से परिभाषित करना
- प्रासंगिक डेटा एकत्र करना और तैयार करना
- उपयुक्त विश्लेषणात्मक तकनीकों का उपयोग करना
- परिणामों को कार्यान्वयन योग्य अंतर्दृष्टियों में अनुवाद करना
- प्रभाव को मापना और पुनरावृत्ति करना
2. ओवरफिटिंग डेटा खनन में एक महत्वपूर्ण चुनौती है जिसे सावधानीपूर्वक प्रबंधित करना आवश्यक है
यदि आप डेटा के एक सेट पर बहुत ध्यान केंद्रित करते हैं, तो आप कुछ न कुछ पाएंगे — लेकिन यह उस डेटा से परे सामान्यीकृत नहीं हो सकता जिसे आप देख रहे हैं।
ओवरफिटिंग को समझना। ओवरफिटिंग तब होती है जब एक मॉडल प्रशिक्षण डेटा में शोर को बहुत अच्छे से सीख लेता है, वास्तविक अंतर्निहित पैटर्न के बजाय यादृच्छिक उतार-चढ़ाव को पकड़ता है। इसका परिणाम नए डेटा पर खराब सामान्यीकरण होता है।
ओवरफिटिंग को रोकने की तकनीकें:
- क्रॉस-मान्यता: अलग प्रशिक्षण और परीक्षण सेट का उपयोग करना
- नियमितीकरण: मॉडल की जटिलता के लिए दंड जोड़ना
- प्रारंभिक रोकना: ओवरफिटिंग होने से पहले प्रशिक्षण को रोकना
- एन्सेम्बल विधियाँ: कई मॉडलों को संयोजित करना
- विशेषता चयन: केवल सबसे प्रासंगिक चर का उपयोग करना
ओवरफिटिंग का दृश्यकरण। फिटिंग वक्र मॉडल के प्रदर्शन को प्रशिक्षण और परीक्षण डेटा पर दिखाते हैं जैसे-जैसे मॉडल की जटिलता बढ़ती है। आदर्श मॉडल अंडरफिटिंग और ओवरफिटिंग के बीच संतुलन बनाता है।
3. मॉडलों का मूल्यांकन करने के लिए लागत, लाभ और विशिष्ट व्यावसायिक संदर्भ पर विचार करना आवश्यक है
डेटा विज्ञान में एक महत्वपूर्ण कौशल यह है कि डेटा-विश्लेषण समस्या को ऐसे टुकड़ों में विभाजित किया जाए कि प्रत्येक टुकड़ा एक ज्ञात कार्य से मेल खाता हो जिसके लिए उपकरण उपलब्ध हैं।
मूल्यांकन मैट्रिक्स। सामान्य मैट्रिक्स में शामिल हैं:
- वर्गीकरण: सटीकता, प्रिसिजन, पुनः प्राप्ति, F1-स्कोर, AUC-ROC
- प्रतिगमन: औसत वर्ग त्रुटि, R-स्क्वायर, औसत निरपेक्ष त्रुटि
- रैंकिंग: nDCG, MAP, MRR
व्यावसायिक-संरेखित मूल्यांकन। विचार करें:
- झूठे सकारात्मक बनाम झूठे नकारात्मक की लागत
- संचालन संबंधी बाधाएँ (जैसे, कंप्यूट संसाधन, विलंब आवश्यकताएँ)
- नियामक और नैतिक निहितार्थ
- हितधारकों के लिए व्याख्या की आवश्यकताएँ
अपेक्षित मूल्य ढांचा। संभावनाओं को लागत/लाभ के साथ मिलाकर समग्र व्यावसायिक प्रभाव का अनुमान लगाएँ:
अपेक्षित मूल्य = Σ (परिणाम की संभावना * परिणाम का मूल्य)
4. पाठ और असंरचित डेटा के लिए विशेष पूर्व-प्रसंस्करण तकनीकों की आवश्यकता होती है
पाठ को अक्सर "असंरचित" डेटा के रूप में संदर्भित किया जाता है। इसका तात्पर्य इस तथ्य से है कि पाठ में वह प्रकार की संरचना नहीं होती है जिसकी हम सामान्यतः डेटा के लिए अपेक्षा करते हैं: रिकॉर्ड की तालिकाएँ जिनमें फ़ील्ड का निश्चित अर्थ होता है।
पाठ पूर्व-प्रसंस्करण चरण:
- टोकनाइजेशन: पाठ को व्यक्तिगत शब्दों/टोकनों में विभाजित करना
- लोअरकेसिंग: केस को सामान्य बनाना
- विराम चिह्न और विशेष वर्णों को हटाना
- स्टॉप शब्दों को हटाना (सामान्य शब्द जैसे "the", "and")
- स्टेमिंग/लेमाटाइजेशन: शब्दों को मूल रूपों में घटाना
पाठ प्रतिनिधित्व:
- बैग-ऑफ-वार्ड्स: पाठ को बिना क्रम के शब्दों के सेट के रूप में मानना
- TF-IDF: शब्दों को आवृत्ति और विशिष्टता के अनुसार वजन देना
- शब्द एम्बेडिंग: घने वेक्टर प्रतिनिधित्व (जैसे, Word2Vec)
- N-ग्राम: बहु-शब्द वाक्यांशों को पकड़ना
उन्नत तकनीकें:
- नामित इकाई पहचान: लोगों, संगठनों, स्थानों की पहचान करना
- विषय मॉडलिंग: दस्तावेज़ संग्रह में निहित विषयों की खोज करना
- भावना विश्लेषण: सकारात्मक/नकारात्मक भावना का निर्धारण करना
5. समानता और दूरी के माप कई डेटा खनन कार्यों के लिए मौलिक हैं
जब एक वस्तु को डेटा के रूप में प्रस्तुत किया जा सकता है, तो हम वस्तुओं के बीच समानता या वैकल्पिक रूप से वस्तुओं के बीच की दूरी के बारे में अधिक सटीकता से बात कर सकते हैं।
सामान्य दूरी के माप:
- यूक्लिडियन दूरी: n-आयामी स्थान में सीधी रेखा की दूरी
- मैनहट्टन दूरी: निरपेक्ष भिन्नताओं का योग
- कोसाइन समानता: वेक्टरों के बीच का कोण (पाठ के लिए सामान्य)
- जैकार्ड समानता: सेटों के बीच ओवरलैप
- संपादन दूरी: एक स्ट्रिंग को दूसरी में बदलने के लिए आवश्यक संचालन की संख्या
समानता के अनुप्रयोग:
- क्लस्टरिंग: समान वस्तुओं को समूहित करना
- निकटतम पड़ोसी विधियाँ: समान उदाहरणों के आधार पर वर्गीकरण/प्रतिगमन
- सिफारिश प्रणाली: समान उपयोगकर्ताओं या वस्तुओं को खोजना
- विसंगति पहचान: अन्य बिंदुओं से दूर के आउटलेयर की पहचान करना
दूरी के माप का चयन। विचार करें:
- डेटा प्रकार (संख्यात्मक, श्रेणीबद्ध, पाठ, आदि)
- विशेषताओं का पैमाना और वितरण
- गणनात्मक दक्षता
- डोमेन-विशिष्ट समानता की धारणाएँ
6. मॉडल प्रदर्शन का दृश्यकरण मूल्यांकन और संचार के लिए महत्वपूर्ण है
डेटा विज्ञान टीम के बाहर के हितधारकों के पास विवरण के लिए बहुत धैर्य नहीं हो सकता है, और वे अक्सर मॉडल प्रदर्शन का एक उच्च-स्तरीय, अधिक सहज दृश्य चाहते हैं।
मुख्य दृश्यकरण तकनीकें:
- ROC वक्र: सही सकारात्मक दर बनाम गलत सकारात्मक दर
- प्रिसिजन-रिपॉल कर्व: विभिन्न थ्रेशोल्ड पर प्रिसिजन बनाम पुनः प्राप्ति
- लिफ्ट चार्ट: मॉडल प्रदर्शन बनाम यादृच्छिक आधार
- भ्रमण मैट्रिक्स: सही/गलत भविष्यवाणियों का विभाजन
- लर्निंग कर्व: प्रदर्शन बनाम प्रशिक्षण सेट का आकार
- विशेषता महत्व प्लॉट: विभिन्न चर का सापेक्ष प्रभाव
दृश्यकरण के लाभ:
- गैर-तकनीकी हितधारकों के साथ सहज संचार
- एक ही प्लॉट पर कई मॉडलों की तुलना करना
- अनुकूल संचालन बिंदुओं/थ्रेशोल्ड की पहचान करना
- मॉडल की कमजोरियों और पूर्वाग्रहों का निदान करना
सर्वोत्तम प्रथाएँ:
- कार्य और दर्शकों के लिए उपयुक्त दृश्यकरण चुनें
- सुसंगत रंग योजनाएँ और लेबलिंग का उपयोग करें
- स्पष्ट व्याख्याएँ और व्याख्याएँ प्रदान करें
- संदर्भ के लिए आधार/यादृच्छिक प्रदर्शन शामिल करें
7. संभाव्य तर्क और बेयesian विधियाँ डेटा विज्ञान में शक्तिशाली उपकरण हैं
बेयस का नियम पिछले संभाव्यता को तीन मात्राओं में विभाजित करता है जो हम दाहिनी ओर देखते हैं।
बेयesian तर्क। पिछले विश्वासों को नए साक्ष्यों के साथ मिलाकर संभावनाओं को अपडेट करता है:
P(H|E) = P(E|H) * P(H) / P(E)
- P(H|E): साक्ष्य के आधार पर परिकल्पना की बाद की संभावना
- P(E|H): परिकल्पना के आधार पर साक्ष्य की संभावना
- P(H): परिकल्पना की पूर्व संभावना
- P(E): साक्ष्य की संभावना
अनुप्रयोग:
- नाइव बेयस वर्गीकरण
- कारणात्मक तर्क के लिए बेयesian नेटवर्क
- A/B परीक्षण और प्रयोग
- विसंगति पहचान
- प्राकृतिक भाषा प्रसंस्करण
बेयesian विधियों के लाभ:
- पिछले ज्ञान को शामिल करना
- अनिश्चितता को स्पष्ट रूप से संभालना
- नए डेटा के साथ विश्वासों को क्रमिक रूप से अपडेट करना
- संभाव्य भविष्यवाणियाँ प्रदान करना
8. डेटा तैयारी और विशेषता इंजीनियरिंग प्रभावी मॉडलिंग के लिए आवश्यक हैं
अक्सर डेटा खनन समाधान की गुणवत्ता इस बात पर निर्भर करती है कि विश्लेषक समस्याओं को कैसे संरचना करते हैं और चर को कैसे तैयार करते हैं।
डेटा तैयारी के चरण:
- डेटा सफाई: गायब मूल्यों, आउटलेयर, त्रुटियों को संभालना
- डेटा एकीकरण: कई स्रोतों से डेटा को संयोजित करना
- डेटा रूपांतरण: स्केलिंग, सामान्यीकरण, श्रेणीबद्ध चर को एन्कोड करना
- डेटा कमी: विशेषता चयन, आयाम कमी
विशेषता इंजीनियरिंग तकनीकें:
- इंटरैक्शन टर्म बनाना
- निरंतर चर को बिन करना
- अस्थायी विशेषताओं को निकालना (जैसे, सप्ताह का दिन, मौसमीता)
- डोमेन-विशिष्ट रूपांतरण (जैसे, वित्त में लॉग रिटर्न)
डोमेन ज्ञान का महत्व। प्रभावी विशेषता इंजीनियरिंग अक्सर आवश्यक होती है:
- व्यावसायिक समस्या को समझना
- डेटा उत्पादन प्रक्रियाओं से परिचित होना
- विषय विशेषज्ञों से अंतर्दृष्टि
- पुनरावृत्त प्रयोग और मान्यता
9. मौलिक डेटा खनन कार्यों में वर्गीकरण, प्रतिगमन, क्लस्टरिंग और विसंगति पहचान शामिल हैं
वर्षों में विकसित किए गए विशिष्ट डेटा खनन एल्गोरिदम की बड़ी संख्या के बावजूद, केवल कुछ मौलिक रूप से भिन्न प्रकार के कार्य हैं जिनका ये एल्गोरिदम समाधान करते हैं।
मौलिक डेटा खनन कार्य:
- वर्गीकरण: श्रेणीबद्ध लेबल की भविष्यवाणी करना (जैसे, स्पैम पहचान)
- प्रतिगमन: निरंतर मूल्यों की भविष्यवाणी करना (जैसे, घर की कीमत का अनुमान)
- क्लस्टरिंग: समान उदाहरणों को समूहित करना (जैसे, ग्राहक विभाजन)
- विसंगति पहचान: असामान्य पैटर्न की पहचान करना (जैसे, धोखाधड़ी पहचान)
- संघटन नियम खनन: चर के बीच संबंधों की खोज करना
प्रत्येक कार्य के लिए सामान्य एल्गोरिदम:
- वर्गीकरण: निर्णय वृक्ष, लॉजिस्टिक प्रतिगमन, समर्थन वेक्टर मशीन
- प्रतिगमन: रैखिक प्रतिगमन, यादृच्छिक वन, ग्रेडिएंट बूस्टिंग
- क्लस्टरिंग: K-मीन्स, पदानुक्रमिक क्लस्टरिंग, DBSCAN
- विसंगति पहचान: आइसोलेशन फॉरेस्ट, ऑटोएन्कोडर, एक-क्लास SVM
- संघटन नियम: अप्रीओरी एल्गोरिदम, FP-ग्रॉथ
सही कार्य का चयन। विचार करें:
- लक्षित चर की प्रकृति (यदि कोई हो)
- व्यावसायिक उद्देश्य और बाधाएँ
- उपलब्ध डेटा और इसकी विशेषताएँ
- व्याख्या की आवश्यकताएँ
10. डेटा खनन प्रक्रिया पुनरावृत्त होती है और व्यावसायिक समझ की आवश्यकता होती है
डेटा खनन में मॉडल की जटिलता और ओवरफिटिंग की संभावना के बीच एक मौलिक व्यापार-बंद होता है।
CRISP-DM ढांचा:
- व्यावसायिक समझ: उद्देश्यों और आवश्यकताओं को परिभाषित करना
- डेटा समझ: प्रारंभिक डेटा एकत्र करना और अन्वेषण करना
- डेटा तैयारी: डेटा को साफ़, एकीकृत और स्वरूपित करना
- मॉडलिंग: मॉडलिंग तकनीकों का चयन और लागू करना
- मूल्यांकन: व्यावसायिक लक्ष्यों के खिलाफ मॉडल प्रदर्शन का आकलन करना
- तैनाती: व्यवसाय प्रक्रियाओं में मॉडलों को एकीकृत करना
पुनरावृत्त स्वभाव। डेटा खनन परियोजनाओं में अक्सर आवश्यकता होती है:
- प्रक्रिया के माध्यम से कई चक्र
- प्रारंभिक परिणामों के आधार पर समस्या के स्वरूप को परिष्कृत करना
- अतिरिक्त डेटा या विशेषताओं को एकत्र करना
- वैकल्पिक मॉडलिंग दृष्टिकोणों का प्रयास करना
- मूल्यांकन मानदंड को समायोजित करना
व्यावसायिक संदर्भ का महत्व:
- डेटा विज्ञान प्रयासों को रणनीतिक प्राथमिकताओं के साथ संरेखित करना
- तकनीकी परिणामों को व्यावसायिक प्रभाव में अनुवाद करना
- हितधारकों की अपेक्षाओं का प्रबंधन करना
- डेटा और मॉडलों के नैतिक और जिम्मेदार उपयोग को सुनिश्चित करना
समीक्षा सारांश
डेटा साइंस फॉर बिजनेस को ज्यादातर सकारात्मक समीक्षाएँ मिलती हैं, जिसमें पाठक इसके व्यावहारिक दृष्टिकोण और व्यापारिक अनुप्रयोगों के लिए डेटा साइंस के सिद्धांतों की स्पष्ट व्याख्या की सराहना करते हैं। कई लोग इसे शुरुआती और अनुभवी पेशेवरों दोनों के लिए मूल्यवान मानते हैं, यह बताते हुए कि यह तकनीकी और व्यावसायिक पहलुओं के बीच की खाई को पाटने में सहायक है। कुछ समीक्षक यह नोट करते हैं कि पुस्तक कभी-कभी घनी और चुनौतीपूर्ण हो सकती है, लेकिन कुल मिलाकर इसे व्यापारिक संदर्भ में डेटा साइंस का एक व्यापक परिचय माना जाता है। कुछ आलोचकों को कुछ हिस्सों में यह बहुत सतही या विस्तृत लगती है।
लोग यह भी पढ़ते हैं
PDF डाउनलोड करें
EPUB डाउनलोड करें
.epub डिजिटल किताब का फ़ॉर्मैट फ़ोन, टैबलेट और ई-रीडर पर ई-बुक पढ़ने के लिए बेहतरीन है।