أهم النقاط
حدِّد القرار قبل جمع البيانات
ابدأ بالخيار المطروح. ينبغي أن يبدأ تعلُّم الآلة بقرار أو مشكلة محددة، لا بأي بيانات تتوافر مصادفةً. فالسؤال هو ما يحدد النتيجة المراد التنبؤ بها، والمعلومات التي قد تكون مهمة، وما إذا كانت المهمة تستدعي الانحدار أو التصنيف أو التجميع أو اكتشاف الشذوذ أو التعلُّم المعزَّز. فعلى سبيل المثال، قد يتطلب التنبؤ بمبيعات المظلات بعد خفض السعر بيانات عن هطول الأمطار الإقليمي والكثافة السكانية والمخزون، لا الأسعار والمبيعات السابقة وحدها.
اتبع تسلسلًا عمليًا. يقسّم الكتاب سير عمل من عشر خطوات إلى أربع مراحل: اتخاذ القرار، ومعالجة البيانات، والنمذجة، والنشر. يأتي تحديد هدف العمل أولًا، ثم جمع البيانات وتنظيفها وتحليلها. بعد ذلك تُختار النماذج وتُدرَّب وتُقيَّم وتُختبر قبل نشرها، ثم تُراقَب لمتابعة أدائها المستمر.
إن هذا المنطق القائم على تقديم القرار هو شكل من أشكال صياغة المشكلات بانضباط. وهو يشبه بحوث العمليات، حيث تُحدَّد الأهداف والقيود قبل اختيار أسلوب التحسين. كما يساعد على تفادي إخفاق شائع: بناء أداة تنبؤ مبهرة تقنيًا لكنها لا تغيّر أي قرار. ويجعل مثال المظلات الفكرة ملموسة لأن المبيعات تعتمد على السياق، ومنه الطقس والمخزون. ومع ذلك، فإن صياغة المشكلة ليست طقسًا يُؤدّى مرة واحدة. فقد يختلف أصحاب المصلحة حول معنى النجاح، وينبغي حسم هذه الخلافات صراحةً قبل التعامل مع مقاييس النموذج بوصفها قيمة للأعمال.
استخدم التعلُّم الآلي المؤتمت لتسريع العمل لا لتفويض الحكم البشري
اخفض عتبة البرمجة. التعلُّم الآلي المؤتمت (AutoML) هو تعلُّم الآلة المؤتمت: إذ يمكن لمنصة ما أن تختار نموذجًا وتدرّبه وتضبطه وتعرض مقاييس التقييم بعد أن يقدّم المستخدم مجموعة بيانات وهدفًا. وتتيح الأدوات التي لا تتطلب برمجة هذه الإمكانية دون كتابة شيفرة، بينما تولّد الأدوات قليلة البرمجة معظم الشيفرة الأساسية مع إتاحة التخصيص. ويعرض الكتاب هذه المقاربات بوصفها وسائل لبناء نماذج أولية بسرعة، ومنها في بيئات الأعمال التي قد يعرف فيها خبراء المجال المشكلةَ أفضل مما يعرفون تطوير البرمجيات.
أبقِ المسؤولية بيد الإنسان. فالأتمتة لا تقرر ما إذا كان الهدف منطقيًا، أو البيانات مناسبة، أو النتائج تلبّي احتياجات العمل. وما زال على المستخدم أن يستكشف مجموعة البيانات، ويختار المدخلات ذات الصلة، ويفسّر الأداء، ويقرر ما إذا كان النموذج صالحًا للاستخدام. ويرى المؤلفان أن التعلُّم الآلي المؤتمت قد يغطي نحو 80 في المئة من احتياجات تعلُّم الآلة الشائعة، بينما قد تستدعي المشكلات المتخصصة قدرًا أكبر من التحكم.
يغيّر التعلُّم الآلي المؤتمت هوية من يستطيع المشاركة في تعلُّم الآلة، وهو أمر قيّم حين تندر الخبرة في المجال داخل الفرق التقنية. لكنه لا يلغي الحاجة إلى الإلمام الإحصائي؛ بل ينقل هذه الحاجة من كتابة الخوارزميات إلى طرح أسئلة أفضل واكتشاف المخرجات المضلِّلة. ويشبه ذلك برامج الجداول الإلكترونية: فالحساب الأيسر يوسّع الوصول، لكن الرسم البياني المصقول قد يعبّر مع ذلك عن افتراض خاطئ. والحدّ الفاصل الحاسم هو المساءلة. ينبغي للمؤسسات أن توضح من يوافق على استخدام البيانات ومعدلات الخطأ المقبولة والنشر، بدلًا من ترك الإعدادات الافتراضية للمنصة تتخذ هذه الخيارات بصمت.
افحص البيانات الفوضوية قبل الوثوق بأي نموذج
تحقّق من معنى السجلات. قد تحتوي مجموعات البيانات الواقعية على قيم مفقودة وتكرارات وصيغ غير متسقة وقيم شاذة وقيم تُستخدم بديلًا عن المعلومات الناقصة. وفي مثال محطة الطاقة، قدّم المهندسون نطاقات معقولة لدرجة الحرارة والضغط والرطوبة والتفريغ والإنتاج. وكشفت فحوص SQL عن قيم مريبة، منها ضغط محيط يساوي صفرًا وإنتاج طاقة سالب. وأدّى ترشيح القيم الواقعة خارج النطاقات المتوقعة إلى إزالة 14 صفًّا من أصل 9,590، أي نحو 0.15 في المئة، مع معالجة أخطاء كان يمكن أن تشوّه التدريب.
استكشف البيانات قبل تسليمها. يمكن للإحصاءات الوصفية والتصورات المرئية أن تكشف أنماطًا غير متوقعة ومشكلات في البيانات. فقد استخدم مشروع الاحتيال مكتبات Pandas وMatplotlib وSeaborn لفحص ملايين المعاملات قبل رفعها إلى التعلُّم الآلي المؤتمت. كما يفرّق الكتاب بين صيغة البيانات وسرعة تسليمها: فالبيانات المهيكلة يمكن أن تصل على شكل تدفق، بينما يصف التمييز بين الدفعات والتدفق زمنَ الاستجابة لا ما إذا كانت البيانات مهيكلة.
فحص البيانات ضبطٌ للجودة، لكنه أيضًا وسيلة لكشف الافتراضات الخفية. فقد تكون القيمة صفر قياسًا حقيقيًا أو قيمة افتراضية أو اصطلاحًا في الترميز، ولكل تفسير خيار تنظيف مختلف. ويمكن لخبراء المجال أن يساعدوا في التمييز بينها، وإن كان ينبغي التحقق من توقعاتهم في السجلات بدلًا من قبولها دون تمحيص. وإزالة القيم المريبة ليست بريئة تلقائيًا: فإذا كانت القيم المتطرفة تمثل أحداثًا نادرة لكنها حقيقية، فقد يؤدي ترشيحها إلى جعل النموذج أقل فائدة تحديدًا حيث تكون الفائدة أهم.
قد تصفّق الدقةُ لكاشف احتيال يفوّت الاحتيال كله تقريبًا
عدم توازن الفئات يشوّه العنوان العريض. في مجموعة البيانات المالية المحاكاة، لم تكن سوى نحو 0.129 في المئة من 6.36 مليون معاملة احتيالية، أي ما يقارب واحدة من كل 800. ولذلك يمكن لنموذج يصنّف كل شيء تقريبًا على أنه مشروع أن يبدو شديد الدقة بينما يفشل في مهمته الأساسية. فقد صنّف النموذج السابق 99.87 في المئة من جميع المعاملات تصنيفًا صحيحًا، لكنه لم يتعرف إلا على 16 معاملة احتيالية من أصل 8,213. وكان استدعاؤه (recall)، أي نسبة الاحتيال الفعلي التي التقطها، نحو 0.19 في المئة.
استخدم مقاييس تكشف الإخفاق. تفصل مصفوفة الالتباس بين الإيجابيات الصحيحة والإيجابيات الكاذبة والسلبيات الصحيحة والسلبيات الكاذبة. ويقيس الضبط (precision) عدد المعاملات المُعلَّمة التي هي احتيال حقًّا؛ ويقيس الاستدعاء مقدار الاحتيال الفعلي الذي جرى التقاطه. ويجمع مقياس F1 بين الضبط والاستدعاء، بينما تساعد منحنيات الضبط والاستدعاء على مقارنة النماذج في الفئات الإيجابية النادرة. وما زالت الدقة تنقل شيئًا، لكنها لا تستطيع وحدها تلخيص الأداء في هذا السياق.
يمثّل هذا المثال حالة بليغة لمشكلة المعدل الأساسي: فحين يكون الحدث نادرًا، يمكن للنموذج أن يؤدي جيدًا في الفئة الغالبة بينما يكاد يكون عديم الفائدة في الحدث موضع الاهتمام. وتنشأ المشكلة نفسها في الفحص الطبي ومراقبة السلامة وتنبيهات الأمن. ولذلك فإن اختيار المقياس قرار أخلاقي وتشغيلي، لا مجرد تفضيل للوحة المؤشرات. غير أن تعظيم الاستدعاء بلا حدود قد يغرق المحققين بالإنذارات الكاذبة. ينبغي أن يمثّل التقييم مجتمع النشر الفعلي وعواقب نوعي الخطأ معًا، لا أن يكافئ ببساطة درجة مريحة رياضيًا.
اضبط عتبة الاحتيال بموازنة الخسائر الفائتة مقابل تكاليف المراجعة
الاحتمال يحتاج إلى قاعدة قرار. يقدّر المصنِّف عادةً احتمال كل فئة؛ وتحدد العتبة متى تُعلَّم المعاملة. وخفض العتبة يلتقط عادةً مزيدًا من الاحتيال فيحسّن الاستدعاء، لكنه يُعلِّم أيضًا مزيدًا من المدفوعات المشروعة وقد يخفض الضبط. ورفعها له الأثر المعاكس. ويعتمد التوازن المناسب على ما تستطيع الشركة تحمّل تفويته وعلى عدد المعاملات التي يستطيع الموظفون التحقيق فيها.
اجعل المفاضلة صريحة. في مثال التعلُّم الآلي المؤتمت بالكتاب، أنتجت عتبة قدرها 0.06 ضبطًا بنسبة 50 في المئة واستدعاءً بنسبة 95.2 في المئة. عمليًا، سيكون نحو نصف المعاملات المُعلَّمة مشروعًا، بينما سيفوت النظام نحو حالة احتيال واحدة من كل عشرين. وهذه الأرقام مثال لا توصية شاملة. ينبغي أن يعكس اختيار العتبة التكاليف الفعلية للعمل وطاقة المراجعة، وأن يُعاد النظر فيه كلما تغيّر أي منهما.
اختيار العتبة مسألة في نظرية القرار متنكرة في هيئة إعداد للنموذج. فالنموذج يوفّر احتمالات مرتبة، لكن المؤسسة هي التي توفّر التكاليف التي تحوّل الدرجات إلى فعل. وسؤال مفيد تاليًا هو: هل ينبغي أن تخضع كل معاملة للعتبة نفسها؟ فقد تختلف طاقة المراجعة وحجم المعاملة وأثرها على العميل. وتتطلب سياسات كهذه تحققًا دقيقًا، لكن النقطة المحورية تبقى أن المقياس لا يستطيع وحده تحديد الأولويات. وقد تكون العتبة التي تبدو مثلى في رسم بياني رديئة إذا كانت التكاليف المفترضة لا تطابق العمليات الحقيقية.
اختر سمات ذات معنى ومتاحة وغير مسرَّبة
يجب أن تصمد المدخلات عند ملامسة الواقع. ينبغي أن ترتبط السمة المفيدة بالهدف، وأن تكون متاحة حين يُجرى التنبؤ، وأن تُمثَّل بصيغة يستطيع النموذج استخدامها. في مجموعة بيانات الاحتيال، جاء الحقل isFlaggedFraud من كاشف سابق. وكان إدراجه سيعرّض النموذج الجديد لخطر تعلُّم نسخ إشارة قد تختفي حين يُستبدل النظام الأقدم. كما استُبعدت معرّفات العملاء لأنها كادت تحدد المعاملات الفردية، وقد تشجّع على الحفظ بدلًا من تعلُّم الأنماط العامة.
حوّل الحقول الخام إلى أدلة مفيدة. تقوم هندسة السمات بإنشاء المدخلات أو تحويلها، كدمج حقول التاريخ المنفصلة أو ترميز ما إذا كان معرّف حساب يتكرر ظهوره. وقد وجد التحليل الاستكشافي أن الاحتيال ظهر في هذه المجموعة في معاملات CASH OUT وTRANSFER فقط، بينما ارتبطت المبالغ الأكبر بمعدل احتيال أعلى. هذه إشارات مفيدة، لكن الأنماط تحتاج إلى تحقق بمعرفة المجال وببيانات مستقبلية.
إن قاعدة أن السمة يجب أن تكون متاحة وقت التنبؤ دفاع عملي ضد تسرّب البيانات، حيث تكشف معلومات التدريب الإجابة بطريقة لا يستطيع الإنتاج إعادة إنتاجها. وقد يؤدي التسرّب إلى درجات اختبار مبهرة ونشر مخيّب. ويثير اختيار السمات أيضًا تمييزًا أعمق: فالتنبؤ ليس تفسيرًا للسبب. إذ يمكن لارتباط قوي بين حجم المعاملة والاحتيال أن يساعد في ترتيب المخاطر دون أن يبيّن أن الحجم نفسه يسبب الاحتيال. ولذلك تجمع هندسة السمات الجيدة بين المعرفة التشغيلية والاختبار التجريبي والتشكيك في الارتباطات المريحة.
دع النموذج البسيط يكسب الثقة قبل إضافة التعقيد
ابدأ بخط أساس مناسب. تنبأت مهمة محطة الطاقة بإنتاج الطاقة الساعي من قياسات الطقس، فكانت مسألة انحدار. وكانت لدرجة الحرارة علاقة عكسية قوية بالإنتاج، بارتباط مُبلَّغ عنه قدره -0.948. ودرّب الفصل نموذج انحدار خطيًا باستخدام BigQuery ML، ثم قارنه بشبكة عصبية أعمق. وفي هذا المثال، كان أداء الشبكة العصبية أسوأ قليلًا على بيانات التقييم، ما يوضح أن زيادة الطبقات والعصبونات لا تضمن تنبؤات أفضل.
افصل بين التعلُّم والحكم. تُستخدم بيانات التدريب لملاءمة النموذج، وتدعم بيانات التحقق الضبط وفحص التعميم، وتوفر بيانات الاختبار تقييمًا نهائيًا على أمثلة لم يستخدمها النموذج لتعديل نفسه. ويمكن للنموذج أن يفرط في الملاءمة بتعلُّم تفاصيل خاصة بالتدريب، أو أن يقصّر في الملاءمة لبساطته المفرطة عن التقاط الأنماط ذات الصلة. وينبغي تبرير التعقيد بنتائج التقييم، لا بمكانة خوارزمية أكثر تقدمًا.
هذا ترياق مفيد للافتراض بأن النماذج الأحدث أو الأكثر إتقانًا أفضل تلقائيًا. فخط الأساس البسيط أسهل في الفحص وأرخص في التشغيل، وغالبًا ما يكفي حين تُلتقط العلاقات جيدًا بصيغة موجزة. وتمنح حالة محطة الطاقة هذا المبدأ قوة عملية: فالمرونة الإضافية للشبكة العصبية لم تحسّن الأداء على البيانات المحجوزة. أما التحفظ فهو أن مقارنة واحدة على مجموعة بيانات واحدة لا تستطيع إثبات ترتيب عام لعائلات النماذج. فاختيار النموذج يعتمد على حجم البيانات وبنيتها وتصميم التقييم وتكاليف الأخطاء.
استخدم التفسيرات لفحص التنبؤات لا لإعلان السببية
انظر إلى المقياسين معًا. يهدف الذكاء الاصطناعي القابل للتفسير إلى وصف سلوك النموذج بمصطلحات مفهومة للبشر. يلخّص التفسير العام السمات التي تؤثر في التنبؤات عبر مجموعة البيانات؛ ويسأل التفسير المحلي عن المدخلات التي أسهمت في تنبؤ بعينه. وفي نموذج محطة الطاقة، كان لدرجة الحرارة أكبر إسناد إجمالي. وفي مثال تنبؤ واحد، كانت مساهمتها أيضًا أكبر من مساهمة السمات المدرجة الأخرى.
تعامل مع الإسنادات بوصفها قرائن. يمكن لـ BigQuery ML أن يعيد إسنادات السمات عبر دوال للتفسير العام والتفسير الخاص بالتنبؤ. ويصف الكتاب قيم شابلي (Shapley) بأنها وسيلة لتوزيع الفرق بين التنبؤ وخط الأساس على السمات، بحساب متوسط المساهمات عبر تركيبات المدخلات. ويمكن لهذه الأدوات أن تساعد أصحاب المصلحة على فهم السلوك، وتساعد الممارسين على تقصّي النتائج المفاجئة، لكن الإسناد يتعلق بحساب النموذج لا بإثبات سبب في العالم الواقعي.
تكون التفسيرات أنفع ما تكون أدواتٍ لتنقيح الأخطاء ودوافعَ لطرح أسئلة أفضل. فإذا اعتمد النموذج بشدة على حقل غير متوقع، فقد يكشف ذلك عن تسرّب أو أثر مصطنع في البيانات أو نمط حقيقي يستحق التحقق. لكن التفسيرات قد تخلق إحساسًا زائفًا باليقين: فمساهمة السمة تصف كيف يستخدم النموذج المدخلات وفق طريقة معينة، لا ما سيحدث لو تدخّل أحدهم في السمة. وهذا التمييز محوري في الاستدلال السببي. ولا يحسّن المخرَج المقروء بشريًا التدقيقَ إلا حين تكون حدوده مقروءة بالقدر نفسه.
راقب النماذج المنشورة لأن الواقع المتغير يكسر الأنماط القديمة
النشر ليس خط النهاية. قد يصبح النموذج قديمًا حين يتغير سلوك العملاء أو قواعد العمل أو البيئة. ويعني انجراف البيانات أن البيانات الواردة تختلف عن البيانات المستخدمة في تدريب النموذج؛ وقد يتراجع الأداء حينئذ حتى لو كان التقييم الأصلي سليمًا. ويجعل مثال المظلات في الكتاب الخطر بديهيًا: تتغير أنماط هطول الأمطار في منطقة ما، فلا تعود التنبؤات المبنية على مناخها السابق تلائم الطلب.
خطّط لحلقة التغذية الراجعة. بعد النشر، ينبغي مقارنة التنبؤات بمقاييس العمل المتفق عليها ومراقبتها لرصد التغيرات. وقد تحتاج بيانات جديدة إلى دخول خط المعالجة، وقد يتطلب النموذج إعادة تدريب واختبار. ويلاحظ الفصل أن أنظمة الإنتاج قد تتلقى البيانات على دفعات أو في الزمن الفعلي. وفي الحالتين، تتطلب الخدمة الموثوقة التحقق من أن البيانات وهدف العمل ما زالا يشبهان الظروف التي بُني فيها النموذج.
النموذج المنشور جزء من نظام اجتماعي وتقني متغير، لا شيء خالد. ويربط رصد الانجراف تعلُّم الآلة بنظرية التحكم، حيث تكشف التغذية الراجعة ما إذا كان النظام لا يزال يتصرف كما أُريد. كما يثير أسئلة حوكمة: من يلاحظ التدهور، ومن يستطيع إيقاف القرارات الآلية، ومن يوافق على إعادة التدريب؟ وإعادة التدريب وحدها ليست علاجًا. فإذا تأخرت التسميات، أو تغيّر جمع البيانات، أو تحوّل هدف العمل، فقد ينتج النموذج المحدَّث عدم التطابق نفسه ببيانات أحدث.
تحليل
إسهام هذا الكتاب المحوري ليس خوارزمية جديدة. إنه عرض عملي لكيفية تحوّل تعلُّم الآلة إلى سلسلة من القرارات البشرية: تحديد حاجة، وجمع أدلة ذات صلة، وفحص تلك الأدلة وتحويلها، واختيار نموذج، والحكم على الأخطاء، ومواصلة المراقبة بعد الإطلاق. ويجعل أسلوب المشاريع المفاهيمَ المجردة ملموسة. فمجموعة بيانات احتيال محاكاة توضح لماذا يمكن لدرجة دقة شبه مثالية أن تتعايش مع شبه انعدام في اكتشاف الاحتيال؛ ومجموعة بيانات محطة طاقة تبيّن كيف يمكن لفحوص SQL الأساسية وتحليل الارتباط وانحدار بسيط أن تنتج خط أساس مفيدًا.
أقوى خيط ناظم هو أن الأتمتة تغيّر جهد تعلُّم الآلة دون أن تلغي المسؤولية. فالتعلُّم الآلي المؤتمت يستطيع تسريع اختيار النموذج وتدريبه، لكنه لا يستطيع تحديد ما ينبغي للشركة تحسينه، أو ما إذا كان أحد المدخلات سيوجد في الإنتاج، أو ما إذا كان الإنذار الكاذب أكثر كلفة من الحالة الفائتة. وهذه الأسئلة تعود إلى الحكم المؤسسي ويجب ترميزها في خيارات التقييم. وتُظهر الأمثلة مرارًا كيف تحمل قرارات تبدو تقنية، كعتبة الثقة أو إدراج سمة ما، عواقب تشغيلية.
تكون المادة فعّالة بوجه خاص حين تعلّم القارئ ألا يثق بالملخصات المريحة. فالدقة غير كافية في الاحتيال النادر؛ والارتباط ليس سببية؛ والأداء العالي في التدريب لا يثبت التعميم؛ وإسناد السمات ليس روايةً للآلية السببية. وهذه التمييزات أساسية للممارسة المسؤولة. غير أن المعالجة تمهيدية عن قصد. فجودة البيانات أكثر من ترشيح القيم خارج النطاقات المعروفة، ولطرق التفسير افتراضاتها الخاصة، ومراقبة الإنتاج تتطلب أكثر من ملاحظة الانجراف وإعادة التدريب. ويشير الكتاب إلى بعض هذه الحدود مع إبقاء المشاريع في المتناول.
بالنسبة للمبتدئ، فإن أثمن تحوّل ذهني هو التعامل مع النماذج بوصفها مكوّنات داخل نظام قرار. فقيمتها تعتمد على مدى ربط النظام الكامل بين السؤال والبيانات والمقياس والتدخل والتغذية الراجعة المستمرة. إن الذكاء الاصطناعي قليل البرمجة يخفض كلفة بناء نموذج أولي. لكنه لا يخفض كلفة إساءة فهم ما يقوله هذا النموذج الأولي فعلًا لمستخدميه.
ملخص المراجعات
يحظى كتاب «الذكاء الاصطناعي منخفض الكود: مدخل عملي قائم على المشاريع إلى تعلّم الآلة» بإشادة كبيرة لنهجه الملائم للمبتدئين في تعلّم الآلة باستخدام الخدمات السحابية. يقدّم الكتاب تجربة تعلّم عملية تتدرج من اللاكود إلى تقنيات أكثر تقدمًا. ويركّز على خدمات جوجل كلاود مع الإشارة إلى أدوات أخرى. ويقدّر القرّاء أسلوبه القائم على حل المشكلات وتطبيقاته الواقعية. والكتاب محدَّث وشامل، وإن كان يفترض إلمامًا ببعض المفاهيم الإحصائية. يُنصح بشراء النسخة الإلكترونية للاستفادة من الروابط القابلة للنقر وتسهيل الرجوع إلى الشيفرة. ويُنصح بالحذر من التكاليف المحتملة لخدمات الحوسبة السحابية.
قرأ الآخرون أيضًا
المصطلحات
الذكاء الاصطناعي منخفض الكود
تعلّم الآلة بقدر أقل من البرمجةنهج لبناء تطبيقات تعلّم الآلة بقدر أقل من البرمجة اليدوية. تتيح أدوات اللاكود للمستخدمين العمل عبر منصة دون كتابة أي شيفرة، بينما تولّد أدوات الكود المنخفض معظم الشيفرة الأساسية وتتيح مزيدًا من التخصيص. يمكن لكلا النهجين تسريع التطوير، لكن يظل على المستخدمين تحديد المشكلة وتقييم البيانات والحكم على أداء النموذج.
التعلّم الآلي الآلي (AutoML)
تطوير النماذج بصورة آليةيشير التعلّم الآلي الآلي إلى أدوات تتولى أجزاء كبيرة من تطوير النماذج، بما في ذلك اختيار النموذج وتدريبه وضبطه وتقييمه. يقدّم المستخدم البيانات والهدف، ثم يراجع المخرجات. يمكن أن يجعل AutoML إنشاء النماذج الأولية أسرع وأكثر سهولة، لكنه لا يقرّر ما إذا كان الهدف أو البيانات مناسبين للقرار في الواقع العملي.
التحليل الاستكشافي للبيانات
الفحص الأولي للبياناتالتحليل الاستكشافي للبيانات (EDA) هو عملية فحص بنية مجموعة البيانات وتوزيعاتها والعلاقات فيها والمشكلات المحتملة قبل بناء النماذج. يمكن للإحصاءات الوصفية والتصورات البيانية أن تكشف القيم المفقودة أو غير المعتادة وعلاقات الخصائص والأنماط المحتملة. يساعد التحليل الاستكشافي في تحديد المدخلات التي قد تكون مفيدة، لكن الارتباطات الملحوظة تظل بحاجة إلى تفسير وتحقق.
هندسة الخصائص
إنشاء المدخلات أو تحويلهاهندسة الخصائص هي إنشاء مدخلات النموذج أو تحويلها لجعل المعلومات المفيدة أكثر إتاحة للخوارزمية. يمكنها دمج حقول موجودة، أو اشتقاق قيمة مرتبطة بالزمن، أو ترميز نمط مثل ظهور معرّف معيّن بصورة متكررة. تعتمد هندسة الخصائص الجيدة على تحليل البيانات وعلى معرفة كيفية استخدام التنبؤ.
الاستدعاء
نسبة الحالات الإيجابية المكتشفةالاستدعاء هو نسبة الأمثلة الإيجابية الفعلية التي يتنبأ النموذج بها بشكل صحيح على أنها إيجابية. في كشف الاحتيال، يقيس الاستدعاء حصة المعاملات الاحتيالية التي يلتقطها النموذج. قد يؤدي رفع الاستدعاء إلى تقليل حالات الاحتيال الفائتة، لكنه قد يزيد أيضًا من الإنذارات الكاذبة وعبء مراجعة المعاملات المشروعة.
الدقة
نسبة التنبيهات الصحيحةالدقة هي نسبة الأمثلة المتوقَّعة على أنها إيجابية والتي تكون إيجابية فعلًا. في كاشف الاحتيال، تقيس الدقة عدد المعاملات المُبلَّغ عنها التي هي احتيالية حقًّا. تتأثر الدقة والاستدعاء بعتبة التصنيف وغالبًا ما يتحركان في اتجاهين متعاكسين، لذا يعتمد التوازن المطلوب بينهما على عواقب الإنذارات الكاذبة والحالات الفائتة.
انجراف البيانات
تغيّر البيانات الواردةانجراف البيانات هو اختلاف بين البيانات المستخدمة في تدريب النموذج والبيانات التي يتلقاها بعد النشر. قد تُضعف التغيرات في سلوك العملاء أو ظروف التشغيل أو البيئة العلاقة التي تعلّمها النموذج. يمكن للمراقبة أن تكشف أن افتراضات النموذج لم تعد ملائمة، مما يستدعي التحقيق أو إعادة التدريب أو اتخاذ إجراء تصحيحي آخر.
قيم شابلي
متوسط مساهمات الخصائصتنبع قيم شابلي من نظرية الألعاب التعاونية، وتوزّع النتيجة بين المشاركين المساهمين فيها. في تفسيرات النماذج، تُعامل الخصائص على أنها مساهمة في التنبؤ، وتلخّص كل قيمة متوسط مساهمة الخاصية عبر تركيبات مختلفة من المدخلات. يمكنها توضيح كيف يختلف تنبؤ النموذج عن خط أساس، لكنها لا تثبت التأثيرات السببية.
تحميل PDF
تحميل EPUB
.epub مثالية لقراءة الكتب الإلكترونية على الهواتف والأجهزة اللوحية وأجهزة القراءة الإلكترونية.