• طبقه بندی در داده‌کاوی چگونه است؟
• انواع مدل های طبقه بندی داده ها

مدل های طبقه بندی ‏‏ برای بسیاری از کاربرد ها در زمینه های مختلف علوم به کار گرفته شده است.  در مدل های طبقه بندی ‏‏، از داده های آموزشی برای ساخت یک مدل طبقه بندی ‏‏ برای پیش بینی برچسب کلاس برای یک نمونه جدید استفاده می شود. خروجی های مدل طبقه بندی ‏‏ می توانند مانند طبقه بندی ‏‏ کننده درخت تصمیم گسسته یا مانند طبقه بندی ‏‏  Bayes Naiveپیوسته باشند.

با این حال، خروجی های الگوریتم های یادگیری نیاز به ارزیابی و تجزیه و تحلیل دقیق دارند و این تحلیل باید به درستی تفسیرشود تا الگوریتم های یادگیری مختلف ارزیابی شوند. عملکرد طبقه بندی ‏‏ با مقادیر اسکالر مانند معیار های مختلف دقت، حساسیت و ویژگی نشان داده می شود.

مقایسه طبقه بند‏‏ کننده های مختلف با استفاده از این معیار ها آسان است، اما مشکلات زیادی مانند حساسیت به داده های نامتعادل و نادیده گرفتن عملکرد برخی کلاس ها دارد. روش های ارزیابی گرافیکی مانند ویژگی های عملیاتی گیرنده (ROC) و منحنی های Recall-Recision تفسیر های متفاوتی از عملکرد طبقه بندی ‏‏ ارائه می دهند.

طبقه بندی در داده کاوی چگونه است؟

داده‌کاوی یکی از دانش های رایج در دوره حاضر است. به طور معمول، این به معنای بررسی اطلاعات است که به روش های مختلفی برای به دست آوردن طرح ها و جمع آوری اطلاعات تقریباً مشابه طرحی که این اطلاعات را مدیریت می کند، استفاده می شود. پیش از آنکه به سایر بخش ها برسیم تعریف کوتاهی از داده کاوی را اینجا خواهیم داشت.

داده کاوی مستلزم ارزیابی داده های جمع آوری شده قبلی به منظور استخراج اطلاعات جدید و بامعنا است.

مقاله داده کاوی چیست؟

در بخش داده کاوی، برای شروع، مجموعه‌ های عظیم اطلاعات مرتب‌ سازی می ‌شوند، سپس الگوها شناسایی و ارتباطات و رویه‌ها برای انجام بررسی اطلاعات و درک مسائل استفاده می ‌شوند. یکی از مهم ترین راهبردهای مورد استفاده، روش طبقه بندی ‏‏ است. در این مقاله انتظار داریم مفاهیم اساسی طبقه بندی ‏‏ را بررسی کنیم.

اساساً، رویه‌ های طبقه بندی ‏‏ برای طبقه بندی ‏‏ هر اطلاعاتی در مجموعه‌ای از اطلاعات و تنزل آن به یکی از مجموعه‌ های از پیش تعیین‌ شده کلاس ‌ها یا دسته‌ ها استفاده می‌ شوند. استراتژی طبقه بندی ‏‏ از روش ‌های عددی مانند درخت تصمیم، برنامه‌نویسی خطی، شبکه عصبی و بینش‌هایی چون آمار برای طبقه بندی ‏‏ استفاده می ‌کند.

به عبارت دیگر، طبقه بندی ‏‏ روشی برای یافتن نمایشی است که طبقات و ایده‌ های اطلاعاتی را توصیف می‌کند و داده ‌ها را در دسته ‌های خاص جدا می‌ کند. محاسبات طبقه بندی ‏‏ می ‌توانند از تجربیات گذشته باشد  و این یادگیری مبتنی بر مشارکت حاکی از گامی اساسی در کپی کردن ظرفیت‌ های القایی مغز انسان است که بر اساس این ظرفیت مغز می‌ تواند مجموعه ‌ای از مقوله‌ ها (زیرجمعیت‌ها) را تشخیص دهد و انجام دهد.

انواع مدل های طبقه بندی داده ها

از طبقه بندی ‏‏‌ ها می‌ توان به موارد زیر اشاره کرد: طبقه بندی ‏‏ باینری یا دودویی: به موضوعات طبقه بندی ‏‏ که دو نام کلاسی دارند، برای مصداق (صفر و یک یا بله، خیر)، مسائل طبقه بندی ‏‏ دو کلاسه(باینری) می‌گویند. مانند موضوع تشخیص ایمیل های اسپم که دو نام اسپم یا غیر اسپم دارند. یا در آزمایشات درمانی، مشخص می شود که آیا یک بیماری پایدار دارای عفونت خاصی است یا خیر، بنابراین ما دو نام داریم از بیمار یا غیر بیمار. در واقع، در طبقه بندی ‏‏ باینری، همان طور که در شکل زیر مشاهده می‌کنید، تعداد کمی از اطلاعات جای یک کلاس و تعداد کمی دیگر برای کلاس دیگر هستند.

طبقه بندی ‏‏ چند کلاسه

  Multi-Class Classification طبقه بندی ‏‏ چند کلاسه: مسائل طبقه بندی ‏‏ که در آن اطلاعات بیش از ۲ کلاس جای دارند، مسائل چند طبقه‌ ای نامیده می ‌شوند. برای مورد، در شکل زیر، اطلاعات در ۳ کلاس متنوع است. مانند طبقه بندی ‏‏ چهره، طبقه بندی ‏‏ گونه های گیاهی و … که به طبقات متنوع (بیش از ۲ طبقه) تفکیک می شوند، در دسته بندی موضوعات طبقه بندی ‏‏ چند طبقه( کلاس ) قرار می گیرند.

الگوریتم های طبقه بندی داده کاوی

 در میان انواع محاسبات طبقه بندی ‏‏ داده کاوی، می‌ توان به موارد زیر اشاره کرد:

شبکه های عصبی

به منظور تقلید از رفتار محاسباتی مغز انسان، کارهای تحقیقاتی متعددی توسط متخصصان علوم کامپیوتر و مهندسان آغاز شده است. علاوه بر این، ریاضیدانانی که به وجود آمدن آنها منجر به ایجاد یک بخش در هوش مصنوعی به نام “شبکه های عصبی” شده است. در مبحث شبکه های عصبی ساخته ‌شده، مدل ‌های برنامه ‌های علمی و رایانه‌ ای متعددی که توسط مغز انسان پیش می ‌رود، پیشنهاد شده ‌اند.برای آشنایی بیشتر روی تصویر زیر کلیک کنید.

به این ترتیب، با انگیزه سازماندهی نورون ها در مغز انسان، سعی در ایجاد پردازش اطلاعات دارد. در حقیقت، شبکه عصبی به‌ جای هدایت آنچه باید به رایانه انجام شود (برنامه‌نویسی)، برای آموزش رایانه برای پاسخگویی مناسب به موقعیت‌ ها تفاوت ایجاد می ‌کند. هر نورون در این سازمان می تواند یک جزء آماده کننده باشد و مسائل مختلف را در کنار سایر عناصر آماده کننده درک کند.

درخت تصمیم (DT) انتخاب درخت

درخت تصمیم می ‌تواند یک پشتیبان تصمیم باشد که از درخت‌ها برای مدل‌ سازی بهره مند می‌ شود. درختان تصمیم معمولاً در پرس و جوها و عملیات های مختلف مورد استفاده قرار می گیرند. به ویژه، در آزمون انتخاب، برای تصمیم گیری رویه ای که هدف را با بیشترین احتمال انجام می دهد، استفاده می شود. برای آشنایی بیشتر با درخت تصمیم اینجا کلیک کنید.

مزایای طبقه‌بندی داده ها

استراتژی‌ های مبتنی بر طبقه بندی ‏‏، استراتژی ‌های محتاطانه و ماهرانه ‌ای هستند که با استفاده از این استراتژی ‌ها، داده ‌های دقیق و تنظیم می‌کنید، زیرا اطلاعات به ‌دست ‌آمده از داده‌ های دقیق مربوط به همان تجارت است. این دانش باعث ایجاد یک تغییر شگفت انگیز در دنیای تجارت و تبلیغات خواهد شد.

انجام فرآیند طبقه بندی

دسته بندی به گونه ای است که بر اساس یک مجموعه آماده سازی، چارچوب را یاد می گیرد که با کوچکترین اشتباه اطلاعات را به دسته های مناسب جدا کند. مجموعه آماده سازی حاوی اطلاعاتی است که دسته بندی آن مشخص است. هر طرح یا دسته بندی دارای یک نام است و اطلاعات با همان برچسب هدف در یک مجموعه قرار می گیرد. هدف این استراتژی به خاطر سپردن اثری است که طرح های ورودی (بردارهای برجسته) را با نام مقایسه آنها ترسیم می کند.

فرآیند طبقه بندی ‏‏ دو مرحله دارد: آماده سازی (آموزش) و آزمایش (تست). تقریباً ۸۰٪ از اطلاعات موجود در مجموعه داده را به عنوان تهیه اطلاعات و ۲۰٪ باقیمانده را برای آزمایش و تأیید انتخاب می کنیم. واضح است که نام اصلی الگوهای آماده سازی در حال حاضر ارائه شده است. در مرحله آزمایش، طرح هایی که نام آنها مشخص نیست به چارچوب داده می شود و سیستم طراحی شده با کمک کار آموخته شده، بازده یا نام آنها را پیش بینی می کند.

روش های طبقه بندی ‏‏ در داده کاوی

برخی از اقداماتی که از ماتریس سردرگمی برای ارزیابی یک تست تشخیصی به دست می آیند در بخش [۱۹[گزارش شده است. به طور کلی این مقاله، به هشت بخش تقسیم شده است. پاورز یک بحث عالی در مورد روش های ارزیابی دقت، فراخوان، ROC، score-F اطلاعات، نشانه گذاری و همبستگی با توضیحات جزئیات ارائه کرده است. سوکولووا و همکاران وی، برخی از معیار ها را گزارش کرده که در تشخیص پزشکی استفاده می شوند. علاوه بر این، بررسی خوب برخی از اقدامات و استحکام این اقدامات در برابر تغییرات مختلف در ماتریس سردرگمی در ادامه معرفی شده است.

تام فاوست مقدمه مفصلی درباره منحنی  ROCارائه کرده که شامل (۱) توضیحات در مورد اصول اولیه منحنی، (۲) (ROC)  مثال واضح برای تولید منحنی، (۳)) (ROC بحث های جامع و ( ۴) توضیحات در مورد مساحت است. متریک زیر منحنی. ( AUC)  جسی دیویس و مارک گودریچ رابطه بین  ROCو منحنی های Recall-Recision را گزارش کردند. مقاله مایک، مرور کلی از روش های ارزیابی طبقه بندی ‏‏ را با هدف ارائه اصول اساسی این اقدامات و نشان دادن نحوه عملکرد آن به عنوان منبعی جامع برای محققان علاقه مند به حوزه هوش مصنوعی معرفی می کند.

معیار های طبقه بندی ‏‏ ‏

معیار های طبقه بندی ‏‏ با داده های نامتعادل، روش های ارزیابی مختلف، زمانی به داده های نامتعادل حساس هستند که تعداد نمونه های یک کلاس در یک مجموعه داده از نمونه های کلاس ( های) دیگر بیشتر باشد . برای توضیح این موضوع، ماتریس سردرگمی را در شکل ۱ در نظر بگیرید. توزیع کلاس، نسبت بین نمونه های مثبت و منفی است  ( PN)نشان دهنده رابطه بین ستون سمت چپ به ستون سمت راست است. هر معیار ارزیابی که از مقادیر هر دو ستون استفاده می کند، به داده های نامتعادل همان طور که در بخش [۸[  گزارش شده است حساس خواهد بود. به عنوان مثال، برخی از معیار ها مانند دقت ۱  از مقادیر هر دو ستون ماتریس سردرگمی استفاده می کنند. بنابراین، با تغییر توزیع داده ها، این معیار ها نیز تغییر خواهند کرد، حتی اگر عملکرد طبقه بندی ‏‏ کننده تغییر نکند.

بنابراین، چنین معیار هایی نمی توانند بین تعداد برچسب های اصلاح شده از کلاس های مختلف، تمایز قائل شوند.

 این موضوع تا حدی درست است زیرا برخی از معیار ها مانند میانگین هندسی   (GM)و شاخص بودن     (YI)  مقادیر استفاده از هر دو ستون وجود دارد.

با این حال، برخی از معیار هایی که از مقادیر هر دو ستون استفاده می کنند، به داده های نامتعادل حساس نیستند؛ زیرا تغییرات در توزیع کلاس یکدیگر را خنثی می کنند. به عنوان مثال، دقت به صورت زیر تعریف می شود.

و همچنین به صورت زیر:

بنابراین، هر دو معیار از مقادیر هر دو ستون ماتریس سردرگمی استفاده می کنند. تغییر توزیع کلاس را می توان با افزایش/کاهش تعداد نمونه های کلاس منفی/ مثبت به دست آورد. با عملکرد طبقه بندی ‏‏ یکسان، فرض کنید که نمونه های کلاس منفی به میزان  α افزایش می یابند. بنابراین، مقادیر  TN و FPبه ترتیب  αTNو  αFP خواهند بود. بنابراین، دقت به صورت زیر خواهد بود.

از این رو تغییرات در کلاس  TN+ FP منفی یکدیگر را خنثی می کنند. از طرفی GM چنین خواهد بود:

 به طور مشابه، هر معیاری را می توان بررسی کرد تا بدانیم آیا به داده های نامتعادل حساس است یا خیر؟

Acc

دقت و میزان خطای دقت (Acc) یکی از متداول ترین معیار های مورد استفاده برای عملکرد طبقه بندی ‏‏ است و به عنوان نسبتی بین نمونه های طبقه بندی ‏‏ صحیح به تعداد کل نمونه ها به شرح زیر تعریف می شود :

که در آن Pو  Nبه ترتیب تعداد نمونه های مثبت و منفی را نشان می دهد.

EER

مکمل معیار دقت، میزان خطا  (EER) یا نرخ طبقه بندی ‏‏ اشتباه است.

این متریک تعداد نمونه های طبقه بندی ‏‏ اشتباه از هر دو کلاس مثبت و منفی را نشان می دهد و به صورت زیر محاسبه می شود:

هر دو معیار دقت و میزان خطا به داده های نامتعادل حساس هستند. مشکل دیگر در مورد دقت این است که دو طبقه بندی ‏‏ کننده می توانند دقت یکسانی داشته باشند، اما با توجه به انواع تصمیم های صحیح و نادرست که ارائه می دهند، عملکرد متفاوتی دارند.

با این حال،  Saito Takaya و  Rehmsmeier Marcگزارش داده اند که دقت با داده های نامتعادل مناسب است زیرا آنها دریافتند که مقادیر دقت داده های متعادل و نامتعادل در مثال آنها یکسان است .

دلیل یکسان بودن مقادیر دقت در مثال آنها این است که مجموع  TPو  TNدر داده های متعادل و نامتعادل یکسان بود.

حساسیت و ویژگی

حساسیت و ویژگی حساسیت، نرخ مثبت واقعی ،  (TPR)نرخ ضربه، یادآوری، یک طبقه بندی ‏‏ کننده، نمونه های طبقه بندی ‏‏ شده مثبت را به تعداد کل نمونه های مثبت نشان می دهد و طبق معادله تخمین زده میشود . ۲ ( در حالی که ویژگی، نرخ منفی واقعی ،(TNR)یا یادآوری معکوس به عنوان نسبت نمونه های منفی طبقه بندی ‏‏ صحیح به تعداد کل نمونه های منفی در معادله بیان میشود.

دقت را می توان در اصطلاحات حساسیت و ویژگی به شکل زیر تعریف کرد:

بنابراین، ویژگی نشان دهنده نسبت نمونه های منفی است که به درستی طبقه بندی ‏‏ شده اند و حساسیت نسبت نمونه های مثبت است که به درستی طبقه بندی ‏‏ شده اند. به طور کلی، می توان حساسیت و ویژگی را دو نوع دقت در نظر گرفت که اولی برای نمونه های مثبت واقعی و دومی برای نمونه های منفی واقعی، حساسیت به  TPو  FN به این مورد بستگی دارد که در همان ستون ماتریس سردرگمی قرار داشته باشند و به طور مشابه، معیار ویژگی به  TNو FP به این مورد بستگی دارد که در همان ستون باشند. از این رو، هم حساسیت و هم ویژگی را می توان برای ارزیابی عملکرد طبقه بندی ‏‏ با داده های نامتعادل استفاده کرد .

نرخ های مثبت و منفی کاذب

نرخ مثبت کاذب (FPR ) همچنین نرخ هشدار کاذب   (FAR)یا Fallout نامیده می شود و نشان دهنده نسبت بین نمونه های منفی طبقه بندی ‏‏ نادرست به تعداد کل نمونه های منفی است .

به عبار ت دیگر، نسبت نمونه های منفی است که به اشتباه طبقه بندی ‏‏ شده اند. از این رو، آن ویژگی را مانند معادله تکمیل می کند. (۴) نرخ منفی کاذب (FNR) یا نرخ اشتباه، نسبت نمونه های مثبتی است که به اشتباه طبقه بندی ‏‏ شده اند. بنابراین، مکمل معیار، حساسیت است و در معادله تعریف شده است . (۵ ) هر دو  FPR و  FNR به تغییرات در توزیع داده حساس نیستند و از این رو هر دو معیار را می توان با داده های نامتعادل استفاده کرد .

ارزش های پیش بینی کننده (مثبت و منفی) عملکرد پیش بینی را منعکس می کنند. مقدار پیش بینی مثبت   (PPV)یا دقت نشان دهنده نسبت نمونه های مثبتی است که به درستی به تعداد کل نمونه های پیش بینی شده مثبت طبقه بندی ‏‏ شده اند، همانطور که در معادله نشان داده شده است.

برعکس، ارزش پیش بینی منفی ،(NPV) دقت معکوس، یا دقت منفی واقعی (TNA) نسبت نمونه های منفی را که به درستی طبقه بندی ‏‏ شده اند به کل اندازه گیری می کند.

تعداد نمونه های پیش بینی شده منفی همانطور که در معادله نشان داده شده است. . (۷) این دو معیار به داده های نامتعادل حساس هستند . (۲۱) معیار های نرخ کشف کاذب  (FDR) و نرخ حذف نادرست  (FOR) به ترتیب مکمل PPVو NPV هستند (به معادله (۶)و (۷) مراجعه کنید.)

دقت را می توان در اصطلاحات حساسیت و ویژگی به شکل زیر تعریف کرد:

نسبت درستنمایی

نسبت درستنمایی هم حساسیت و هم ویژگی را ترکیب می کند و در تست های تشخیصی استفاده می شود. در این آزمایش ها، همه نتایج مثبت واقعی نیستند و همچنین برای نتایج منفی یکسان هستند.

نسبت درستنمایی تأثیر یک نتیجه را بر احتمال می سنجد. احتمال مثبت    (LR)را اندازه گیری می کند که در صورت مثبت احتمال منفی (-LR)را اندازه گیری می کند.

  (9) به طور مشابه، مانند معادله محاسبه می شود . (۹ ) هر دو معیار به معیار های حساسیت و ویژگی بستگی دارند. بنابراین، برای داده ها ی متعادل و نامتعادل مناسب هستند.

هر دو  +LRو  – LRدر یک معیار ترکیب می شوند که عملکرد آزمایش را خلاصه می کند، این اندازه گیری نسبت شانس تشخیصی (DOR)نامیده می شود. متریک  DORنشان دهنده نسبت بین نسبت درستنمایی مثبت به نسبت درستنمایی منفی مانند معادله است. (۱۰) این معیار برای تخمین توانایی تشخیصی تست و همچنین برای مقایسه بین دو تست تشخیصی استفاده می شود. می توان از معادله (۱۰) اشاره کرد که مقدار DOR زمانی افزایش می یابد که  TP (1)  و  TN بالا و  ) FP2  ( و  FN پایین باشند.

شاخص یودن

نمایه یودن شاخص یودن (YI) یا معیار اطلاعات کتاب ساز (BM)یکی از تست های تشخیصی شناخته شده است. قدرت تمایز آزمون را ارزیابی می کند. فرمول شاخص یودن حساسیت و ویژگی را در متریک   DOR ترکیب می کند و به صورت زیر تعریف می شود.

  صفر در زمانی که تست ضعیف است تا یک که نشان دهنده یک تست تشخیصی کامل است، متغیر می باشد. همچنین با داده های نامتعادل مناسب است. یکی از معایب عمده این تست عدم تغییر در تفاوت بین حساسیت و ویژگی تست است. به عنوان مثال، با توجه به دو تست، حساسیت مقادیر برای تست اول و دوم به ترتیب ۷.۰و ۹.۰  است و مقادیر ویژگی برای آزمون اول و دوم به ترتیب  8.0 و ۶.۰ است. مقدار YI برای هر دو آزمون ۵.۰ است.

معیار های دیگر

معیار های مختلفی وجود دارد که می توان از معیار های قبلی محاسبه کرد. برخی از جزئیات در مورد هر اقدام به شرح زیر است:

ضریب همبستگی متیوز  :(MCC)این معیار توسط برایان دبلیو معرفی شد.

متیوز در سال ، ۱۹۷۵ و نشان دهنده همبستگی بین طبقه بندی ‏‏ مشاهده شده و پیش بینی شده است، و مستقیما از ماتریس سردرگمی مانند معادله محاسبه می شود. (۱۱) ضریب +۱یک پیش بینی کامل را نشان می دهد، ۱- نشان دهنده اختلاف کل بین پیش بینی و مقادیر واقعی است و صفر به این معنی است که بهتر از پیش بینی تصادفی نیست . این معیار به داده ها ی نامتعادل حساس است.

توان تشخیصی  :(DP)این اندازه گیری به حساسیت و ویژگی بستگی دارد و به صورت زیر تعریف می شود.

measure-F‏ ‏

F به آن امتیاز  F1نیز می گویند و میانگین هارمونیک دقت و یادآوری را در معادله نشان می دهد. ) ۱۲(  مقدار measure-Fاز صفر تا یک متغیر است و مقادیر بالای measure-Fنشان دهنده عملکرد بالای طبقه بندی ‏‏ است. این اندازه گیری یک نوع دیگر دارد که  Measure-Fβنامیده می شود. این متغیر نشان دهنده میانگین هارمونیک وزنی بین دقت و یادآوری است همانطور که در معادله  (13) این معیار نسبت به تغییرات در توزیع داده حساس است. فرض کنید که نمونه های کلاس منفی به میزان  αافزایش می یابد. بنابراین، اندازه گیری -Fبه صورت زیر محاسبه می شود و از این رو این متریک تحت تأثیر تغییرات توزیع کلاس F- Measure=  قرار می گیرد.

F-measure تنظیم شده  (AGF) در معرفی شد. اندازه گیر ی های  Fفقط از سه عنصر از چهار عنصر ماتریس سردرگمی استفاده می کنند و از این رو دو طبقه بندی ‏‏ کننده با مقادیر  TNRمتفاوت ممکن است امتیاز  Fیکسانی داشته باشند. بنابراین، متریک AGF برای استفاده از تمام عناصر معرفی شده است.

ماتریس سردرگمی و ارائه وزن های بیشتری به نمونه هایی که به درستی در کلاس اقلیت طبقه بندی ‏‏ شده اند. این معیار به صورت زیر تعریف می شود:

که در آن  F2اندازه گیری  Fاست که در آن  با ساختن یک ماتریس سردرگمی جدید محاسبه می شود که در آن برچسب کلاس هر نمونه تغییر می کند (یعنی نمونه های مثبت منفی می شوند و بالعکس).

نشانه گذاری :(MK) بر اساس معیار های  PPVو NPVبه صورت زیر تعریف می شود.  این متریک به تغییرات داده حساس است و از این رو برای داده های نامتعادل مناسب نیست.  به این دلیل است که معیار علامت گذاری به معیار های PPVو NPVبستگی دارد و PPVو NPV  هر دو به تغییرات در توزیع داده ها حساس هستند. نرخ طبقه بندی ‏‏ متوازن یا دقت متعادل :(BCR)این متریک معیار های حساسیت و ویژگی را ترکیب می کند.

میانگین هندسی

میانگین هندسی :(GM )هدف اصلی همه طبقه بندی ‏‏ کننده ها بهبود حساسیت و بدون به خطر انداختن ویژگی است. با این حال، اهداف حساسیت و ویژگی اغلب متناقض هستند، که ممکن است به خوبی کار نکنند، به خصوص زمانی که مجموعه داده نامتعادل باشد.

از این رو، میانگین هندسی (GM)معیار های حساسیت و ویژگی را با توجه به معادله (۱۵) جمع می کند. (میانگین هندسی تنظیم شده (AGM)برای به دست آوردن هر چه بیشتر اطلاعات ممکن در مورد هر کلاس پیشنهاد شده است . متریک  AGMمطابق معادله (۱۶) تعریف می شود.

متریک  GM را می توان با مجموعه داده های نامتعادل استفاده کرد. لوپز و همکاران گزارش داده اند که متریک AGM با داده های نامتعادل مناسب است . با این حال، تغییر توزیع کلاس منفی تأثیر کمی بر متریک AGM دارد و از این رو با داده های نامتعادل مناسب نیست.

این موضوع را می توان به سادگی با فرض اینکه نمونه های کلاس منفی با بار افزایش یافته است، اثبات کرد.

بنابراین متریک AGM به صورت زیر محاسبه می شود

جاکارد

جاکارد: به این معیار ضریب تشابه تانیموتو نیز گفته می شود. متریک ژاکارد به صراحت، طبقه بندی ‏‏ صحیح نمونه های منفی را نادیده می گیرد.

Jaccard =TP/(TP+FP+FN)

متریک جاکارد به تغییرات در توزیع داده ها حساس است.

شکل ۴ روابط بین روش های مختلف ارزیابی طبقه بندی ‏‏ را نشان می دهد. همانطور که نشان داده شد، تمام روش های ارزیابی را می توان از ماتریس سردرگمی محاسبه کرد. همانطور که نشان داده شده است، دو کلاس وجود دارد. کلاس قرمز و کلاس آبی. پس از اعمال یک طبقه بندی ‏‏، طبقه بندی ‏‏ کننده با یک دایره سیاه نشان داده می شود و نمونه هایی که داخل دایره هستند به عنوان نمونه ها ی کلاس قرمز و نمونه ها ی خارج از دایره به عنوان نمونه ها ی کلاس آبی طبقه بندی ‏‏ می شوند. علاوه بر این، از شکل مشخص است که بسیار ی از روش های ارزیابی به معیار های TPRو TNRبستگی دارند و همه روش های ارزیابی را می توان از ماتریس سردرگمی تخمین زد.

مثال گویا

در این بخش دو مثال معرفی می شود. این مثال ها نحوه محاسبه معیار های طبقه بندی ‏‏ را با استفاده از دو کلاس یا چندین کلاس توضیح می دهند.

مثال طبقه بندی ‏‏ باینری

 در این مثال، فرض کنید دو کلاس ( A و  (B را داریم، یعنی طبقه بندی ‏‏ باینری و هر کلاس  100 نمونه دارد. کلاس  Aنشان دهنده کلاس مثبت و کلاس  Bنشان دهنده کلاس منفی است. تعداد نمونه های طبقه بندی ‏‏ صحیح در کلاس  Aو  Bبه ترتیب ۷۰ و ۸۰ نمونه می باشد. از این رو، مقادیر FN,TP,FP  به ترتیب ۲۰، ۸۰، ۷۰ و ۳۰ هستند. مقادیر معیار های طبقه بندی ‏‏ مختلف به شرح زیر است.

ما تعداد نمونه های کلاس  Bرا به ۱۰۰۰ افزایش دادیم تا نشان دهیم که چگونه معیارهای طبقه بندی ‏‏ هنگام استفاده از داده های نامتعادل تغییر می کنند و ۸۰۰ نمونه از کلاس  Bبه درستی طبقه بندی ‏‏ شده اند. در نتیجه، مقادیر FP; TN;TPو  FN به ترتیب ۲۰۰، ۸۰۰، ۷۰ و ۳۰ هستند. در نتیجه، تنها مقادیر دقت، دقت/ ،NPV، PPV میزان خطا، دقت بهینه سازی، اندازه گیری F و NPV اندازه گیری و جاکارد به داده های نامتعادل حساس هستند.

مثال چند طبقه بندی ‏‏ در این مثال، سه کلاس B، A و  Cوجود دارد که نتایج یک آزمون طبقه بندی ‏‏ در شکل ۴ نشان داده شده است. از شکل، مقادیر  TPB؛TPAو  TBCبه ترتیب ۷۰، ۸۰ و ۹۰ هستند. مقادیر منفی کاذب برای هر کلاس (کلاس واقعی) همان طور که قبلا ذکر شد با اضافه کردن تمام خطا ها در ستون آن کلاس محاسبه می شود. برای مثال،

و بدین ترتیب داریم:

این موضوع را می توان به سادگی با فرض اینکه نمونه های کلاس منفی با بار افزایش یافته است، اثبات کرد.

این مقاله دارای جزئیات بیشتر درباره روش های ارزیابی طبقه بندی ‏‏ شناخته شده است. علاوه بر این، این مقاله (۱)روابط بین روش های ارزیابی مختلف، (۲) مثال های عددی برای نشان دادن نحوه محاسبه این روش های ارزیابی، (۳) استحکام هر روش در برابر داده های نامتعادل که یکی از مهم ترین مشکلات است، کاربرد های زمان، و (۴) توضیح منحنی های مختلف در یک رویکرد گام به گام را معرفی می کند.