בית שעון האבטחה מיקרוסופט עולה על ביצועי סימנטק במבחן אנטי-וירוס

מיקרוסופט עולה על ביצועי סימנטק במבחן אנטי-וירוס

וִידֵאוֹ: ª (נוֹבֶמבֶּר 2024)

וִידֵאוֹ: ª (נוֹבֶמבֶּר 2024)
Anonim

במבחן האחרון על פי דרישה מבית AV-Comparatives, לא מעט מוצרים איבדו נקודות בגלל חיוביות שגויות - וזיהו בטעות תכנית תקפה כתוכנה זדונית. סימנטק ומיקרוסופט קיבלו ציון זהה על סמך איתור דגימות תוכנות זדוניות, אך סימנטק איבדה נקודות בגלל חיוביות שגויות. אבל יש בסיפור יותר מזה.

סריקה לפי דרישה

מבחן הסריקה על פי דרישה חושף כל מוצר שנבדק לאוסף של "דגימות מהשבועות / החודשים האחרונים שפגעו / ה שמשתמשים בתחום". הדגימות מנותחות עוד יותר כדי לסווג קבצים דומים ולהקטין את גודל מערך הדגימה, כך "כל פספוס נועד לייצג קבוצה שהוחמצה אחת." בבדיקה הספציפית הזו משתמשים 136, 610 דגימות אחרונות. הציון הראשוני של המוצר הוא אחוז הדגימות שהתגלו.

למרבה ההפתעה, נורטון אנטי-וירוס של סימנטק הדגים את שיעור הגילוי הנמוך ביותר (לפני ששקלנו חיובי כוזב), עם גילוי של 91.2 אחוזים. מוצרי אבטחה בסיסיים של מיקרוסופט התקבלו גבוה יותר וגילו 92 אחוז מהדגימות. עם זיהוי של 99.9 אחוזים, G Data AntiVirus הדף את הרשימה. כמה אחרים הצליחו יותר מ -99 אחוזים.

עמדות כוזבות

חוקרי AV-Comparatives משתמשים בטכניקת אשכול כדי לזהות את נקודות הניתוק המפרידות בין ADVANCED + (הדירוג העליון) ל- ADVANCED ו- ADVANCED מ- STANDARD. זו נקודת ההתחלה, אבל מוצר עם הרבה (16 עד 50) חיובי כוזב יאבד רמת דירוג אחת, ואחד עם רבים מאוד (51 עד 100) יאבד שניים. לא משנה מה הדירוג הראשוני שלו, אם מוצר מציג "רבים משוגעים" (מעל 100) חיוביות שגויות, הוא תמיד יקבל את הדירוג הלא מעברי של TESTED.

תשעה מתוך עשרים המוצרים שנבדקו איבדו דרגת דירוג אחת בגלל הרבה תוצאות חיוביות. לפחות לאף אחד מהם לא היו אנשי FP רבים מאוד או "משוגעים רבים". נורטון, החל בדירוג של STANDARD, שקע ל- TESTED, וכך גם AhnLab. במעגל הזוכים, עם דירוג של ADVANCED +, אנו מוצאים את Avira, Bitdefender, BullGuard, F-Secure ו- Kaspersky. לחץ כאן לצפייה בדוח המלא.

שים לב שלא תמצא את מיקרוסופט ברשימה בפרסים. חשבתי בהתחלה שמדובר בפיקוח, אבל מייסד שותף AV-Comparatives, פיטר סטלשהאמר, הציב אותי ישר. "החלטנו לא לרשום את מיקרוסופט בקטע הפרסים יותר (ובכל בדיקות נוספות)", הסביר Stelzhammer, "שכן ההגנה מחוץ לקופסה שלהם מופעלת ב- Windows כברירת מחדל." באופן דומה, AV-Test בחר להתייחס לניקוד של מיקרוסופט כאל בסיס בסיס מינימלי.

עמדות שווא משוקללות

סימנטק הסכימה במשך שנים שמספר פשוט של חיובי שווא אינו מועיל. חוקרי סימנטק ממליצים לכל בדיקה חיובית שגויה לכלול שקלול על סמך שכיחות התיק המעורב. לטענתם, מערכת ניתוח Norton Insight שלהם מונעת את האפשרות של חיובי כוזב בכל הקבצים למעט אלה עם שכיחות נמוכה. מסמך משני של AV-Comparatives מציע שהם עשויים להיות צודקים.

נספח ה- False Positives לדוח על פי דרישה מפרט כל קובץ בודד שכל מוצר שגילה כטעות זדוניות, יחד עם שם התוכנה הזדונית המשמשת ואומדן השכיחות. הם זיהו חמש רמות, מ"סביר להניח פחות ממאה משתמשים "ל"סביר להניח כמה מאות אלפים (או מיליונים)."

רק כדי לראות, אני בוחר מספר מייצג של משתמשים בכל רמה, 50 משתמשים ברמה הראשונה ועשרה פעמים גדולים יותר עבור כל רמה גבוהה יותר, עם 500, 000 משתמשים בתוכניות הנפוצות ביותר. לאחר מכן חישבתי את מספר המשתמשים שעשויים להיות מושפעים מתגובות חיוביות שגויות של כל מוצר. התוצאות, המוצגות בתרשים שלהלן, מציעות לי כי השוואות AV צריכות לשקול להשתמש בחישוב FP משוקלל דומה.

בתרשים זה, המוצרים שאיבדו את דרגת הדירוג בגלל חיוביות שגויות מוצגים עם נטוי מודגש. בחישוב המשוקלל שלי יש FP של נורטון שעשוי להשפיע על 13, 750 משתמשים. למספר מוצרים שלא התערערו על פי מספר ה- FPs היו למעשה השפעה גדולה יותר מסימנטק, כולל הזוכים קספרסקי ו- F-Secure.

לאמסיסופט היה המספר הגדול ביותר של תוצאות חיוביות שגויות בסך הכל, 38 מהן. נורא, נכון? אך אף אחת מהן לא הייתה משתי הרמות הגבוהות ביותר לשכיחות, כך שההשפעה התיאורטית שלה פחותה מזו של סופוס, עם 6 FPs בסך הכל, או ESET, עם 9 FPs.

מקאפי זכה לדירוג מתקדם במבחן הבסיסי לפי דרישה. עם 15 חיוביות שגויות, זה לא קצר מהמספר שיגרום לו לאבד רמת דירוג. עם זאת, החישוב המשוקלל שלי הוא האחראי על ההשפעה על למעלה ממאתיים אלף משתמשים, כמעט פי 16 מכפי שנורטון.

אלה אינם מספרים בעולם האמיתי, אלא ניסוי מחשבה שיעזור להבין מה המשמעות של שימוש בשכיחות במדידת חיוביות שגויות. לאחר שעברתי את התרגיל הזה, נותרתי מקווה כי משווים ל- AV ימצאו דרך לחשב את השכיחות בבדיקות החיוביות השגויות שלהם. פשוט לספור את המספרים בבירור זה לא מספיק.

מיקרוסופט עולה על ביצועי סימנטק במבחן אנטי-וירוס