הגן על האתר שלך מפני גנבי תוכן

נניח שאתה מספק מקוון של אלקטרוניקה משומשת. העסק שלך תלוי בבחור ההוא שרוצה שאייפד משומש ימצא את המחירים הנהדרים שלך. אבל לא הייתם שמחים כל כך אם מתחרה יתפוס את כל המחירון שלכם בכדי לנצח את המחירים שלכם מספיק. איך אתה יכול לאפשר גישה מלאה למשתמשים תוך מניעת גרידה סיטונאית של התוכן שלך? ובכן, תוכלו להשתמש ב- ScrapeDefender, פיתרון אנטי גירוד מבוסס ענן ששוחרר היום. דיברתי עם רוברט קיין, מנכ"ל ScrapeDefender, על אופן הפעולה של המוצר.

מי צריך את זה?

קיין אנו עובדים עם חברות תעופה, אלקטרוניקה צרכנית, שווקים פיננסיים ועוד כלקוחות בטא. "כל אתר שמפרסם הרבה תוכן חשוב, מחירונים, נדל"ן… את כל התוכן הזה ניתן לקצור המוני." קיין ציין כי בעוד שמגרדים מסוימים משתמשים בתסריטים פשוטים, אחרים מנסים להתחפש לבני אדם על ידי לכידת האתר לאט יותר, או באמצעות בוטים מרובים. "האתגר של הבעלים הוא איך אני מניח לעולם להימנע מבוטים לא מורשים", סיכם קיין.

כאן נכנס ScrapeDefender. "המסך שלנו הוא כלי פסיבי, כמו גוגל אנליטיקס", אמר קיין. "אתה מכניס שורת קוד אחת לאתר שלך המאפשרת לנו לעקוב אחריה 24/7. רק שורת קוד אחת בכותרת דף האינטרנט. מכיוון שהיא פסיבית, אין שום השפעה על רשת הייצור שלך."

לוח מחוונים מקוון

לקוח ScrapeDefender יכול להציג סקירה כללית על כל פעילות הגירוד החסומה, אך יכול גם לחפור עמוק לפרטים מלאים. קיין הדגים את המערכת, מראה לי את סוגי הפעילויות שמניפות דגל אדום. רבים הם די פשוטים. כתובת ה- IP של מגרד נוטה לערוך ביקורים רבים יותר באתר ובכיתות עמודים בהרבה מאלה של אדם, ונוטה להישאר על כל עמוד למשך זמן קצר מאוד. אפילו כאשר הם מנסים ללכת לאט ולהימנע מגילוי, ניתן לראות דפוס. ביקורים של בני אדם בדרך כלל מגיעים עם תחום מפנה; ביקורים של גרידת בוטים לעולם אינם מבצעים. כל הקריטריונים הללו תורמים לציון סיכון כולל; ציון גבוה מספיק כמעט תמיד מזהה פעילות גירוד.

"מגרדים מתוחכמים משתמשים בכמה כתובות IP", ציין קיין. "אבל אנו משתמשים בטביעת אצבע דיגיטלית כדי להתאים הפעלות קשורות גם כאשר ה- IP שונה. זה יכול להיות סקריפט הפועל במכונות שונות, או מכונות וירטואליות שונות, אך טביעת האצבע זהה.

מגרד, אין גירוד!

שאלתי מה קורה ברגע שמזהים מגרד. "אנחנו עושים זאת בשתי דרכים, " אמר קיין. "אנו מציעים מודול אבטחה שיכול לבצע את החסימה עבורם, אך אנו מגלים כי לארגונים שאיתם אנו עובדים יש חומת אש משלהם. כך, יש לנו ממשק API שיכול לשלוח את כתובות ה- IP החשודות לחומת האש שלהם."

אז מה זה עלה? התמחור מתחיל ב -79 דולר לחודש ומגדיל את גודל האתר בכל גודל. "מישהו יצר איתנו קשר בשבוע שעבר, " אמר קיין, "על אתר עם 25 מיליון צפיות בעמוד… ביום ! אנחנו תומכים בזה."

החברה תנהל סריקה בכ -150 פגיעויות הקשורות לגרד עבור לקוח חדש, אך כל אחד יכול לבצע סריקה בחינם הבודקת תת-קבוצה של אלה. פשוט בקר באתר ScrapeDefender והזן את שם הדומיין. בעוד כמה דקות תהיה לך את התשובה שלך.

העתיד

"לדעתי, " אמר קיין, "פירוק כעת דומה לעסקי האנטי-וירוס המוקדמים. זו הזדמנות עצומה. כולם יצטרכו לקבל אותה." הוא ציין כי סנאפצ'ט יכול היה להשתמש בטכנולוגיה זו כדי למנוע קצירת נתונים של 4.6 מיליון משתמשים ובכך לעצור את הזינוק האחרון בספאם של סנאפצ'אט.

"CAPTCHA אינו פיתרון, " אמר קיין. "גם אם זה הצליח, הם לא שמעו על חוות CAPTCHA? הפיתרון האמיתי הוא להסתכל על התנהגות ולחסום התנהגויות של גרידות."

נותר לראות האם מספיק בעלי אתרים יבחרו לשלם עבור פיתרון נגד גרידה. אני אבדוק לראות איך זה משחק.