גוגל, תקן את הפגמים שלך! | ג'ון ג. דבוראק

צפו בכל התמונות בגלריות

כדי לקבל את החדשות שלי, אני מרבה לסרוק את חדשות Google, המצטברות מאמרים מרחבי העולם על סמך מה שה"רובוט "קבע כי הוא המגמה. הכל קשור למה שמגמות. בדרך כלל זה מפספס חדשות מעצמן ומתעלם לחלוטין מפירושים חשובים, כמו הטור שלי. במקום זאת נראה שהוא מעדיף לעבור לקישורים מתים - לפיהם אני מתכוון לוול סטריט ג'ורנל , המחייב מנוי לקרוא.

היום זה מקרה מעניין. היה סיפור חדשני מפורסם מ- CES על כך שרשת הדיש הגישה הצעה לרכישת Clearwire. אבל במקום לקשר לאחד מהסיפורים הקשורים לאתרים חינמיים וקריאים, גוגל מחליטה שהסיפור העליון צריך להגיע מהוול סטריט ג'ורנל .

בעבר הייתה לגוגל עסקה כזו שאפשרה למשתמשים לקרוא לפחות את הפסקה הראשית, או אפילו את כל המאמר, לפני שנחסמה על ידי דמי התשלום. אלא אם כן אתה מכיר טריק עוקף (נדון בהמשך), הדבר אינו חל עוד. עכשיו אתה נתקל בגובה השכר וסיימת. אני מניח שהמנויים בפועל עוברים את זה אבל אני תוהה איך הבוטים של גוגל מצליחים למצוא את הסיפור מלכתחילה. האם גוגל משלמת? אני בספק. אז בטח יש איזשהו דלת אחורית עבור הרובוטים של גוגל, נכון?

זה מזויף ועושה שירות למשתמשים בגוגל. גוגל עוברת את כל הצרות הללו כדי להביס אנשים שמנסים לשחק במערכת אבל היא מאפשרת לוול סטריט ג'ורנל למשוך את הפעלול הזה? זהו למעשה תשלום עבור מנויים של וול סטריט ג'ורנל . האם זה מה שגוגל רוצה? האם גוגל מקבלת קיצוץ?

זה לא יכול להיות כל כך קשה לגוגל לפתור את הטרדה הזו. זה ייקח דקה אחת - חמישה צמרות. האם זו עבודה רבה מדי?

אם לחברה יש שרת תשלום מובנית בשירותה, גוגל לא צריכה לחפש באתר בכלל. הבוטים צריכים לדעת שיש גובה שכר ופשוט להימנע מהחיפוש. וכן, אני רוצה לקבל הסבר כיצד הבוטים בדיוק יכולים לחפש באתר שנחסם על ידי קיר שכר. זה תעלומה.

קיר שכר צריך להיות זהה לזה של "robots.txt" שאומר לבוט הסורק להיעלם. אבל משהו חשוד ביחסי WSJ- Google. הדרך הקלה ביותר להרוג את כל הרובוטים היא מטא תג בקובץ robots.txt, ובכך: .

צפו בכל התמונות בגלריות

במקום זאת, WSJ חוסם ספציפית ספריות משנה מסוימות, אך ככל הנראה לא את כולן. ויותר מדאיג, אם אתה מבצע חיפוש ב- Google News אחר אותו מאמר בדיוק, במקום פשוט ללחוץ על הקישור בסקירה, אתה מקבל את המאמר דרך מנגנון אחר.

אני מאתגר את הקוראים הטכניים יותר שם כדי להבין מה קורה עם שני אלה על ידי בחינת קובץ robots.txt המועסק על ידי WSJ . מסמך ציבורי זמין כאן.

בכל מקרה, באתרים יש קירות שכר מסיבות כלכליות. אם הם רוצים לשחק משחקים עם התוכן שלהם זה דבר אחד, אך יש לאסור עליו תוצאות חיפוש באותו אופן שגוגל מנסה לסכל אנשים שמנסים לשחק במערכת. גוגל תאסור על בלוגר חסר מזל חסר טיפת כובע על התנהגות רישומה כלשהי. מה דעתך להתמודד עם אתרים גדולים יותר באותה צורה?

---

אתה יכול לעקוב אחר ג'ון סי. דבוראק בטוויטר @therealdvorak.

עוד ג'ון סי. דבוראק:

צא מהנושא עם ג'ון סי. דבוראק.

צפו בכל התמונות בגלריות