אגמי נתונים, הסבירו

מהפכת ביג דאטה הגדירה מחדש את אופן הפעולה של ארגונים; נתונים בבסיס הכל. לא רק שכלי קוד פתוח כמו אפאצ 'ה חוד וספארק הקלו על איסוף, עיבוד ואחסון של כמויות אדירות של נתונים בזמן אמת, אלא כלי בינה עסקית (BI) וכלי הדמיית נתונים החלו לעזור לנו לשרוט את פני הניתוח והפיכת נתונים אלה כדי ליידע את החלטות הליבה העסקיות.

אם כי למרות התפתחות טכנולוגיית ה- Big Data ו- BI, אנו עדיין מתמודדים עם כמויות כה ענקיות של נתונים המתחברים ללא הרף, עד שמציאת הנקודות הנכונות לניתוח עדיין מרגיש כמו לצלול למחטים בערימת שחת בלתי נגמרת. הפתרון? תכנן מחדש את ערימת השחת.

הזן אגמי נתונים, סוג חדש של ארכיטקטורה ארגונית מבוססת ענן המבנה נתונים בצורה מדרגית יותר המקלה על הניסוי; הופך אותו לפתוח יותר לחקירה ומניפולציה ולא נעול בסכימות וממגורות נוקשים. נאסרי אנג'ל, חוקר ארכיטקטורה ארגונית במחקר פורסטר, הסביר מדוע ארגונים חובקים ארכיטקטורות של אגם נתונים.

"זה נשמע קלישאה, אבל כשחושבים על סביבת נתונים מודרנית יעילה, זה הרבה יותר ניסיוני", אמר אנג'ל. "אתה צריך להיות מסוגל ללמוד מהר ולהיכשל מהר. בעבר, ניהול נתונים, במיוחד במחסן, היה על איכות, עד הנקודה העשרונית; וודא שהכל מדויק ואמיתי לחלוטין. זה נקרא לרדוף אחרי יחיד גרסת האמת ואז הפקת דוח מושלם לפיקסלים והפצתו בפני 5, 000 משתמשים.

"בימינו זה תהליך מדעי יותר. אתה נכנס עם השערה לגבי הנתונים שאתה רוצה לבדוק ואתה רוצה להיות מסוגל לשחק עם הנתונים, לערבב ולהתאים, לנסות דברים שונים לפני שאתה הולך ומפיק משהו."

מה יש באגם נתונים?

אגם נתונים הוא מאגר אחסון. אם כי בניגוד למחסן נתונים או "מארט נתונים", אנג'ל הסביר כי אגמי נתונים מפוזרים על פני מספר צמתים ולא בסביבה הקבועה והמבנית של מחסן נתונים בהסתמך על סכימות (ראו אינפוגרפיה להלן).

"אגם נתונים מאפשר לך להחיל סכמה כשאתה כותב את הנתונים מול מחסן נתונים שמחייב אותך לבצע סכמה בקריאה. לכן, בעצם, מחסן נתונים מחייב אותך לדגמן את הנתונים לפני שאתה מבין את ההקשר שלו, מה שלא זה ממש לא הגיוני, "אמר אנג'ל.

מקור: JustOne Database, Inc. (לחץ על הגרפיקה למעלה בכדי לראות תצוגה מלאה.)

"בדרך כלל, במחסן, יש לך אנשי IT המציגים את מה שהם חושבים שהם דגמי הנתונים הטובים ביותר, והם אינם המשתמשים הסופיים של הנתונים. אתה יכול לראות במהירות מה זה מפריע לפרודוקטיביות ולערך העסקי, " הוסיף.. "בסופו של דבר אתה והמשתמשים העסקיים צריכים להיות אלה שמקבלים החלטות לגבי מבנה הנתונים, ובאגם נתונים אתה יכול תחילה לחקור ולברר מה יש ואז להבין סכמה שתארגן אותם בצורה הטובה ביותר."

אגמי נתונים בנויים בדרך כלל על Hadoop, והפצות Hadoop ארגוניות כמו Hortonworks ו- MapR מציעות ארכיטקטורות של אגם. עסקים יכולים גם לבנות אגמי נתונים באמצעות ענני תשתית כשירות (IaaS) כולל שירותי אינטרנט של אמזון (AWS) ו- Microsoft Azure. ענן המחשבים האלסטיים של אמזון (EC2) תומך באגמי נתונים בעוד שלמיקרוסופט יש פלטפורמה ייעודית של Azure Data Lake לאחסון וניתוח נתונים בזמן אמת. אנג'ל אמר כי אגמי הנתונים מתבגרים עד לנקודה בתוך מרחב ה- Big Data בו עסקים יכולים להתחיל להשקיע בהם בביטחון סביר.

"לפני כמה שנים, Hadoop היה כל הזעם. עכשיו אנחנו מגיעים לנקודה שבה Hadoop מסחרית, " אמר אנג'ל. "השאלה היא לא אם Hadoop אלא מתי, ומה אתה הולך לעשות עם זה. אילו סוגים של יישומים אתה מתכוון לבנות על גבי Hadoop לאחר שתביא את הנתונים למקום משותף כמו אגם נתונים? בשלב זה מדובר על שימוש בנתונים לפיתוח יישומים העונים על הצרכים העסקיים הספציפיים שלך."

בניית על גבי מאגר נתונים

החלק הכי מרגש בביג דאטה הוא כל האפשרות שהוא פותח. לאחר שתגדיר אגם נתונים בו תוכל לשחק ולהתנסות בשילובי נתונים שונים ותוצאות עסקיות, תוכל להתחיל להניח טכניקות ניתוח חדשניות למעלה.

אלגוריתמים של למידת מכונות (ML) כבר הופכים לחלק ממארג התשתית בענן, והחוקרים משפרים ללא הרף טכניקות למידה עמוקות ורשתות עצביות להכשיר מכונות ומערכות נתונים להכרה של דפוסים מורכבים. אנליטיקות חזויות נאפות יותר ויותר כלי נתונים ופלטפורמות ארגוניות, ומשמשות לכל דבר, החל מניקוד חזוי ופילוח אוטומטי לניהול קשרי לקוחות (CRM) ועד איתור מגמות בשוק הפיננסי ותפיסה מכילה של תקלות מכניות במכונות.

כל זה קורה על גבי כל מאגר נתונים אשר העסק שלך מזין ומדרג בהתאם לצרכים שלו. אנג'ל דיבר על כמה ממקרי השימוש בעולם האמיתי שבהם הוא ראה אגמי נתונים משנים את האופן שבו ארגונים מתפקדים.

"עבדתי עם חברת הוצאה לאור שיש לה תיק של מגזינים שונים - יש להם פרסום לעורכי דין, אחר לרואי חשבון, אחר ליועצים וכו '- ולכל פרסום היה מחסן נתונים משלו. למעשה, לכל פרסום היה משלה סילו, "הסביר אנג'ל.

"אז חילצנו את כל הנתונים ממחסן והכנסנו אותם לאגם נתונים, ואגם הנתונים אפשר להם לראות על פני ממגורות. הם הצליחו לחקור את הנתונים ולעשות גילוי נתונים, והבנו שבכל הפרסומים השונים האלה, לקוחות מכל מגזין התעניינו באבטחת סייבר. קהל הקוראים לביטחון ברשת היה חזק בכל התפקידים השונים האלה. אז מה הם עשו? הם הפכו את ביטחון הסייבר לנושא הכנס השנתי שלהם."

דוגמא נוספת עליה דיבר אנג'ל היא מסחר אלקטרוני. לקוח אחר, קמעונאי אמנות מקוון, זרק טונה של מידע לאגם נתונים והשתמש בו לא רק כמאגר אלא כבד מסוגים שונים כדי להרכיב תובנות עסקיות. הקמעונאי הביא נתוני עסקאות (הזמנות, חשבוניות, תשלומים וכו '), נתוני קליקים בזרם הקליקים (רצף קליקים ודפים של כל מבקר באתר) ונתונים ממחסן הנתונים של הקמעונאית כולם לתוך האגם, והשתמש בהם בהופעה כדי להילחם בסל הקניות. נטישה והמרות.

"אתה רוצה לבנות על גבי אגם נתונים ולהשתמש בו כדי לנסח תובנות עסקיות מורכבות", אמר אנג'ל. "קמעונאית האמנות הצליחה להסתכל בנתוני קליקים של לקוח ולהתאים קליקים לפרופילים של לקוחות, ואז להשתמש בנתונים עסקיים כדי לראות מה הלקוח קנה בעבר ולהשתמש בתובנות האלה כדי להפעיל מסעות פרסום דוא"ל מאוד ספציפיים. אז אם לקוח נטש העגלה שלהם, הקמעונאי יכול היה לעקוב אחרי שעתיים ולהגיד 'ראינו שאתה בודק את פיקאסו הזה; הנה הקישור אם אתה רוצה להסתכל עליו שוב.'"

אגמי נתונים ישימים באופן אוניברסלי בכל מיני מקרים של שימוש עסקי. אבל, עבור קצין טכני ראשי (CTO) או קצין אבטחת מידע ראשי (CISO) ששקול לעבור לגור בארכיטקטורה, אנג'ל הדגיש כי מחסני נתונים אינם מיושנים עדיין, לא בשום דרך. עבור מרבית הארגונים הארגוניים, בין אם אתה משתמש בספק ענן או בהפצה מותאמת אישית של Hadoop, עסקים עדיין זקוקים לשניהם.

אגמי נתונים מעניקים לך גישה לתובנות שאין שני להן על ידי הסרת הגבולות של התאמת נתונים לסכימה מסוימת, ומגיעים עם עלות בעלות כוללת נמוכה בהרבה בהתחשב בשימוש באחסון ענן זול וגמיש כמו AWS לסולם גודל למעלה ולמטה - בעוד שרק לשלם עבור כוח העיבוד שאתה משתמש בו בפועל. ניהול מחסן נתונים הוא יקר יותר, וכתוצאה מכך הופך את אנשי ה- IT לבררניים יותר לגבי הנתונים שנכנסים ויוצאים. אבל עבור הנתונים החיוניים ביותר למיזם של הארגון, זה לא דבר רע.

"למחסן הנתונים יש יתרונות מבחינת האבטחה והיותו כלי קל מאוד לשליטה על ממשל הנתונים", אמר אנג'ל. "אז אתה עדיין רוצה לשמור את המידע הרגיש ביותר שלך במחסן, את הדברים הקריטיים למשימה. אבל כשמדובר בהזדמנויות עסקיות חדשות וגילוי תובנות נסתרות, אתה רוצה למנף אגם נתונים."