יסודות נתונים גדולים: כיצד לבנות תוכנית לניהול נתונים

כתבנו רבות על תפקיד הנתונים בעסקים מודרניים. החל מסטארט-אפים וקטנים ועד עסקים בגודל בינוני (SMB) ועד ארגונים גדולים, תובנות נתונים וניתוח נגישים יותר לעסקים בכל הגדלים מאי פעם. זה, בחלקו, בזכות עליית כלי הבינה העסקית בשירות עצמי (BI) וכלי הדמיית נתונים.

עם זאת, לפני שתוכלו להשתמש בכלי BI או להפעיל ניתוחים חזויים במערך נתונים, ישנם שורה של גורמים שכדאי להתרחק מהם. זה מתחיל פשוט להבין מה זה ביג דאטה, מה זה לא (רמז: לא כדור בדולח), ואיך לנהל אחסון נתונים, ארגון, הרשאות ואבטחה בארכיטקטורת הנתונים הארגוניים שלך. כאן נכנס לתחום ממשל נתונים. התהליכים שבהם אתה מבטיח ממשל בתוך ארגון שונים זה מזה תלוי עם מי אתה מדבר. עם זאת, בבסיסה, ניהול נתונים הוא על אמון נתונים ואחריות, נשוי עם שיטות עבודה מומלצות מקיפות בנושא אבטחת מידע.

דיברתי עם Hortonworks ו- MapR, שניים ממוצרי Hadoop הגדולים ביותר בשוק. סקוט גנאו, קצין טכנולוגי ראשי בהורטונוורקס, וג'ק נוריס, סגן נשיא בכיר לנתונים ויישומים ב- MapR, הסבירו כל אחד מה המשמעות של ניהול נתונים לארגונים שלהם. הם דנו כיצד להתמודד עם האתגר המורכב של הבטחת ממשל נתונים בתוך ארכיטקטורות הנתונים המורכבות והיררכיות ארגוניות של מפעל גדול.

מה בדיוק ממשל נתונים ומדוע אנו זקוקים לו?

פירושו של ממשל פירושו לוודא כי נתוני הארגון מאושרים, מסודרים ומורשים במסד נתונים עם כמה שפחות שגיאות, תוך שמירה על פרטיות ואבטחה כאחד. זה לא איזון קל להגיע, במיוחד כאשר המציאות היכן ואיך הנתונים מאוחסנים ומעובדים נמצאת כל הזמן בשטף. נוריס של MapR הסביר מדוע עסקים צריכים להסתכל על ניהול נתונים מהרמה הגבוהה יותר ולהתמקד בצנרת הנתונים הגדולה יותר שנמצאת במקום.

"כשאתה מתחיל לדרג את המגוון והמהירות של ה- Big Data שאנחנו מתמודדים איתו, אתה צריך להיות ממשל נתונים אבל זה בהקשר הרחב יותר הזה. מה הנתונים שיש לך, למי יש גישה אליו ואיך אתה לנהל את השושלת של אותם נתונים לאורך זמן? " אמר נוריס. "מנקודת מבט של ממשל נתונים אתה יכול לקבל שלבים שונים של הנתונים הקיימים בתוך מערכת שניתן לצלם עליהם, כך שתוכל לחזור בכל נקודת זמן בצנרת. מדובר בבניית יכולת ביקורת ובקרת גישה לפלטפורמת הנתונים. בטוח שגילוי נתונים ואנליטיקה הם שקופים, בין אם אתה מנהל עסקים שמסתכל על מערכי נתונים פיננסיים או מדען נתונים שעובד עם נתונים במעלה הזרם הגולמי."

מקור: Rimes. לחץ על תמונה לתצוגה מלאה.

Gnau של Hortonworks הקיש בנקודה דומה. בין אם אתה עוסק במחסן נתונים או בארכיטקטורת אגם נתונים, ממשל נתונים הוא על איזון כוחות מנוגדים. זה קשור לגישה לנתונים בלתי מוגבלת כדי להניע חדשנות ולהפיק תובנות, והרשאות ופרטיות מדויקות כדי להגן בו זמנית על נתונים מקצה לקצה.

"השווה ועומד מול העולם הישן של הממשל המסורתי במרחב הנתונים; זה היה קצת יותר קל", אמר גנאו. "נתונים היו מוגדרים היטב על ידי תפקיד או יישום תפקידים. בעולם החדש אתה מקבל את הערך הרב ביותר כשלמדעני נתונים יש גישה לכמה שיותר נתונים, ולמציאת אותו מדיום שמח זה מאוד חשוב.

"זה מניע פרדיגמה חדשה לגמרי באיך שאתה צריך לגשת לממשל, " הוסיף גנאו. "בעולם החדש הזה, אני שוקל נושאי ממשל וביטחון שצריך לכסות יחד. הרבה חברות עדיין נאבקות לעבור דרך זו כדי לאפשר למדעני הנתונים שלהם להיות יעילים במציאת מקרי שימוש חדשים אלה ובאותו הזמן, הבנה כיצד להתמודד עם אבטחה, פרטיות, ממשל - כל הדברים החשובים מנקודת מבט בשורה התחתונה וגם מנקודת מבט של מוניטין של חברה."

כיצד אמורה תכנית ממשל לניהול נתונים בארגון להקיף ולספק את כל אותם כוחות מנוגדים? על ידי התמודדות עם כל דרישה באופן שיטתי, צעד אחד בכל פעם.

כיצד לבנות תוכנית ממשל לנתונים

Hortonworks, MapR ו Cloudera הם שלושת השחקנים העצמאיים הגדולים ביותר במרחב Hadoop. לחברות יש תחומי השפעה משלהם בכל הנוגע לממשל נתונים. MapR פרסמה מספר ניירות לבנים בנושא ובנתה ממשל נתונים בכל פלטפורמת הנתונים המ konverged שלה, בעוד של- Hortonworks יש פיתרון אבטחת מידע וממשל משלה והקימה יחד את יוזמת Data Governance (DGI) בשנת 2015. זה הוביל לפתיחה - מקש פרויקט אפאצ'י אטלס המספק מסגרת ניהול נתונים פתוחה לחברת Hadoop.

אולם כשמדובר באיך כל ספק יצר אסטרטגיות ניהול מקיפות של נתונים ואסטרטגיות אבטחה, גנו ונוריס דיברו שניהם בקווים דומים. להלן השלבים המשולבים ש- Hortonworks ו- MapR ממליצים לעסקים לזכור בעת בניית תוכנית לניהול נתונים.

הגדולה: גישה ואסמכת נתונים פרטניים

שתי החברות מסכימות כי אינך יכול לנהל ממשל נתונים אפקטיבי ללא בקרות פרטניות. MapR מבצע זאת בעיקר באמצעות ביטויי בקרת גישה (ACE). כפי שהסביר נוריס, ACEs משתמשים בקבוצה ובהיגיון בוליאני כדי לשלוט על גישת נתונים והרשאה גמישים, עם הרשאות מבוססות תפקידים והגדרות נראות.

הוא אמר לחשוב על זה כמו דוגמנית של גרטנר. בציר ה- Y בקצה התחתון יש ממשל קפדני וזריזות נמוכה, ועל ציר ה- X בקצה העליון יש זריזות גבוהה יותר ופחות ממשל.

נוריס אמר כי "ברמה הנמוכה אתה מגן על נתונים רגישים על ידי ערפול זה. בחלק העליון, יש לך חוזים חסויים עבור מדעני נתונים ואנליטיקאי BI, " אמר נוריס. "אנו נוטים לעשות זאת עם יכולות מיסוך ותצוגות שונות בהן אתה נועל נתונים גולמיים בתחתית ככל האפשר ומספקים בהדרגה יותר גישה עד שבקצה העליון אתה נותן למנהלים ראות רחבה יותר. אבל איך אתה נותן גישה לאנשים הנכונים?

"אם אתה מסתכל היום על רשימת בקרת גישה, זה יגיד משהו כמו 'כל אחד מההנדסה יכול לגשת לזה'", הוסיף נוריס. "אבל אם אתה רוצה שמספר דירקטורים נבחרים בפרויקט בתחום ה- IT יהיו בעלי גישה או שלכולם פרט לאדם, אתה צריך ליצור קבוצה מיוחדת. זו דרך מסובכת ומפותלת יתר על המידה לבחון גישה."

זה המקום בו מתן זכויות גישה לרמות וקבוצות שונות, לפי נוריס. "שילבנו ACEs עם הדרכים השונות בהן אתה יכול לגשת לנתונים - באמצעות קבצים, טבלאות, זרמים וכו '- והטמענו תצוגות ללא עותקים נפרדים של הנתונים. לכן אנו מספקים תצוגות על אותם נתונים גולמיים ותצוגות יכולות להיות בעלות רמות גישה שונות. זה נותן לך אבטחה משולבת יותר שישירה יותר."

Hortonworks מטפל בגישה גרגרית באופן דומה. על ידי שילוב אטאצ'י אטלס לממשל ואפצ'יי ריינג'ר, אמר גנאו כי החברה מטפלת בהרשאה ברמה ארגונית באמצעות חלונית זכוכית אחת. המפתח הוא, לדבריו, היכולת להעניק גישה בהקשר למסד הנתונים ובתגיות מטא נתונים ספציפיות באמצעות מדיניות מבוססת תגיות.

"ברגע שמישהו נמצא בבסיס הנתונים, זה קשור להנחות אותם דרך הנתונים שעליהם תהיה גישה רלוונטית", אמר גנאו. "מדיניות האבטחה של ריינג'ר ברמת האובייקט, עדינה ומכל מקום שביניהן יכולה להתמודד עם זה. לקשור את הביטחון הזה לממשל זה המקום שמעניין להיות ממש מעניין.

גנאו הוסיף: "כדי להתארגן בארגונים גדולים אתה צריך לשלב את התפקידים הללו עם ממשל ותיוג מטא נתונים." "אם אני נכנס לסינגפור, אולי יש כללים שונים המבוססים על חוקי פרטיות מקומיים או אסטרטגיית תאגידים. ברגע שחברה מגדירה, קובעת ומבינה את הכללים הללו מנקודת מבט הוליסטית מלמעלה למטה, אתה יכול לחלק את הגישה על בסיס קביעת כלל ספציפי תוך ביצוע כל מה שנמצא בפלטפורמת הליבה."

מקור: מרכז ה- Big Data & Analytics של יבמ. לחץ על תמונה לתצוגה מלאה.

2. אבטחה היקפית, הגנת נתונים ואימות משולב

ממשל לא קורה בלי אבטחת נקודות קצה. Gnau אמר שחשוב לבנות היקף וחומת אש טובים סביב הנתונים המשתלבים עם מערכות אימות וסטנדרטים קיימים. נוריס הסכים כי בכל הנוגע לאימות, חשוב שארגונים יסנכרנו עם מערכות מנוסות.

נוריס אמר כי "תחת אימות, זה משתלב עם שירותי LDAP, Active Directory ושירותי מדריך של צד שלישי". "אנו תומכים גם בשם המשתמש והסיסמאות של Kerberos. הדבר החשוב הוא לא ליצור תשתית נפרדת שלמה, אלא כך אתה משתלב עם המבנה הקיים ומערכות המינוף כמו Kerberos."

3. הצפנת נתונים ואסימון

השלב הבא לאחר אבטחת המערכת שלך ואימות כל הגישה לנתונים הגרעיניים שאתה מעניק: ודא שקבצים ומידע אישי המאפשר זיהוי אישי (PII) מוצפנים ומסומנים מקצה לקצה דרך צינור הנתונים שלך. Gnau דן כיצד Hortonworks מאבטח נתוני PII.

"ברגע שעוברים את ההיקף ויש לך גישה למערכת, היכולת להגן על נתוני PII היא חשובה ביותר", אמר גנאו. "אתה צריך להצפין ולסמן נתונים אלה כך שלא משנה למי יש גישה אליו, הם יכולים להריץ את הניתוחים שהם צריכים בלי לחשוף אף אחד מאותם נתונים PII לאורך הקו."

באשר לאופן הגישה המאובטחת לנתונים מוצפנים גם בתנועה וגם במנוחה, Norris של MapR הסביר שחשוב לזכור שימוש במקרים כמו גיבוי והתאוששות מאסון (DR). הוא דן במושג של כרכים לוגיים המכונים של MapR, שיכולים להחיל מדיניות ממשל על מקבץ קבצים וספריות הולך וגדל.

נוריס אמר כי "ברמה הנמוכה ביותר, MapR העבירה שכפול WAN עבור DR, ותמונות תמונות עקביות בזמן על כל הנתונים שניתן להגדיר בתדרים שונים לפי ספריה או נפח". "זה רחב יותר מסתם ממשל נתונים. אתה יכול לקבל אשכול פיזי עם ספריות, ואז מושג הנפח הלוגי הוא יחידת ניהול מעניינת באמת ודרך לקבץ דברים תוך בקרה על הגנת נתונים ותדירות. זהו חץ נוסף בנתוני מנהל ה- IT רועד ממשלתי."

4. ביקורת קבועה ואנליטיקס

בהסתכלות על תמונת הממשל הרחבה יותר, אמרו Hortonworks וגם MapR כי האסטרטגיה אינה עובדת ללא ביקורת. רמה זו של אחראיות ואחריות בכל שלב בתהליך היא המאפשרת ל- IT "ממשל" על נתונים לעומת פשוט קביעת מדיניות ובקרת גישה ולקוות לטוב. זה גם כיצד ארגונים יכולים לשמור על אסטרטגיות עדכניות בסביבה בה אנו רואים נתונים וטכנולוגיות בהן אנו משתמשים כדי לנהל ולנתח אותם משתנים מדי יום.

"החלק האחרון באסטרטגיית ממשל מודרנית הוא רישום ומעקב", אמר גנאו. "אנו נמצאים בחיתולי ביג דאטה ו- IoT, וחשוב מאוד להיות מסוגלים לעקוב אחר גישה ולהכיר דפוסים בנתונים, כך שככל שיש לעדכן את האסטרטגיה, אנו מקדימים את העקומה."

נוריס אמר כי ביקורת וניתוח יכולים להיות פשוטים כמו מעקב אחר קבצי JavaScript Object Notation (JSON). לא כל פיסת נתונים יהיה שווה לעקוב ולנתח אך העסק שלך לעולם לא יידע אילו - עד שתזהה תובנה המשתנה ממשחק או קורה משבר ותצטרך לנהל מסלול ביקורת.

נוריס אמר כי "כל קובץ יומן JSON נפתח לניתוח ויש לנו Apache Drill כדי לבצע שאילתות בקבצי JSON עם הסכימות, כך שזה לא צעד IT ידני להגדיר ניתוח מטא נתונים". "כשאתה כולל את כל אירועי הגישה לנתונים וכל פעולה ניהולית, קיים מגוון רחב של ניתוחים."

5. ארכיטקטורת נתונים אחידה

בסופו של דבר, קצין הטכנולוגיה או מנהל ה- IT המפקח על אסטרטגיית ניהול נתונים ארגונית צריכים לחשוב על הפרטים האישיים של גישה פרטית, אימות, אבטחה, הצפנה וביקורת. אבל קצין הטכנולוגיה או מנהל ה- IT לא צריכים לעצור שם; במקום זאת, על האדם הזה גם לחשוב כיצד כל אחד מהמרכיבים הללו ניזון בארכיטקטורת הנתונים הגדולה יותר שלהם. הוא או היא צריכים גם לחשוב כיצד התשתית צריכה להיות ניתנת להרחבה ובטחון - מאיסוף ואחסון נתונים כל הדרך ועד שירותי BI, ניתוח ושירותי צד שלישי. גנאו אמר שממשל נתונים עוסק באותה מידה בחשיבה מחדש על אסטרטגיה וביצוע כמו על הטכנולוגיה עצמה.

" זה מעבר לחלונית זכוכית אחת או לאוסף של כללי אבטחה", אמר גנאו. "זו ארכיטקטורה יחידה בה אתה יוצר את התפקידים האלה והם מסתנכרנים על פני כל הפלטפורמה ואת כל הכלים שאתה מכניס לתוכה. היופי של תשתיות המנוהלות בצורה מאובטחת הוא הזריזות שבה נוצרות שיטות חדשות. בכל רמת פלטפורמה, או אפילו ב סביבת ענן היברידית, יש לך נקודת התייחסות אחת להבין כיצד יישמת את הכללים שלך. כל הנתונים עוברים בשכבה זו של אבטחה וממשל."