צילום חישוב מוכן לקלוז-אפ שלו

יותר מ 87 מיליון אמריקאים טיילו בינלאומית בשנת 2017, מספר שיא על פי משרד התיירות והתיירות הלאומי בארה"ב. אם היית ביניהם, אולי ביקרת ביעד כמו סטונהנג ', הטאג' מאהל, מפרץ הא לונג או החומה הגדולה של סין. וייתכן שהשתמשת בטלפון שלך כדי לצלם פנורמה, אולי אפילו סיבבת את עצמך כל הדרך עם הטלפון שלך כדי לצלם נוף סופר-רחב 360 מעלות של הנוף.

אם הצלחת - כלומר לא היו קטעים שלא הותאמו באופן מוטעה, עיצובים או שינויי צבע - חווית דוגמא פשוטה ויעילה לצילום חישובי. אך בשנים האחרונות הצילום החישובי התרחב מעבר לשימושים כה צרים. זה לא יכול רק לתת לנו פרספקטיבה אחרת על הצילום, אלא גם לשנות את האופן בו אנו רואים את עולמנו.

מה זה צילום חישובי?

מארק לבוי, פרופסור למדעי המחשב (אמריטוס) מאוניברסיטת סטנפורד, מהנדס ראשי בגוגל, ואחד החלוצים בתחום המתפתח זה, הגדיר צילום חישובתי כמגוון של "טכניקות הדמיה חישובית המשפרות או מרחיבות את יכולות הצילום הדיגיטלי. פלט הוא תצלום רגיל, אך כזה שלא היה יכול לצלם על ידי מצלמה מסורתית."

לדברי ג'וש האפטל, מנהל מוצר ראשי ב- Adobe, הוספת אלמנטים חישוביים לצילום המסורתי מאפשרת הזדמנויות חדשות, במיוחד עבור חברות הדמיה ותוכנה: "הדרך שבה אני רואה צילום חישובי היא שזה נותן לנו הזדמנות לעשות שני דברים. זה לנסות ולגבש הרבה מהמגבלות הפיזיות שקיימות במצלמות ניידות."

דוגמה טובה לכך היא לקבל סמארטפון לדמות עומק שדה רדוד (DOF) - סימן היכר של תמונה בעל מראה מקצועי, מכיוון שהוא מפריד חזותית בין הנושא לרקע. מה שמונע מצלמה במכשיר דק מאוד, כמו טלפון, מסוגלת לצלם תמונה עם DOF רדוד הם חוקי הפיזיקה.

"לא יכול להיות לך רדודים עומק שדה עם חיישן ממש קטן ", אומר האפטל. אבל חיישן גדול דורש עדשה גדולה. ומכיוון שרוב האנשים רוצים שהטלפונים שלהם יהיו אולטרה-אטין, חיישן גדול המשויך לעדשה גדולה ומגושמת אינו אופציה. טלפונים בנויים עם עדשות פריים קטנות וחיישנים זעירים, ומייצרים עומק שדה גדול אשר הופך את כל הנושאים קרוב למרחק במיקוד חד.

לדברי האפטל, יצרני סמארטפונים ומצלמות פשוטות יכולים לפצות על כך על ידי שימוש בצילום חישובי כדי "לרמות על ידי הדמיה של האפקט בדרכים המטרידות את העין." כתוצאה מכך משתמשים באלגוריתמים כדי לקבוע מה נחשב לרקע ומה נחשב לנושא החזית. ואז המצלמה מדמה DOF רדוד על ידי טשטוש הרקע.

הדרך השנייה שהפטל טוען שניתן להשתמש בצילום חישובי היא להשתמש בתהליכים וטכניקות חדשות כדי לסייע לצלמים לעשות דברים שאינם אפשריים באמצעות כלים מסורתיים. הדפטל מצביע על HDR (טווח דינמי גבוה) כדוגמה.

"HDR הוא היכולת לצלם תמונות מרובות בו זמנית או ברצף מהיר ואז למזג אותן יחד כדי להתגבר על מגבלות היכולת הטבעית של החיישן." למעשה, HDR, במיוחד במכשירים ניידים, יכול להרחיב את הטווח הטונאלי מעבר למה שחיישן התמונות יכול ללכוד באופן טבעי, ומאפשר לך לתפוס פרטים נוספים בגוונים הבהירים ביותר והצללים האפלים ביותר.

כאשר הצילום החישובי נופל קצר

לא כל היישומים של הצילום החישובי הצליחו. שני ניסיונות נועזים היו מצלמות Lytro ו- Light L16: במקום לשלב תכונות צילום מסורתיות וחישוביות (כמו מכשירי אייפון, טלפונים אנדרואיד וכמה מצלמות עצמאיות כן), Lytro ו- Light L16 ניסו להתמקד אך ורק בצילום חישובי.

הראשונה שהציגה את השוק הייתה מצלמת שדה האור של ליטרו, בשנת 2012, שאפשרה לך להתאים את המיקוד של הצילום לאחר שצילמת את הצילום. זה עשה זאת על ידי הקלטת כיוון האור שנכנס למצלמה, מה שהמצלמות המסורתיות לא עושות. הטכנולוגיה הייתה מסקרנת, אך למצלמה היו בעיות, כולל רזולוציה נמוכה וממשק קשה לשימוש.

היה לו גם מקרה שימוש די צר. כפי שמציין דייב אטצ'לס, מייסד, מוציא לאור ועורך ראשי של משאבי ההדמיה, "למרות היכולת להתמקד לאחר מעשה היה תכונה מגניבה, צמצם המצלמה היה כה קטן, אי אפשר באמת להבחין בין מרחקים אלא אם כן היה משהו ממש קרוב למצלמה."

לדוגמה, נניח שאתה יורה שחקן בייסבול על יהלום בייסבול מקומי. אתה יכול לצלם קרוב לגדר וגם ללכוד את הנגן דרך הגדר, גם אם הוא רחוק. ואז אתה משנה בקלות את המיקוד מהגדר לשחקן. אבל כפי שמציין אטצ'לס, "באיזו תדירות אתה באמת מצלם תמונה כזו?"

מכשיר עדכני יותר שמטרתו להיות מצלמה חישובית עצמאית היה ה- L L16, ניסיון לייצר מצלמה דקה וניידה באיכות תמונה וביצועים בהשוואה למצלמת D-SLR מתקדמת או מצלמה נטולת מראה. ה- L16 תוכנן עם 16 מודולי עדשה וחיישן שונים בגוף מצלמה יחיד. עוצמתי תוכנת המשולב תבנה תמונה אחת מהמודולים השונים.

תחילה התרשמה אטצ'לס מהקונספט של ה- L16 Light. אבל כמוצר בפועל, הוא אמר, "היו בו מגוון בעיות."

לדוגמה, אור, המצלמה ו חברת הצילום שמייצרת את Light L16, טענה כי הנתונים מכל אותם חיישנים קטנים יהיו שקולים לחיישן אחד גדול. "הם גם טענו שזה עומד להיות באיכות D-SLR", אומר אטצ'לס. אולם בבדיקות השטח שלהם, משאב ההדמיה גילה כי זה לא המקרה.

היו נושאים אחרים, כולל שטחים מסוימים בתצלום היו בעלי רעש מוגזם, "אפילו באזורים בהירים של התמונה… ולמעשה לא היה טווח דינמי: הצללים פשוט התחברו מייד", אומר אטצ'לס, כלומר בוודאות קטעי תמונות - כולל תמונות לדוגמה שהחברה השתמשה בכדי לקדם את המצלמה - כמעט ולא היה שום פרט בצללים.

"זה גם היה רק ​​אסון בתאורה נמוכה", אומר אטצ'לס. "זו פשוט לא הייתה מצלמה טובה במיוחד, תקופה."

מה הלאה?

למרות החסרונות הללו, חברות רבות מבצעות קדימה עם יישומים חדשים של צילום חישובי. בחלק מהמקרים הם מטשטשים את הגבול בין מה שנחשב לצילום לסוגים אחרים של מדיה, כמו וידאו ו- VR (מציאות מדומה).

לדוגמה, גוגל תרחיב את אפליקציית אלבומי Google באמצעות AI (בינה מלאכותית) עבור תכונות חדשות, כולל צבעי תמונות בשחור-לבן. מיקרוסופט משתמשת ב- AI באפליקציית Pix שלה עבור iOS כך שמשתמשים יכולים להוסיף בצורה חלקה כרטיסי ביקור ל- LinkedIn. פייסבוק תפעיל בקרוב תכונה של צילומי תלת מימד, שהיא "סוג מדיה חדש המאפשר לאנשים לתפוס רגעי תלת מימד בזמן באמצעות סמארטפון לשיתוף בפייסבוק." ובאפליקציית Lightroom של Adobe, צלמי מכשירים ניידים יכולים להשתמש בתכונות HDR ולצלם תמונות בפורמט קובץ RAW.

VR וצילום חישובי

בעוד שמכשירים ניידים ואפילו מצלמות עצמאיות משתמשים בצילום חישובי בדרכים מסקרנות, אפילו יותר מקרי שימוש רבי עוצמה מגיעים מעולם פלטפורמות המציאות המורחבת, כמו VR ו- AR (augmented reality). עבור ג'יימס ג'ורג ', מנכ"ל ומייסד משותף של Scatter, אולפן מדיה עצום בניו יורק, צילום חישובי פועל עזר לגוף שני פתיחת דרכים חדשות לאמנים להביע את חזונם.

"ב- Scatter אנו רואים בצילום חישובי את הטכנולוגיה העיקרית המאפשרת דיסציפלינות יצירתיות חדשות שאנו מנסים לחלוץ. הוספת חישוב יכולה אז להתחיל לסנתז ולדמות כמה מאותם דברים שעינינו עושות עם התמונות שאנו תראה במוחנו, "אומר ג'ורג '.

בעיקרו של דבר זה מגיע למודיעין. אנו משתמשים במוחנו כדי לחשוב ולהבין את הדימויים שאנו תופסים.

"מחשבים מתחילים להיות מסוגלים להביט אל העולם ולראות דברים ולהבין מה הם באותה דרך שאנחנו יכולים, " אומר ג'ורג '. אז צילום חישובי הוא "שכבה נוספת של סינתזה ואינטליגנציה החורגת רק מצילום טהור של תמונה אך למעשה מתחיל לדמות את החוויה האנושית של תפיסת משהו."

האופן שבו פיזור משתמש בצילום חישובי נקרא צילום נפחי, המהווה שיטה להקלטת נושא מנקודות מבט שונות ואז באמצעות תוכנה לניתוח ושחזור של כל אותן נקודות מבט בייצוג תלת ממדי. (תמונות ווידאו כאחד יכולים להיות נפחיים ולהופיע כהולוגרמות דמויות תלת מימד שתוכלו להסתובב בהן בחוויה של VR או AR.) "אני מעניין במיוחד את היכולת לשחזר דברים יותר מסתם בצורה דו מימדית, "אומר ג'ורג '. "לזכרנו, אם נעבור מרחב אנו למעשה יכולים להיזכר במרחב היכן שהדברים היו ביחסים זה לזה."

ג'ורג 'אומר שסקאטר מסוגל לחלץ וליצור ייצוג של חלל ש"ניתן לנווט באופן חופשי וחופשי, באופן שאולי תוכל לעבור דרכו כמו משחק וידאו או הולוגרמה. זהו מדיום חדש שנולד מתוך הצומת בין משחקי וידיאו וקולנוע שמאפשר צילום חישובי ועשיית קולנוע נפשי."

כדי לעזור לאחרים לייצר מגן VR נפח, פיתחה Scatter את DepthKit, יישום תוכנה המאפשר לקולנוענים לנצל את חיישן העומק ממצלמות כמו Microsoft Kinect כאביזר למצלמת וידאו HD. בכך, DepthKit, הכלאה CGI ותוכנת וידאו, מייצרת צורות תלת מימדיות חיים "המתאימים להפעלה בזמן אמת בעולמות וירטואליים", אומר ג'ורג '.

Scatter הניבה מספר חוויות VR חזקות עם DepthKit בטכניקות חישוביות וטכניקות קולנוע נפחיות. בשנת 2014, ג'ורג 'שיתף פעולה עם ג'ונתן מינארד כדי ליצור "עננים", סרט תיעודי הבוחן את אומנות הקוד שכללה רכיב אינטראקטיבי. בשנת 2017 הפיק Scatter עיבוד VR מבוסס על הסרט אפס ימים , תוך שימוש ב- VR כדי לספק לקהל פרספקטיבה ייחודית בתוך העולם הבלתי נראה של לוחמת הסייבר - כדי לראות דברים מנקודת המבט של נגיף ה- Stuxnet.

אחד הפרויקטים החזקים ביותר ב- DepthKit הוא "טרמינל 3", חווית מציאות מוגברת של האמן הפקיסטני אסד ג'. מאליק, שהוקרן בבכורה מוקדם יותר השנה בפסטיבל הסרטים TriBeCa. החוויה מאפשרת לך למעשה להיכנס לנעליו של קצין סיור גבול בארה"ב באמצעות HoloLens של מיקרוסופט ולחקור הולוגרמה נפחית דמוית רפאים של מישהו שנראה כמוסלמי (יש שש דמויות בסך הכל שתוכל לראיין).

"אסד הוא יליד פקיסטן שהיגר לארה"ב כדי ללמוד בקולג 'ונחווה כמה חוויות שליליות למדי בנוגע לרקע שלו ומדוע הוא היה שם. המום מאותה חוויה הוא יצר את' טרמינל 3 ', " אומר ג'ורג'.

אחד המפתחות למה שהופך את החוויה לכל כך משכנעת הוא שהצוות של מאליק ב- 1RIC, אולפן הריאליטי המוגבר שלו, השתמש ב- DepthKit כדי להפוך וידאו להולוגרמות נפח, שאפשר לייבא אותן למנועי משחקי וידאו בזמן אמת כמו Unity, או 3D כלים גרפיים כמו מאיה וסינמה 4 ד. על ידי הוספת נתוני חיישן העומק מהקינקט לסרטון ה- D-SLR על מנת למקם נכון את ההולוגרמה בתוך המרחב הווירטואלי AR, תוכנת DepthKit הופכת את הסרטון ל חישובית וידאו. לוח השחור-לבן משמש לכיול ה- D-SLR וה- Kinect יחד, ואז ניתן להשתמש בשתי המצלמות בו זמנית בכדי לצלם תמונות ווידיאו נפחיים.

• 10 טיפים מהירים לתיקון התמונות הרעות שלך 10 טיפים מהירים לתיקון התמונות הרעות שלך
• 10 טיפים לצילום דיגיטלי מעבר-בסיסיים 10 טיפים לצילום דיגיטלי מעבר-בסיסי
• 10 טיפים וטריקים קלים לתמונות סמארטפון טובות יותר 10 טיפים וטריקים קלים לתמונות סמארטפון טובות יותר

מכיוון שחוויות AR אלה שנוצרו עם DepthKit דומות לאופן שבו משחקי וידאו עובדים, חוויה כמו "טרמינל 3" יכולה לייצר אפקטים אינטראקטיביים רבי עוצמה. לדוגמה, ג'ורג 'אומר שמאליק מאפשר להולוגרמות לשנות צורה כשאתה חוקר אותן: אם במהלך החקירה, השאלות שלך הופכות להאשמות, ההולוגרמה מתממשת ונראית פחות אנושית. "אבל כשאתה מתחיל להפעיל את הביוגרפיה של האדם, את החוויות שלו ואת הערכים שלו", אומר ג'ורג ', "ההולוגרמה למעשה מתחילה להתמלא ולהפוך לצילומי-טבע יותר."

ביצירת האפקט העדין הזה, הוא אומר, אתה יכול להרהר בתפיסתו של החוקר וכיצד הם עשויים לראות באדם "סתם סמל במקום אדם ממשי עם זהות וייחודיות אמיתית." בצורה מסוימת זה יכול להעניק למשתמשים רמת הבנה גבוהה יותר. "דרך סדרת הנחיות, שבה אתה רשאי לשאול שאלה כזו או אחרת, " אומר ג'ורג ', "אתה מתמודד עם ההטיות שלך, ובו זמנית, הסיפור האינדיבידואלי הזה."

כמו רוב הטכנולוגיות המתעוררות, צילום חישובי חווה את חלקו בהצלחות ובכישלונות כאחד. משמעות הדבר היא שכמה מאפיינים חשובים או טכנולוגיות שלמות עשויות להיות בעלות חיי מדף קצרים. קחו את הלייטרו: בשנת 2017, רגע לפני שגוגל רכשה את החברה, ליטרו תריס תמונות.lytro.com, כך שלא תוכלו עוד לפרסם תמונות באתרים או במדיה חברתית. למי שמתגעגע אליו, ל- Panasonic תכונה של מיקוד דמוי ליטרו בשם Post Focus, והיא כללה במצלמות מתקדמות שונות ללא מראות ונקודות-יריות.

כלי הצילום החישובי והתכונות שראינו עד כה הם רק אלה התחל . אני חושב שהכלים הללו יהפכו לחזקים, דינמיים ואינטואיטיביים בהרבה ככל שמכשירים ניידים מתוכננים עם מצלמות ועדשות חדשות ומגוונות יותר, מעבדים משובצים יותר ויכולות רשת סלולרית רחבות יותר. בעתיד הקרוב מאוד תוכלו להתחיל לראות את הצבעים האמיתיים של צילום חישובי.