עקב שאלה בפורום אחר, על upscaling, מצאתי מעניין להעלות את הנושא הזה, שעניין אותי מאז ומתמיד
סופר רזולוציה מאפשרת יצירת תמונה עם רזולוציה גבוה מהמקור ע"י כל מיני טכניקות
הכי מבטיחה לוידאו משתמשת ב-AI
מאוד מקוה שזה יהיה חלק מהטלויזיות בקרוב, כי הרבה פעמים תוכן מוצג כ-4K או FHD אבל בעצם דוגמים מקור לא איכותי. וזה יכול באמת להביא את כל התוכן הישן לרמה של 4K או 8K אמיתי
רוצים להיות מופתעים מהיכולות של סופר רזולוציה? , צפו בוידאו הזה ביוטיוב:
https://www.youtube.com/watch?v=MwCgvYtOLS0
מתי נראה super resolution upscaling?
- oferlaor
- מנהל
- הודעות: 75318
- הצטרף: נובמבר 2004
- שם מלא: עפר לאור
- מיקום: מודיעין, ישראל
- נתן תודות: 640 פעמים
- קיבל תודות: 4750 פעמים
Re: מתי נראה super resolution upscaling?
התחלה של זה כבר קיימת במסכים מהדור האחרון של 2020. יש לציין שזה תמיד יוגבל בעקבות המגבלה שהעיבוד צריך להתבצע בזמן אמץ. כלומר, עיבוד offline בהכרח יכולים לשפר תמונה משמעותית יותר.
- udif
-
- חבר ותיק
- הודעות: 2067
- הצטרף: אוקטובר 2005
- מיקום: תל אביב
- נתן תודות: 37 פעמים
- קיבל תודות: 124 פעמים
Re: מתי נראה super resolution upscaling?
אני חושב ש super resolution עובד טוב יותר עם קבצי RAW. שים לב שבסרטון לא הראו לך העלאה ברזולוציה של סרטי FHD לרמה גבוהה יותר, אלא לקחו סרט, הורידו לו באופן מלאכותי את הרזולוציה לרמה נמוכה יותר, ואז העלו אותה חזרה . זה מנטרל במידה רבה את אי הדיוקים הקטנים שנגרמים בדחיסה.
אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.
אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.
- mark13 (פותח השרשור)
- חבר פעיל במיוחד
- הודעות: 965
- הצטרף: יולי 2006
- נתן תודות: 107 פעמים
- קיבל תודות: 37 פעמים
Re: מתי נראה super resolution upscaling?
תן לזה זמן, וזמני עיבוד יהיו נמוכים יותר, מעבדים יהיהו חזקים יותר. ואז גם עיבוד בזמן אמיתי יהיה אפשרי.14/11/2020 19:14udif כתב: ↑ ...
אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי....
לגבי משחקים, כנראה אתה טועה, תתקדם לזמן 5:23 בוידאו למטה:
https://www.youtube.com/watch?v=KULkSwLk62I
- Huber
- חבר במועדון HT
- הודעות: 70328
- הצטרף: מאי 2005
- שם מלא: ערן
- נתן תודות: 518 פעמים
- קיבל תודות: 4198 פעמים
Re: מתי נראה super resolution upscaling?
mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.
- oferlaor
- מנהל
- הודעות: 75318
- הצטרף: נובמבר 2004
- שם מלא: עפר לאור
- מיקום: מודיעין, ישראל
- נתן תודות: 640 פעמים
- קיבל תודות: 4750 פעמים
Re: מתי נראה super resolution upscaling?
זה גם נכון שמנגנונים כאלה משתפרים לאורך זמן, אבל קחו בחשבון שגם פתרונות שמורידים את התלות בזמן אמת (למשל lipsync delay חכם) יכולים לתת למנגנונים האלה לעבוד לאורך זמן עם פחות מגבלות.
בנוסף, זו טכניקה די מקובלת בשוק לקחת וידאו איכותי, לכווץ אותו ברזולוציה או ביטרייט ואז לראות כיצד upscale משתווה למקור.
בנוסף, זו טכניקה די מקובלת בשוק לקחת וידאו איכותי, לכווץ אותו ברזולוציה או ביטרייט ואז לראות כיצד upscale משתווה למקור.
- mark13 (פותח השרשור)
- חבר פעיל במיוחד
- הודעות: 965
- הצטרף: יולי 2006
- נתן תודות: 107 פעמים
- קיבל תודות: 37 פעמים
Re: מתי נראה super resolution upscaling?
@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.15/11/2020 11:11Huber כתב: ↑ mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA....
DLSS עושה שימוש בדיוק בטכניקה שמציין עופר בהודעה למעלה, להקטין רזולוציה מ-4K או 16K עד איפה שאפשר כדי לחסוך בפיקסלים ולשחזר מחדש ע"י רשת ניורונים שאומנה לעשות זאת.
לעולם אל תיסוג! תסתובב ותמשיך להתקדם!
- udif
-
- חבר ותיק
- הודעות: 2067
- הצטרף: אוקטובר 2005
- מיקום: תל אביב
- נתן תודות: 37 פעמים
- קיבל תודות: 124 פעמים
Re: מתי נראה super resolution upscaling?
אני ממש לא מתעניין בגיימינג. ציינתי אבל כמה דברים אחרים:...
1. Super Resolution קלאסי, טרום DNN, מבוסס על סדרת תמונות ועל עודף האינפורמציה שנובעת מהן, כמו שמוצג בסרטון שהפנית אליו.
2. אמרתי שבעיבוד וידאו רגיל, כדי לקבל multiple frames אתה צריך השהייה. זו השהייה אינהרנטית שנובעת מכך שהעיבוד מתבצע על יותר מפריים אחד, ולא מכך שזמן העיבוד עצמו ארוך. שיפור מהירות העיבוד לא יכול לעזור כאן, כי הפריימים ימשיכו להגיחע ב 50/60 תמונות לשניה במקרה הטוב, אם לא 24.
3. ההתייחסות היחידה שלי לגיימינג היתה שטכניקה שמוסיפה השהייה כדי לעבוד על multiple frames לא מתאימה לגיימינג, אבל שם היא פחות חשובה כי הרבה יחותר קל להגדיל רזולוציה במשחק מאשר לעשות את זה עם עיבוד חיצוני והתוצאה תהיה גם יותר טובה. זה כל מה שציינתי. אין לי שום עניין בגיימינג.
לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.
- oferlaor
- מנהל
- הודעות: 75318
- הצטרף: נובמבר 2004
- שם מלא: עפר לאור
- מיקום: מודיעין, ישראל
- נתן תודות: 640 פעמים
- קיבל תודות: 4750 פעמים
Re: מתי נראה super resolution upscaling?
להבנתי יש אלמנטים של super resolution בכמה מעבדי תמונה, כולל HD fury Envy (לא בטוח שזה רשמית יצא). הם פותרים את בעיית הדיליי פשוט עם הוספת דיליי אודיו מקביל (או דיווח אחורה של lipsync delay שהרסיבר אמור לזהות ולתקן לפיו).
- mark13 (פותח השרשור)
- חבר פעיל במיוחד
- הודעות: 965
- הצטרף: יולי 2006
- נתן תודות: 107 פעמים
- קיבל תודות: 37 פעמים
Re: מתי נראה super resolution upscaling?
כן, ברור שהטכניקה שמוצגת עובדת על "ניחושים" ולא באמת מביא מידע חדש.16/11/2020 13:35udif כתב: ↑ ...
לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות....
אז, זה לא טוב ל-medical imaging, אבל מספיק טוב בשביל סרטי הוליווד
דרך אגב, הטכניקה של multiple frames משתמשים גם למשהו שקשור אבל לא בדיוק סופר רזולוציה: יש אלגוריטמים שממלאים את הפסים השחורים בסרטים שיחס התמונה הוא 4:3 והופכות אותם ל- 16:9 (כלומר, לא ע"י חיתוך התמונה אלה להיפך, ע"י הוספת מידע חסר בצדדים. פשוט מדהים)
(יש גם על זה וידאו ביוטיוב, מאותו ערוץ Two Minutes Paper)
לעולם אל תיסוג! תסתובב ותמשיך להתקדם!
- Huber
- חבר במועדון HT
- הודעות: 70328
- הצטרף: מאי 2005
- שם מלא: ערן
- נתן תודות: 518 פעמים
- קיבל תודות: 4198 פעמים