מאמרים אחרונים

שתף בפייסבוק שיתוף בפייסבוק
RSS - מאמריםמאמרים
RSS - פורומיםפורומים
דווח למנהל דיווח למנהל
קישור לעמוד זה קישור לעמוד זה
עוד בקבוצת HT



libtorrent Skip Zero filling trunk-r9738 גמרנו עם יוטורנט סופית


   פורומים > HTPC ומחשוב > אינטרנט - ספקים, תשתית, סיבים fiber
מחבר הודעה
Class889
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Jan 05, 2009

מיקום: dev/null/
הבעות תודה: 283
מספר הודעות: 4081

 #1  נשלח: ב' 24/02/2014 6:49
libtorrent Skip Zero filling trunk-r9738 גמרנו עם יוטורנט סופית

עד עתה, הוספת טורנטים על NTFS עם קליינטים שמבוססים על libtorrent,
כגון qbittorrent, deluge ,transmission וכו', במידה וPre-Allocate היה מאופשר בתוכנה (על מנת לשמור על הביצועים של הכונן שלא יהיה שום פרגמנטציה) היה כותב אפסים לדיסק בתחילת ההורדה מה שהיה חונק את הכונן ולא נותן להוריד על מהירות גבוהה עד שהוא לא סיים את הכתיבת אפסים לאורך כל המקום שהוא שומר לו מראש.

ז"א שאם הייתם מוסיפים טורנט בגודל 10 גיגה ואתם מורידים אותו נניח על מהירות של 8MB/s , מה שהיה קורה שברגע שהוא הוריד את הPiece הראשון הוא היה מתחיל לכתוב לכונן 10GB של אפסים לאותו מקום שהוא אמור להוריד, מה שהיה גורם לירידת ביצועים מאוד משמעותית בזמן הכתיבה הזאת, ככה שהייתם מורידים על מהירות של רק 100KB~.

בעצם על ידי שינוי הקוד בlibtorrent שהמפתח הראשי עשה אחרי שביקשתי ממנו ובדקנו את זה, עכשיו libtorrent מדלג על השלב של כתיבת אפסים (כמו ביוטורנט) ובעצם הכונן לא יהיה עסוק בכתיבת אפסים אלא יעבוד כמו מערכת קבצים EXT3/4 אפשר להגיד, שבעצם יכין את המקום מראש וימנע פרגמנטציה ולא יפגע במהירות אף בכלל.

https://code.google.com/p/libtorrent/source/browse...


אישית?
אני מאוד מאוד מבסוט מזה.
(1) הבעות תודה: avigdork
פרופיל | שלח הודעה | חפש
noam3039
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Jan 11, 2013
הבעות תודה: 499
מספר הודעות: 3420

 #2  נשלח: ב' 24/02/2014 7:49

זה נישמע מאוד מעניין
_________________
אשכול לכול חובבי עישון הבשר
http://www.hometheater.co.il/vt215693.html
פרופיל | שלח הודעה | חפש
MrYair
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Oct 25, 2011
הבעות תודה: 296
מספר הודעות: 3269

 #3  נשלח: ב' 24/02/2014 8:08

נשמע טוב
רק לא הבנתי איפה התקנה ?
פרופיל | שלח הודעה | חפש
Class889
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Jan 05, 2009

מיקום: dev/null/
הבעות תודה: 283
מספר הודעות: 4081

 #4  נשלח: ב' 24/02/2014 8:32

בגירסאות הבאות של אותם תוכנות של שמבוססות על libtorrent כשהם ישתמשו בlibtorrent source חדש יותר, אז זה יהיה.
כל תוכנה והמפתחים שלה ואיך שהם מחליטים לעדכן גירסאות.

מי שרוצה גירסאת אלפא של qbittorrent שמדלגת על כתיבת אפסים יכול להוריד מפה:
http://builds.shiki.hu/temp/qbittorrent_3.2.0alpha...

זה עובד תקין ונבדק על ידי.
מה שכן בחלק מהטראקרים הסגורים לא יתנו לכם להוריד עם קליינט אלפא.
TL כן מאפשרים את הקליינט הזה באלפא.
פרופיל | שלח הודעה | חפש
dhead666
גורו HTPC
גורו HTPC

הצטרף בתאריך:
  Feb 22, 2009
הבעות תודה: 884
מספר הודעות: 2975

 #5  נשלח: ב' 24/02/2014 10:51

אני לא זוכר מתי האופציה הזו לא היתה קיימת ב-Transmission, אם בכלל (היא קיימת בטוח יותר מ-6 שנים), זוהי בעצם ברירת המחדל, preallocation fast = = sparse file (וכמובן יש preallocation full ו-disable).
אני ממש לא חושב ש-Transmission עושה שימוש ב-libtorrent אלא ב-libtransmission.

_________________
Radio-IL: פלייליסט תחנות הרדיו ל-IPTVSimple | Logos-IL: אייקונים לעידן+ ותחנות הרדיו | XBMC on Linux for Arm | Twitter
פרופיל | שלח הודעה | חפש
Class889
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Jan 05, 2009

מיקום: dev/null/
הבעות תודה: 283
מספר הודעות: 4081

 #6  נשלח: ב' 24/02/2014 11:24

כנראה שלא ניסית את זה בווינדוס.
preallocate Sparse לא מגיע מהקליינט אלא מlibtorrent, וכמובן שזה קיים בכל קליינט אחר.
הקליינט הוא זה שפונה לlibtorrent על מנת לגשת למערכת קבצים.

אם תעשה pre allocate עם sparse זה יגרום לפרגמנטציה מאוד מאוד אבל מאוד מטורפת, עד כמה אתה שואל? בוא נגיד להוריד אלבום בflac של 300MB יעשה כ2000 סגמנטים בשביל האלבום הקטן הזה. מה שאומר שאם תרצה לקרוא את הקובץ מHDD הוא פשוט לא יזוז.

כמובן שפה מדובר על מערכת קבצים NTFS שהיא פועלת באופן מאוד שונה לעומת EXT3/4.

אז לכן חשוב היה לעשות את זה בווינדוס שכן תיהיה אלוקציה מלאה.
sparse != full pre allocate

אתה יכול לראות הסבר מורחב יותר כאן.
http://en.wikipedia.org/wiki/Sparse_file#Disadvant...

אם תכנס ליוטורנט אתה תראה שיש שם אופציה של diskio.no_zero מה שאומר שהוא יעשה בעצם עדיין יעשה FULL pre allocate (לא sparse) וידלג על הכתיבת אפסים, אם תבטל את זה אתה תראה בדיוק את מה שקורה עם קליינטים מבוססים libtorrent בווינדוס במצב הקיים.
(1) הבעות תודה: dhead666
פרופיל | שלח הודעה | חפש
Class889
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Jan 05, 2009

מיקום: dev/null/
הבעות תודה: 283
מספר הודעות: 4081

 #7  נשלח: שבת 01/03/2014 23:35

כמו שאמרתי, יצא גירסת STABLE עם הsvn המתאים עם הפאץ שמדלג על הכתיבת אפסים :
http://www.qbittorrent.org/download.php

בהמשך שיהיה לי זמן אני אעשה גירסא גם של deluge
פרופיל | שלח הודעה | חפש
כל הזמנים הם שעון קיץ - ישראל (GMT+3) הצג הודעות קודמות:    
פורומים > אינטרנט - ספקים, תשתית, סיבים fiber


  
    שם משתמש:
נתוני כניסה לכל אתרי HT:

  סיסמא:
 

  


 | 

קפוץ אל: 
לא ניתן לשלוח הודעות בפורום זה
לא ניתן להגיב להודעות בפורום זה
לא ניתן לערוך את הודעותיך בפורום זה
לא ניתן למחוק את הודעותיך בפורום זה
לא ניתן להצביע לסקרים בפורום זה
לא ניתן לצרף קבצים בפורום זה
לא ניתן להוריד קבצים בפורום זה

תקנון / תנאי השימוש באתר צור קשר / contact us כל הזכויות שמורות לקבוצת ht