ברקלי מעבדה, אינטל, Cray לרתום כוח של למידה עמוקה ללמוד את היקום

What you need to know about CRISPR | Ellen Jorgensen (יולי 2019).

Anonim

שיתוף פעולה של מרכז נתונים גדול בין מדענים ממוחשבים במעבדה הלאומית למדעי המעבדה הלאומית למדע של אוניברסיטת לורנס ברקלי (NERC) ומהנדסים באינטל וקריי, הניב עוד אחד במסע כדי ליישם את הלמידה העמוקה במדע עתיר נתונים: CosmoFlow, יישום מדעי בקנה מידה גדול הראשון להשתמש במסגרת TensorFlow על פלטפורמת מחשוב ביצועים גבוהים מבוססי מעבד עם אימון סינכרוני. כמו כן, הוא הראשון לעבד כרכים נתונים מרחביים תלת ממדיים (3-D) בקנה מידה זה, ומספק למדענים פלטפורמה חדשה לחלוטין להשגת הבנה מעמיקה יותר של היקום.

בעיות קוסמולוגיות '' נתונים גדולים '' חורגות מעבר לכמות הנתונים הפשוטה המאוחסנת בדיסק. תצפיות של היקום הן סופיות בהכרח, והאתגר שבו עומדים החוקרים הוא כיצד לחלץ את רוב המידע מהתצפיות ומהסימולציות הקיימות. ההרכבה היא שהקוסמולוגים מאפיינים בדרך כלל את התפלגות החומר ביקום באמצעות מדידות סטטיסטיות של מבנה החומר בצורה של פונקציות של שתיים או שלוש נקודות או נתונים סטטיסטיים מופחתים אחרים. שיטות כגון למידה עמוקה שיכולה ללכוד את כל התכונות בחלוקת החומר תספק תובנה גדולה יותר על טבעו של האנרגיה האפלה. ראשית, ניתן להבין כי ניתן ליישם את הלמידה העמוקה בבעיה זו הן Siamak Ravanbakhsh ועמיתיו, כפי שהוזכר בהליכים של הוועידה הבינלאומית ה -33 ללמידה ממוחשבת. עם זאת, צווארי בקבוק חישוביים בעת הגדלת הרשת ומערך הנתונים הגביל את היקף הבעיה שניתן לטפל בה.

מוטיבציה כדי להתמודד עם האתגרים האלה, CosmoFlow נועד להיות מדרגי מאוד; כדי לעבד Dasasets גדול, 3-D קוסמולוגיה; וכדי לשפר את ביצועי ההדרכה העמוקה על מחשבי HPC מודרניים כגון מעבדי Cray XC40 Cori המבוססים על מעבדי Intel ב- NERSC. CosmoFlow בנויה על גבי מסגרת TensorFlow מכונת הלמידה הפופולארית ומשתמשת בפייתון כחזית. היישום ממנף את Cray PE מכונת הלמידה Plugin להשיג קנה מידה חסר תקדים של מסגרת TensorFlow עמוק הלמידה יותר מ 8, 000 צמתים. זה גם היתרונות של DataWarp של DataWarp I / O טכנולוגיה של Cray, אשר מספק את התפוקה I / O נדרש להגיע לרמה זו של יכולת הרחבה.

במאמר טכני שיוצג ב- SC18 בנובמבר, צוות CosmoFlow מתאר את היישום ואת הניסויים הראשונים באמצעות חומר כהה N-body סימולציות המיוצר באמצעות MUSIC ו pycola חבילות על המחשב העל קורי ב NERSC. בסדרה של ניסויים בודדים של צומת יחיד ורב-צומת, הצוות היה מסוגל להפגין אימון סינכרוני מקבילי באופן מלא על 8, 192 של קורי עם יעילות מקבילה של 77% ו -3.5 ביצועי Pflop / s.

"המטרה שלנו היתה להוכיח ש- TensorFlow יכולה לפעול בקנה מידה גדול על צמתים מרובים ביעילות", אמרה דבורה בארד, ארכיטקטית נתונים גדולה ב- NERSC ומחברת משותפת של המאמר הטכני. "עד כמה שידוע לנו, זוהי הפריסה הגדולה ביותר של TensorFlow במעבדים, ואנו חושבים שזה הניסיון הגדול ביותר להפעיל את TensorFlow על המספר הגדול ביותר של צמתים של CPU."

בשלב מוקדם, צוות CosmFlow הניח שלוש מטרות עיקריות עבור פרויקט זה: מדע, אופטימיזציה צומת אחת קנה המידה. מטרת המדע היתה להוכיח שניתן להשתמש בלמידה עמוקה בכרכים של 3-D כדי ללמוד את הפיזיקה של היקום. הצוות גם רצה להבטיח כי TensorFlow רץ ביעילות וביעילות על צומת מעבד Intel Xeon Phi אחד עם כרכים תלת-ממדיים, שהם נפוצים במדע, אך לא כל כך בתעשייה, שבה יישומי הלמידה העמוקים ביותר עוסקים בנתוני תמונות דו-ממדיים סטים. ולבסוף, להבטיח יעילות גבוהה וביצועים כאשר scaled על פני 1000 של צמתים על מערכת המחשב העל קורי.

כפי שג'ו קרלי, מנהל ארגון קוד המודרניזציה של מרכז הנתונים של אינטל, ציין כי "שיתוף הפעולה של מרכז הנתונים הגדולים הביא לתוצאות מדהימות במדעי המחשב באמצעות שילוב של טכנולוגיית אינטל ואופטימיזציה ייעודית של תוכנות.במהלך פרויקט CosmFlow, זיהינו מסגרת, ליבה ואופטימיזציה של תקשורת שהובילה לעלייה של יותר מ -750 ביצועים עבור צומת אחת.באותה מידה מרשימה, הצוות פתר בעיות שמגבילות את קנה המידה של טכניקות למידה עמוקות ל-128 עד 256 צמתים - כדי לאפשר כעת ליישום CosmFlow להרחיב את קנה המידה ביעילות ל 8, 192 צמתים של מחשבי Cori ב- NERSC ".

"אנו נרגשים מהתוצאות ומפריצות הדרך ביישומי בינה מלאכותית מהפרויקט המשותף הזה עם NERSC ואינטל", אמר פר ניברג, סגן נשיא לפיתוח שוק, בינה מלאכותית וענן בקריי. "זה מרגש לראות את צוות CosmFlow לנצל את הטכנולוגיה Cray ייחודי למנף את כוחו של מחשב Cray כדי למדוד בצורה יעילה מודלים למידה עמוקה.זה דוגמה מצוינת למה שרבים מהלקוחות שלנו שואפים ב מתכנסת מודלים מסורתיים סימולציה עם אלגוריתמים חדשים ללמידה עמוקה ולניתוח, כולם על פלטפורמה אחת וניתנת להרחבה ".

Prabhat, ראש קבוצת שירותי נתונים ושירותים ב- NERSC, הוסיף כי "מנקודת המבט שלי, CosmoFlow הוא פרויקט מופת לשיתוף הפעולה של מרכז הנתונים הגדול.יש לנו באמת מיומנויות ממוסדות שונים כדי לפתור בעיה מדעית קשה ולשפר את הייצור שלנו מחסנית, אשר יכול להועיל לקהילת משתמשים רחבה יותר של NERSC ".

בנוסף לבארד ולפרבהט, מחברי המאמר על נייר ה- SC18 כוללים את אמריטה מתוריה, לורנס מידוס, ליי שאו, טומאס קרנה, ג'ון פניקוק, ג'ייסון סוול, נליני קומאר וויקטור לי מאינטל; פיטר מנדיגרל, דיאנה מואיז, קריסטין מאשהוף ומייקל רינגנבורג מקריי; Siyu הוא שירלי הו ממכון Flatiron; וג'יימס ארנמן מאוניברסיטת ברקלי.

menu
menu