מדענים משפרים את שיטת הלמידה העמוקה עבור רשתות עצביות

Autism: disruptions in early human social adaptation mechanisms: Ami Klin at TEDxPeachtree (יוני 2019).

Anonim

חוקרים ממכון מערכות המודיעין הקיברנטי של האוניברסיטה הלאומית למחקר גרעיני MEPhI (רוסיה) פיתחו לאחרונה מודל למידה חדש למכונת Boltzmann המוגבלת (רשת עצבית), אשר מייעלת את תהליכי הקידוד הסמנטי, ההדמיה והזיהוי של הנתונים. תוצאות מחקר זה מתפרסמות בכתב העת " זיכרון אופטי" ורשתות עצביות.

כיום, רשתות עצביות עמוקות עם ארכיטקטורות שונות, כגון רשתות מעוותות, חוזרות ואוטומטיות, הופכות לתחום מחקר פופולרי יותר ויותר. מספר חברות היי-טק, כולל מיקרוסופט וגוגל, משתמשות ברשתות עצביות עמוקות כדי לתכנן מערכות חכמות.

במערכות למידה עמוקות, התהליכים של בחירת התצורה והתצורה הם אוטומטיים, מה שאומר שהרשתות יכולות לבחור בין האלגוריתמים היעילים ביותר להפקת תכונות היררכיות בעצמם. למידה עמוקה מתאפיינת בלימוד בעזרת דוגמאות גדולות באמצעות אלגוריתם אופטימיזציה אחד. אלגוריתמי אופטימיזציה אופייניים להגדיר את הפרמטרים של כל הפעולות בו זמנית, ובאופן יעיל להעריך כל השפעה של פרמטר רשת עצבית על שגיאה בעזרת מה שנקרא שיטת backpropagation.

"היכולת של רשתות עצביות ללמוד בעצמן היא אחד המאפיינים המרתקים ביותר שלהם", הסביר ולדימיר גולובקו, פרופסור במכון MEPhI של סייבר מודיעין מערכות. "בדיוק כמו מערכות ביולוגיות, רשתות עצביות יכולות לדגמן את עצמן, בניסיון לפתח את המודל הטוב ביותר של התנהגות".

בשנת 2006, בתחום אימון רשת עצבית ראה פריצת דרך כאשר ג 'פרי Hinton פירסם מחקר על רשת טרום אימון רשתות. הוא ציין כי רשתות עצביות רב שכבתיות יכולות להיות מאומנות מראש על ידי אימון שכבה אחת בכל פעם בעזרת מכונת Boltzmann מוגבלת ולאחר מכן כוונון עדין באמצעות backpropagation. רשתות אלה נקראו רשתות אמונה עמוקות, או DBN.

גולובקו ניתח את הסוגיות והפרדיגמות העיקריות של הלמידה העמוקה של המכונה והציע שיטת לימוד חדשה למכונת בולצמן המוגבלת. החוקר הוכיח כי הכלל הקלאסי של הכשרה זו רשת עצבית הוא מקרה מסוים של השיטה שהוא פיתח.

"מדענים אמריקאים מינסקי ו Papert הראה פעם כי מנקודת מבט של סיווג דפוס, פרספטון שכבה אחת עם הפונקציה ההפעלה סף יוצר משטח הפרדה ליניארי, ולכן היא לא יכולה לפתור את הבעיה" בלעדי או ", " Golovko ציינתי. "זה הוביל למסקנות פסימיות לגבי התפתחות נוספת של רשתות עצביות, אך ההצהרה האחרונה נכונה רק לגבי פרספטון שכבה אחת עם סף או פונקציית הפעלה מתמשכת מונוטונית, למשל פונקציה סיגמואידית, כאשר משתמשת בהפעלת האות פונקציה, פרספטון השכבה אחת יכולה לפתור את הבעיה "בלעדי או", שכן הוא יכול לחלק את השטח של אלה ואפסים לתוך שיעורים בעזרת שני קווים ישרים. "

המחקר כלל גם ניתוח של הסיכויים של שימוש ברשתות עצביות עמוקות לדחיסה, להדמיה ולהכרה בנתונים. יתר על כן, Golovko הציע גם גישה חדשה ליישום קידוד סמנטי, או hashing, אשר מבוססת על שימוש עמוק עמוק אסוציאטיבית רשתות עצביות.

זו שיטת הלמידה העמוקה עשויה להיות שימושית מאוד להכשרת רשתות עצביות של מנועי החיפוש, קובע המחבר, שכן היא תשפר את מהירות החיפוש אחר תמונות רלוונטיות.

לממצאים אלה יש ערך מעשי רב: הם כבר מצאו יישומים בתחום ראיית המחשבים, זיהוי דיבור וביואינפורמטיקה.

menu
menu