در این مقاله به مبانی حافظه در سیستم های یادگیری عمیق می پردازیم. مدل سازی حافظه یک حوزه تحقیقاتی رو به رشد در یادگیری عمیق است. در سال‌های اخیر، تکنیک‌هایی مانند ماشین‌های تورینگ عصبی (NTM) پیشرفت زیادی در شکل‌دهی به ساختارهای حافظه انسانی در سیستم‌های یادگیری عمیق داشته‌اند. در این مقاله از زاویه‌ای متفاوت به این موضوع می‌پردازیم و سعی می‌کنیم به این سؤالات اساسی که وقتی به حافظه در مدل‌های یادگیری عمیق فکر می‌کنیم، پاسخ دهیم:
مطالب این مقاله
- الف) چه چیزی حافظه را در سیستم های یادگیری عمیق پیچیده می کند؟
- ب) از چه منابعی می توان برای معماری حافظه الهام گرفت؟
- ج) تکنیک های اصلی برای نمایش خاطرات در مدل های یادگیری کدامند؟
برای ارائه پاسخ های کافی به دو سوال اول، باید نظریه های بیولوژیکی و روانشناختی حافظه را در نظر بگیریم. این ما را به دو مکتب فکری می‌رساند که بر درک ما از حافظه تأثیر گذاشته‌اند: عصب‌شناسی و روانشناسی شناختی. در ادامه همین روند فکری، قصد داریم این مقاله را در سه قسمت اصلی ارائه کنیم. بخش اول نظریه عصب شناسی حافظه را توضیح می دهد. بخش دوم حافظه را از منظر روانشناسی شناختی بررسی می کند و بخش پایانی بر این موضوع تمرکز دارد که چگونه یادگیری عمیق می تواند از این سیستم های فکری برای استفاده از حافظه در شبکه های عصبی الهام گرفته شود. بنابراین ابتدا از جایی شروع می کنیم که خاطرات ساخته می شوند: مغز انسان.
یک نظریه عصب شناختی حافظه
درک چگونگی ایجاد و در برخی موارد از بین رفتن حافظه و همچنین تفاوت بین حافظه های بلند مدت و کوتاه مدت، یکی از حوزه های مهم تحقیقات عصبی در دهه گذشته بوده است. یکی از موضوعات نمادینی که باعث این سطح از تحقیقات شد، مربوط به بیماری به نام هنری مولیسون (HM) است.
هنری گوستاو مولیسون (HM) در سن 9 سالگی دچار سانحه ای شد که باعث شد تا سال ها دچار تشنج های متناوب شود. در سال 1952 در سن 25 سالگی برای از بین بردن علائم تشنج تحت عمل جراحی قرار گرفت. در ابتدا این روش موفقیت آمیز به نظر می رسید تا اینکه پزشکان متوجه شدند که به طور تصادفی بخشی از هیپوکامپ HM را برداشته اند و در نتیجه او نمی تواند خاطرات جدیدی را در حافظه خود ذخیره کند.
ایده زندگی بدون خاطرات جدید مانند زندگی در زمان حال است. چنین موقعیتی معادل این نیست که شما حافظه خوبی دارید یا نه. بلکه به گونه ای زندگی می کنید که هرگز نمی توانید با رویدادهای گذشته یا آینده ارتباط برقرار کنید. بیمار H.M. او روز خود را صرف نگه داشتن چند دقیقه از اطلاعات در حافظه خود کرد، بارها و بارها با افراد مشابه ملاقات کرد و بارها و بارها از آنها سؤالات مشابهی پرسید. مورد بیمار HM الهام بخش دانشمندان علوم اعصاب برای درک چگونگی شکل گیری، ذخیره و یادآوری حافظه شد.
اجزای دخیل در حافظه در مغز
تئوری علم اعصاب مدرن حافظه شامل سه ناحیه اصلی مغز است: تالاموس، قشر جلوی مغز و هیپوکامپ. تالاموس را می توان به عنوان مسیریاب در نظر گرفت که اطلاعات حسی (بینایی، لمس، گفتار) را پردازش می کند و آن اطلاعات را برای ارزیابی به لوب های حسی مغز می فرستد. اطلاعات ارزیابی شده در نهایت به قشر جلوی مغز می رسد. در آنجا اطلاعات به صورت خاطرات کوتاه مدت وارد آگاهی ما می شود. این اطلاعات به هیپوکامپ نیز ارسال می شود. در آنجا اطلاعات به قسمت‌های مختلف تقسیم می‌شود تا در قشرهای مختلف به‌عنوان خاطرات بلندمدت ذخیره شوند. یکی از بزرگترین چالش‌های پیش روی علم اعصاب امروزه این است که بفهمیم چگونه تکه‌های پراکنده حافظه می‌توانند در یک تجربه حافظه منسجم گرد هم آیند. این مشکل در علوم اعصاب «مشکل اتصال» نامیده می شود.
مشکل اتصال
مشکل ارتباط، به عنوان یکی از مرموزترین جنبه های نظریه حافظه در علوم اعصاب، مفهوم یادآوری حافظه بر اساس اطلاعات حسی را به چالش می کشد. به عنوان مثال، تصور کنید با یک دوست عزیز به کنسرت می روید. خاطرات این رویداد در نواحی مختلف مغز شکسته و ذخیره می شود. با این حال، تنها یک تجربه مانند شنیدن آهنگی که در آن کنسرت شنیدید یا دیدن رقص همسرتان کافی است تا تمام خاطره آن کنسرت در ذهن شما زنده شود. این وضعیت چگونه ممکن است؟
یکی از نظریه هایی که مشکل اتصال را حل می کند این است که بخش های مختلف حافظه توسط نوسانات الکترومغناطیسی که دائماً از طریق مغز ارسال می شود به هم متصل می شوند. این نوسانات یک رابطه زمانی (و نه فضایی) بین بخش های حافظه ایجاد می کند که به آنها اجازه می دهد تا در یک حافظه منسجم جمع شوند.
تئوری حافظه در علوم اعصاب پایه ای برای درک اجزای اساسی معماری حافظه هوشمند به ما می دهد. با این حال، حافظه انسان فقط یک محصول جانبی از اجزای مغز نیست. همچنین به شدت تحت تأثیر شرایط پس زمینه است. این موضوع در قسمت بعدی بیشتر توضیح داده شده است.
نظریه حافظه در روانشناسی شناختی
مشکل اتصال در نظریه حافظه در علوم اعصاب توضیح می دهد که چگونه قطعات پراکنده حافظه را می توان در خاطرات منسجم جمع کرد. روشن شد که برای توضیح اتصال، ما باید از معماری مغز فراتر برویم و انواع اجزای چارچوب روانشناختی را که تأثیر عمیقی بر یادآوری حافظه دارند، بررسی کنیم. یکی از نظریه های اصلی در این زمینه، روانشناسی شناختی است که سعی در تبیین ماهیت رابطه ای حافظه دارد. این مفهوم اثر تداعی نامیده می شود.
حافظه انجمنی و تأثیر انجمنی
مانند تمام نظریه های خوب روانشناسی شناختی، ما سعی می کنیم اثر تداعی را از طریق آزمایش توضیح دهیم. اولین چیزی که با شنیدن کلمه “شام” به ذهنتان خطور می کند چیست؟ نوشیدنی است یا دسر؟ شاید یک قرار جمعه شب به ذهنتان بیاید. همانطور که می بینید، چیزی به سادگی یک کلمه می تواند مجموعه پیچیده ای از احساسات و حتی سایر کلمات مرتبط را برانگیزد. در این شرایط، ما به طور موثر خاطرات خود را به یاد می آوریم.
یکی از نتایج قابل توجه آزمایش‌های قبلی این است که چقدر سریع می‌توانید این کلمات یا خاطرات مرتبط را بازیابی کنید. دلیل این اتفاق این است که خاطرات مرتبط بخشی از چیزی است که دانیل کانمن برنده جایزه نوبل آن را سیستم 1 می نامد. این فرآیند سریع است و مجموعه ای از احساسات و پاسخ های فیزیکی مرتبط ایجاد می شود. در روانشناسی به این نوع پدیده به صورت تداعی منسجم می گویند.
اکتشافی در دسترس بودن
یکی دیگر از مؤلفه های مهم تئوری حافظه در زمینه روانشناسی شناختی به نحوه به خاطر سپردن فراوانی رویدادها مربوط می شود. به عنوان مثال، اگر از شما بپرسند “در ده سال گذشته در چند کنسرت بوده اید؟” اگر احساس خوبی نسبت به کنسرت دارید یا اخیراً به کنسرتی رفته اید، احتمالاً برآوردی بالاتر از حد واقعی ارائه می دهید. عدد. در غیر این صورت، اگر از آخرین کنسرت خود لذت نمی بردید، این تعداد می تواند بسیار کمتر از تعداد واقعی باشد. این فرآیند شناختی، تشخیص دسترسی نامیده می شود و توضیح می دهد که چگونه خاطرات ما به شدت تحت تأثیر حضور فوری یک پاسخ قرار می گیرند.
تا اینجا ما ایده ای در مورد چگونگی تفکر در مورد حافظه در زمینه مغز (علوم اعصاب) و زمینه اجتماعی (روانشناسی شناختی) داریم. حال سوال این است که چگونه می توانیم از این نظریه ها در الگوریتم های یادگیری عمیق استفاده کنیم؟
حافظه و یادگیری عمیق
از دیدگاه علوم اعصاب و نظریه های روانشناسی شناختی، می دانیم که هر نوع سیستم حافظه مصنوعی دارای مجموعه ای از ویژگی ها است که آن را شبیه به حافظه انسان می کند.
- آ. حافظه به بخش هایی تقسیم می شود که حوزه های مختلف دانش را توصیف می کند.
- ب قطعات منفرد در ساختارهای اطلاعاتی منسجم جمع می شوند.
- جی. داده ها بر اساس موضوع استخراج می شوند، نه بر اساس اطلاعات با پیوند مستقیم یا ارجاع به داده های خارجی.
هیچ رشته ای در علوم کامپیوتر به اندازه یادگیری عمیق از سیستم های حافظه مانند انسان بهره نبرده است. از همان روزهای اولیه، یادگیری عمیق تلاش کرده است تا سیستم هایی را مدل کند که برخی از ویژگی های کلیدی حافظه انسان را به اشتراک بگذارند.
یادگیری عمیق و حافظه ضمنی
برای درک روابط معنایی حافظه در یادگیری عمیق، باید بین مفاهیم دانش ضمنی و آشکار تمایز قائل شویم. دانش ضمنی معمولاً ناخودآگاه است و بنابراین توضیح آن دشوار است. می‌توانیم نمونه‌هایی از دانش ضمنی را در زمینه‌هایی مانند تحلیل گفتار و بینایی به‌صورت تشخیص میمون در تصویر یا آهنگ و لحن جمله‌ی گفتاری بیان کنیم. دانش صریح، بر خلاف این مدل، به راحتی به صورت توصیفی مدل‌سازی می‌شود. به عنوان مثال، درک اینکه یک میمون یک حیوان است یا اینکه برخی صفت ها بی ادب هستند، نمونه های کلاسیک دانش صریح هستند. ما می دانیم که الگوریتم های یادگیری عمیق پیشرفت های زیادی در ارائه دانش ضمنی داشته اند. اما آنها هنوز کار زیادی برای انجام دادن در مدل سازی و حفظ دانش صریح دارند.
چه چیزی یادگیری دانش صریح را برای الگوریتم های یادگیری عمیق دشوار می کند؟ اگر به معماری سنتی شبکه های عصبی با میلیون ها گره به هم پیوسته دقت کنید، متوجه خواهید شد که هیچ معادلی برای یک سیستم حافظه کارآمد وجود ندارد که بتواند قطعات گسسته دانش و روابط آنها را با یکدیگر به گونه ای ذخیره کند که بتوانند دسترسی آسان از لایه های مختلف شبکه یک مشکل است. ضروری تلقی می شود. اخیراً تکنیک های جدیدی در زمینه یادگیری عمیق برای حل این مشکل ایجاد شده است.
ماشین های عصبی تورینگ
توسعه سریع الگوریتم‌های یادگیری سریع نیازمند سیستم‌های حافظه‌ای است که بتوانند ویژگی‌های حافظه مانند انسان را هنگام پردازش دانش صریح نشان دهند. یکی از تکنیک‌های رایج در مدل‌سازی حافظه، ماشین‌های تورینگ عصبی (NTM) است که در سال 2015 توسط DeepMind معرفی شد.
NTM با تقویت شبکه های عصبی عمیق با سلول های حافظه ساخته شده است که می توانند بردارهای کامل را ذخیره کنند. یکی از بزرگترین نوآوری های NTM این است که از اکتشافی برای خواندن و نوشتن داده ها استفاده می کند. به عنوان مثال، NTM مکانیزمی را پیاده سازی می کند که می تواند بردارها را بر اساس الگوهای ورودی استخراج کند. این فرآیند شبیه به روش یادآوری خاطرات در مغز انسان بر اساس تجربیات ذهنی است. علاوه بر این، NTM مکانیسم هایی برای افزایش حضور سلول های حافظه بر اساس تعداد فراخوان ها دارد.
NTM تنها تکنیکی نیست که قابلیت های حافظه را در سیستم های یادگیری عمیق فراهم می کند. اما قطعا یکی از رایج ترین هاست. تقلید از کارکردهای بیولوژیکی و روانی حافظه انسان کار ساده ای نیست و به یکی از مهمترین زمینه های تحقیقاتی در زمینه یادگیری عمیق تبدیل شده است.
اگر به این پست علاقه مند بودید، ممکن است به موارد زیر نیز علاقه مند شوید:
==