برای آخرین به روزرسانی ها و مطالب اختصاصی در مورد پوشش هوش مصنوعی پیشرو در صنعت ، به خبرنامه های روزانه و هفتگی ما بپیوندید. بیشتر بدانید
محققان در دانشگاه راتگرز ، گروه مورچه و تحقیقات Salesforce چارچوبی جدید را پیشنهاد کرده اند که به نمایندگان هوش مصنوعی امکان می دهد با ادغام اطلاعات از محیط خود و ایجاد خاطرات مرتبط با خودکار برای توسعه ساختارهای پیچیده ، وظایف پیچیده تری را انجام دهند.
این چارچوب به نام A-MEM ، از مدل های بزرگ زبان (LLMS) و تعبیه کننده بردار برای استخراج اطلاعات مفید از تعامل عامل و ایجاد بازنمایی های حافظه استفاده می کند که می توان آنها را بازیابی و استفاده کرد. با شرکت هایی که به دنبال ادغام نمایندگان هوش مصنوعی در گردش کار و برنامه های خود هستند ، داشتن یک سیستم مدیریت حافظه قابل اعتماد می تواند تفاوت بزرگی ایجاد کند.
چرا حافظه LLM مهم است
حافظه در برنامه های LLM و عامل بسیار مهم است زیرا تعامل طولانی مدت بین ابزارها و کاربران را امکان پذیر می کند. با این حال ، سیستم های حافظه فعلی یا ناکارآمد هستند یا مبتنی بر طرح های از پیش تعریف شده هستند که ممکن است ماهیت در حال تغییر برنامه ها و تعامل آنها با آنها مطابقت نداشته باشد.
محققان می نویسند: “چنین ساختارهای سفت و سخت ، همراه با گردش کار عامل ثابت ، توانایی این سیستم ها را به شدت محدود می کند تا در محیط های جدید تعمیم یابد و اثربخشی در تعامل طولانی مدت را حفظ کند.” “این چالش به طور فزاینده ای بسیار مهم می شود زیرا عوامل LLM وظایف پیچیده تر و بازتر را برطرف می کنند ، جایی که سازمان دانش انعطاف پذیر و سازگاری مداوم ضروری است.”
A-Mem توضیح داد
A-MEM یک معماری حافظه عامل را معرفی می کند که به گفته محققان ، مدیریت حافظه خودمختار و انعطاف پذیر را برای عوامل LLM امکان پذیر می کند.
هر بار که یک عامل LLM با محیط خود در تعامل است-چه با دسترسی به ابزارها یا تبادل پیام با کاربران-A-MEM “یادداشت های حافظه ساختاری” ایجاد می کند که هم اطلاعات صریح و هم ابرداده مانند زمان ، توضیحات متنی ، کلمات کلیدی مربوطه و خاطرات مرتبط را ضبط می کند. برخی از جزئیات توسط LLM تولید می شود زیرا تعامل را بررسی می کند و اجزای معنایی ایجاد می کند.
پس از ایجاد یک حافظه ، از یک مدل رمزگذار برای محاسبه مقدار تعبیه تمام اجزای آن استفاده می شود. ترکیبی از مؤلفه های معنایی و تعبیه شده توسط LLM ، هم زمینه قابل تفسیر انسان و هم ابزاری برای بازیابی کارآمد از طریق جستجوی شباهت را فراهم می کند.
ایجاد حافظه به مرور زمان
یکی از مؤلفه های جالب چارچوب A-MEM مکانیسمی برای پیوند دادن یادداشت های حافظه مختلف بدون نیاز به قوانین از پیش تعریف شده است. برای هر یادداشت جدید حافظه ، A-MEM نزدیکترین خاطرات را بر اساس شباهت مقادیر جاسازی آنها مشخص می کند. LLM سپس محتوای کامل نامزدهای بازیابی شده را برای انتخاب مواردی که مناسب ترین آنها برای پیوند به حافظه جدید است ، تجزیه و تحلیل می کند.
محققان می نویسند: “با استفاده از بازیابی مبتنی بر تعبیه به عنوان فیلتر اولیه ، ما مقیاس پذیری کارآمد را ضمن حفظ ارتباط معنایی فعال می کنیم.” “A-MEM می تواند به سرعت اتصالات بالقوه را حتی در مجموعه های حافظه بزرگ و بدون مقایسه جامع شناسایی کند. مهمتر از همه ، تجزیه و تحلیل LLM محور امکان درک ظریف از روابطی را فراهم می کند که فراتر از معیارهای شباهت ساده است. “
A-MEM پس از ایجاد پیوندهایی برای حافظه جدید ، خاطرات بازیابی شده را بر اساس اطلاعات متنی و روابط آنها با حافظه جدید به روز می کند. با افزودن خاطرات بیشتر با گذشت زمان ، این فرایند ساختارهای دانش سیستم را اصلاح می کند و امکان کشف الگوهای و مفاهیم مرتبه بالاتر را در خاطرات فراهم می کند.
در هر تعامل ، A-MEM از بازیابی حافظه آگاه متن برای ارائه اطلاعات تاریخی مربوطه به نماینده استفاده می کند. با توجه به یک سریع جدید ، A-MEM ابتدا مقدار تعبیه خود را با همان مکانیسم مورد استفاده برای یادداشت های حافظه محاسبه می کند. این سیستم از این تعبیه برای بازیابی مناسب ترین خاطرات از فروشگاه حافظه استفاده می کند و سریع را با اطلاعات متنی تقویت می کند که به عامل کمک می کند تا بهتر از تعامل فعلی درک و پاسخ دهد.
محققان می نویسند: “زمینه بازیابی شده با اتصال تعامل فعلی با تجربیات گذشته و دانش ذخیره شده در سیستم حافظه ، روند استدلال عامل را غنی می کند.”
A-MEM در عمل
محققان A-MEM را در Locomo آزمایش کردند ، مجموعه ای از مکالمات بسیار طولانی که شامل چندین جلسه است. لوکومو شامل وظایف چالش برانگیز مانند سؤالات چند هاپ است که نیاز به سنتز اطلاعات در چندین جلسه چت و سؤالات استدلال دارد که نیاز به درک اطلاعات مربوط به زمان دارند. این مجموعه داده همچنین حاوی سؤالات دانش است که نیاز به ادغام اطلاعات متنی از مکالمه با دانش خارجی دارد.
آزمایشات نشان می دهد که A-MEM از سایر تکنیک های حافظه عامل اصلی در اکثر دسته های کار ، به ویژه هنگام استفاده از مدل های منبع باز ، بهتر است. نکته قابل توجه ، محققان می گویند که A-MEM ضمن کاهش هزینه های استنباط ، به عملکرد برتر می رسد و هنگام پاسخ به سؤالات ، به 10 برابر کمتر نشانه نیاز دارد.
مدیریت حافظه مؤثر در حال تبدیل شدن به یک نیاز اصلی است زیرا عوامل LLM در جریان کار پیچیده شرکت ها در حوزه ها و زیر سیستم های مختلف ادغام می شوند. A-MEM-که کد آن در GitHub موجود است-یکی از چندین چارچوب است که شرکت ها را قادر می سازد تا عوامل LLM با حافظه را بسازند.
