هوش مصنوعی یه چیز عجیب تو رفتار LLMها هست که خیلی‌ها تا وقتی ازش ضربه نخورن، متوجهش نمی‌شن.

[اقیــانــــــوساقیــانــــــوس عضو تأیید شده است.]

فرض کن یه PDF پنجاه‌صفحه‌ای به مدل می‌دی و می‌گی: نکات کلیدی رو پیدا کن. جواب می‌گیری؛ اما بعداً می‌فهمی یه نکته‌ی مهم از صفحه‌ی وسط، کاملاً جا افتاده.

حافظه‌اش که پر نشده بود؛ پس چی شد؟ این پدیده اسم داره:
Lost in the Middle.​

 

[اقیــانــــــوساقیــانــــــوس عضو تأیید شده است.]

مدل‌های LLM محتوا رو داخل چیزی به اسم Context Window پردازش می‌کنن؛ یه پنجره با ظرفیت مشخص. اما نکته اینجاست که مدل لزوماً به همه‌ی بخش‌های این پنجره به یک اندازه توجه نمی‌کنه. معمولاً اطلاعات ابتدای Context و انتهای اون بهتر دیده می‌شن؛ اما بخش‌های میانی می‌تونن راحت‌تر گم بشن. یعنی اگر مهم‌ترین نکته‌ی یک سند پنجاه‌صفحه‌ای دقیقاً وسطش باشه، احتمال جا افتادنش می‌تونه بیشتر باشه.​

 

[اقیــانــــــوساقیــانــــــوس عضو تأیید شده است.]

چطور باهاش کنار بیایم؟ ​

اطلاعات حیاتی رو اول یا آخر Prompt بیار. مثلاً اگر یک بند خاص از قرارداد برات مهمه، همون بند رو جداگانه هم داخل Prompt قرار بده؛ نذار وسط ده‌ها صفحه گم بشه.​

اسناد خیلی بلند رو یک‌جا پردازش نکن.
سند رو بخش‌بندی کن، هر بخش رو جداگانه بررسی کن و در نهایت خروجی‌ها رو با هم جمع‌بندی کن.​

از مدل بخواه یک بخش مشخص رو تأیید کنه. مثلاً بپرس: در صفحه‌ی ۳۲ بند مربوط به فسخ قرارداد وجود داره؟ محتوای اون رو هم خلاصه کن. این کار کمک می‌کنه بفهمی آیا مدل واقعاً اون قسمت رو پیدا کرده یا نه.​

 

[اقیــانــــــوساقیــانــــــوس عضو تأیید شده است.]

پس یه Context Window بزرگ‌تر، الزاماً به معنی جواب بهتر نیست. مهم فقط این نیست که «چقدر اطلاعات» داخل Context جا می‌شه؛ مهمه که اطلاعات مهم دقیقاً کجای اون Context قرار گرفته.

+ این پست تقریبا همه جای زندگیت به کارت میاد مخصوصا توی درس خواندن و کارهای پژوهشی​