مدل زبانی جدید OpenAI با قابلیت ارائه پاسخ‌های طولانی‌تر

OpenAI اخیراً صفحه‌ای جدید در وب‌سایت خود منتشر کرده که در آن از مدل زبانی بزرگ جدیدی به نام GPT-4o Long Output رونمایی کرده است. این مدل جدید در مقایسه با مدل GPT-4o که در اردیبهشت‌ماه معرفی شد، تفاوت عمده‌ای دارد؛ تعداد توکن‌های خروجی آن به 64 هزار توکن در هر درخواست می‌رسد، در حالی که مدل GPT-4o تنها حداکثر 4 هزار توکن خروجی داشت.

OpenAI اعلام کرده که نسخه آزمایشی GPT-4o Long Output می‌تواند تا 64 هزار توکن در هر درخواست خروجی دهد. این افزایش 16 برابری نسبت به مدل اصلی GPT-4o، به کاربران و به خصوص توسعه‌دهندگان شخص ثالث که از API این چت‌بات استفاده می‌کنند، اجازه می‌دهد تا پاسخ‌های طولانی‌تر و معادل یک رمان 200 صفحه‌ای دریافت کنند.

 در مدل‌های زبانی بزرگ، توکن‌ها به نمایش عددی مفاهیم، ساختارهای دستوری و معانی آنها اشاره دارند. برای مثال، کلمه «Hello» یک توکن است و کلمه «Hi» با وجود داشتن همان معنا، توکن دیگری محسوب می‌شود. مدل اصلی GPT-4o حداکثر 128 هزار توکن در پنجره زمینه (Context Window) ارائه می‌دهد؛ پنجره زمینه شامل توکن‌هایی است که مدل می‌تواند در هر تعامل، از جمله توکن‌های ورودی و خروجی، مدیریت کند. اکنون GPT-4o Long Output نیز همان 128 هزار توکن پنجره زمینه را ارائه می‌دهد. اما چگونه OpenAI توانسته تعداد توکن‌های خروجی را 16 برابر افزایش دهد و از 4 هزار به 64 هزار توکن برساند در حالی که پنجره زمینه کلی را روی 128 هزار نگه داشته است؟

پاسخ ساده است: در مدل اصلی GPT-4o با وجود داشتن پنجره زمینه 128 هزار توکنی، پیام خروجی آن به 4 هزار توکن محدود بود. یعنی در ازای 124 هزار پیام ورودی، حداکثر 4 هزار توکن خروجی دریافت می‌شد. برای مثال، مدل GPT-4o mini حداکثر 16 هزار توکن خروجی داشت. اکنون OpenAI با حفظ همان پنجره زمینه، سقف خروجی را تا 64 هزار توکن افزایش داده است.

یکی از سخنگویان OpenAI به VentureBeat گفت:

انتظار می‌رود مرحله آزمایش آلفای GPT-4o Long Output چند هفته به طول بیانجامد و به OpenAI اجازه دهد تا داده‌هایی درباره میزان خروجی مورد نیاز کاربران جمع‌آوری کند. با ارائه خروجی‌های طولانی‌تر، مدل GPT-4o می‌تواند پاسخ‌های جامع‌تر و دقیق‌تری ارائه دهد.