ماڈل کوئی ٹوکن چنے، اس سے پہلے top-p طے کرتا ہے کہ کن ٹوکنز کو قرعے میں شامل ہونے دیا جائے۔
یہ کیسے کام کرتا ہے
Holtzman اور ساتھیوں نے 2019 میں nucleus sampling متعارف کرایا۔ وہ top-p ذخیرۂ الفاظ کو ٹوکنز کا وہ سب سے چھوٹا سیٹ قرار دیتے ہیں جس کا مجموعی (cumulative) احتمال کم از کم p ہو۔ اس سیٹ سے باہر ہر ٹوکن کا احتمال صفر ہو جاتا ہے۔ باقی ٹوکنز کے احتمالات کو دوبارہ اس طرح بانٹا جاتا ہے کہ ان کا مجموعہ ایک ہو، اور اگلا ٹوکن انہی میں سے سیمپل ہوتا ہے۔ ان کے اہم نتائج p = 0.95 پر ہیں۔
ہر قدم پر سیٹ کا سائز بدلتا ہے:
| اگلے ٹوکن کی تقسیم | p = 0.9 پر رکھے گئے ٹوکن |
|---|---|
| ایک ٹوکن 0.95 پر | 1 |
| چار ٹوکن 0.3، 0.3، 0.2، 0.15 پر | 4 |
| لمبا، ہموار پھیلاؤ | بہت سے |
اس طریقے کا مقصد یہی ہے۔ مقالہ دلیل دیتا ہے کہ تقسیم کی “less reliable tail” (ترجمہ: کم قابلِ اعتماد دُم) بگڑا ہوا متن پیدا کرتی ہے، اور اسے کاٹنے سے ربط کھوئے بغیر متنوع آؤٹ پٹ ملتا ہے۔ مقررہ top-k اس طرح ڈھل نہیں سکتا: ماڈل پُریقین ہو یا تذبذب میں، وہ اتنے ہی ٹوکن رکھتا ہے۔
OpenAI کے API میں top_p کی ڈیفالٹ قدر 1 ہے، یعنی کوئی کٹوتی نہیں۔ ریفرنس مثال دیتا ہے کہ “0.1 means only the tokens comprising the top 10% probability mass are considered.” (ترجمہ: 0.1 کا مطلب ہے کہ صرف وہ ٹوکن دیکھے جاتے ہیں جو اوپر کے 10% احتمالی حصے میں آتے ہیں۔) Hugging Face Transformers میں بھی ڈیفالٹ 1.0 ہے، جب تک ماڈل کی generation_config.json کوئی اور قدر سیٹ نہ کرے۔
یہ کیوں اہم ہے
- کم عجیب ٹوکن۔ دُم کاٹنے سے وہ نایاب انتخاب ہٹ جاتے ہیں جو متن کو بھٹکاتے ہیں۔ لمبے جوابات اور ہیلوسینیشن کے خطرے کے لیے یہ اہم ہے۔
- temperature کے ساتھ اثر۔ ٹمپریچر اسکورز پر لگتا ہے؛ پھر top-p نتیجے کو چھانٹتا ہے۔ دونوں کو ایک ساتھ ٹیون کرنے سے رویے کا اندازہ مشکل ہو جاتا ہے، اسی لیے OpenAI صرف ایک کو بدلنے کا مشورہ دیتا ہے۔
- ڈی بگنگ۔ اگر logprobs دکھائیں کہ ماڈل نے کم احتمال والا ٹوکن چنا، تو کم top-p اسے روک دیتا۔
top-p سے قیمت نہیں بدلتی۔ ہر جنریٹ ہونے والے ٹوکن کا بل ایک جیسا بنتا ہے۔
BroadNet Inference پر
BroadNet کا API ریفرنس top_p، top_k یا ان کی ڈیفالٹ قدروں کو دستاویز نہیں کرتا۔ اس کی درخواستوں کی مثالیں ان میں سے کوئی سیٹ نہیں کرتیں۔ OpenAI SDK، top_p کو آگے بھیج دے گا، لیکن کوئی ماڈل اسے لاگو کرتا ہے یا نہیں، یہ نہیں بتایا گیا، اس لیے بھروسا کرنے سے پہلے اپنے پرامپٹس پر جانچ لیں۔ Python SDK گائیڈ دیکھیں، اور ماڈل بدلنے سے پہلے اسے پرکھنے والی پوسٹ بھی، جو بتاتی ہے کہ موازنے کے دوران سیمپلنگ سیٹنگز مقرر کیوں رکھنی چاہییں۔
عام غلطیاں
top_pاور temperature کو ایک ساتھ ٹیون کرنا، اور پھر یہ معلوم نہ ہونا کہ نتیجہ کس نے بدلا۔- ایک ماڈل کی سیمپلنگ سیٹنگز دوسرے ماڈل پر کاپی کرنا۔ تجویز کردہ قدریں ہر ماڈل کے لیے مختلف ہوتی ہیں۔