OpenAI's GPT-6 Astra نے ARC-AGI-3 پر ایک سرخی حاصل کرنے والا 99.9% نتیجہ پیش کیا، ایک انٹرایکٹو بینچ مارک جس کو جانچنے کے لیے ڈیزائن کیا گیا ہے کہ ایجنٹ کس طرح غیر مانوس ماحول کو تلاش کرتے ہیں، اہداف کا اندازہ لگاتے ہیں، عالمی ماڈل بناتے ہیں اور قدرتی ہدایات کے بغیر کارروائیوں کی منصوبہ بندی کرتے ہیں۔ نتیجہ ایک حقیقی سنگ میل ہے — لیکن سب سے مفید کہانی صرف فیصد نہیں ہے۔ یہ ہے کہ کس طرح ڈرامائی طور پر Astra کی کارکردگی تشخیص کے استعمال کے ساتھ تبدیل ہوئی، اور اس کے ری پلے ابھرتے ہوئے ایجنٹ کے رویے کے بارے میں کیا ظاہر کرتے ہیں۔
OpenAI کا آفیشل GPT-6 Astra کا اعلان ماڈل کو ARC-AGI-3 پر 99.9% تک پہنچنے کے طور پر بیان کرتا ہے اور بینچ مارک میں انسانی سطح کی کارروائی کی کارکردگی کا حوالہ دیتا ہے۔
ARC-AGI-3 اصل میں کیا پیمائش کرتا ہے۔
ARC-AGI-3 جامد سوال و جواب کے ٹیسٹ سے آگے بڑھتا ہے۔ ایک ایجنٹ ایک ناول، تجریدی، موڑ پر مبنی ماحول میں داخل ہوتا ہے جس میں مقصد یا میکانکس کی کوئی واضح وضاحت نہیں ہوتی ہے۔ اسے تعامل کرنا چاہیے، تاثرات کا مشاہدہ کرنا چاہیے، مفروضے بنانا چاہیے، مستقبل کی مفید ریاستوں کو پہچاننا چاہیے، اور ایک منصوبے پر عمل درآمد کرنا چاہیے۔ ناکام کارروائیاں اس کے کارکردگی کے بجٹ کا کچھ حصہ استعمال کرتی ہیں، اس لیے اندھی آزمائش اور غلطی مہنگی ہوتی ہے۔
دی سرکاری ARC-AGI-3 جائزہ چار مرکزی صلاحیتوں کی نشاندہی کرتا ہے: ایکسپلوریشن، ماڈلنگ، گول سیٹنگ، اور عملدرآمد کے ساتھ منصوبہ بندی۔ یہ اس بات کا بھی اندازہ لگاتا ہے کہ ایک نظام تجربے سے کتنی موثر طریقے سے سیکھتا ہے، نہ کہ یہ آخر کار ختم ہوتا ہے یا نہیں۔
یہ ڈیزائن اہمیت رکھتا ہے کیونکہ بہت سے حقیقی ایجنٹ کے کاموں کا ڈھانچہ ایک ہی ہوتا ہے۔ ایک سسٹم آپریٹنگ سوفٹ ویئر، تحقیق کرنا، یا ورک فلو کا ازالہ کرنا شاذ و نادر ہی ایک بالکل مخصوص پہیلی حاصل کرتا ہے۔ اسے اس بات کا تعین کرنا چاہیے کہ کیا اہمیت ہے، مفید حالت کو برقرار رکھنا، غلط مفروضوں پر نظر ثانی کرنا، اور اعمال کو احتیاط سے خرچ کرنا چاہیے۔
سرخی کا نتیجہ: 62.7% اور 99.9%
ARC پرائز سیمی پرائیویٹ سیٹ پر دو بہترین مشاہدہ شدہ GPT-6 Astra کے نتائج کی اطلاع دیتا ہے۔ زیادہ سے زیادہ استدلال پر معیاری استعمال کے ساتھ، Astra نے $26,098 کی اطلاع شدہ قیمت پر 62.7% اسکور کیا۔ اعلیٰ استدلال پر فراہم کنندہ اڈاپٹر کے استعمال کے ساتھ، اس نے $18,817 کی اطلاع شدہ قیمت پر 99.9% اسکور کیا۔
یہ اعداد و شمار اے آر سی پرائز سے آئے ہیں۔ شائع Astra تجزیہ اور ہمیشہ ایک ساتھ پیش کیا جانا چاہئے کیونکہ وہ مختلف تشخیصی سوالات کے جوابات دیتے ہیں۔
دونوں اسکور اسٹیٹ آف دی آرٹ تھے، لیکن فرق بہت زیادہ ہے۔ یہ ظاہر کرتا ہے کہ ایک ایجنٹ بینچ مارک بیس ماڈل کو تنہائی میں نہیں ماپتا ہے۔ سیاق و سباق کا انتظام، میموری کا برتاؤ، ٹول انٹرفیس، اور بار بار کالوں کی ساخت مادی طور پر اس بات کا تعین کر سکتی ہے کہ سسٹم کیا اظہار کرنے کے قابل ہے۔
تشخیص کے استعمال نے نتیجہ کیوں بدلا۔
ARC پرائز کا معیاری استعمال ایک کم سے کم، فراہم کنندہ غیر جانبدار انٹرفیس فراہم کرتا ہے۔ Astra نظر آنے والی حکمت عملی کے نوٹ لکھ سکتا ہے اور اس کا انتخاب کر سکتا ہے کہ کیا آگے بڑھانا ہے، لیکن یہ اپنی ریاست کو کم کرنے کے لیے ذمہ دار رہتا ہے۔ یہ نقطہ نظر ماڈل فراہم کنندگان کے درمیان موازنہ کو بہتر بناتا ہے اور پوچھتا ہے کہ آیا ماڈل مشترکہ حالات میں اپنے سیکھنے کے عمل کو منظم کر سکتا ہے۔
اس کے بجائے پرووائیڈر اڈاپٹر کا استعمال درخواستوں کے درمیان OpenAI کی مبہم استدلال کی حالت کو محفوظ رکھتا ہے اور طویل تعامل کے دوران کمپیکشن کا استعمال کرتا ہے۔ دوسرے لفظوں میں، یہ Astra کو ہر فراہم کنندہ کو بالکل اسی میموری انٹرفیس پر مجبور کرنے کے بجائے ماڈل کے لیے ڈیزائن کردہ سیاق و سباق کے انتظام کے طریقہ کار سے فائدہ اٹھانے دیتا ہے۔
ARC پرائز کے مطابق، اڈاپٹر نے Astra کے بہترین سیمی پرائیویٹ سکور کو 62.7% سے بڑھا کر99.9% کر دیا۔ 167 گیم اور ریزننگ جوڑوں میں جو دونوں ہارنیسز کے ذریعے حل کیے گئے، پرووائیڈر اڈاپٹر کے رن مجموعی طور پر ریکارڈ کیے گئے گزرے ہوئے وقت سے تقریباً 3.66 گنا تیز تھے اور 49% کل ٹوکن استعمال کیے گئے۔
تفصیلی تصدیق شدہ GPT-6 Astra سکور صفحہ 99.95% بغیر گول ہائی ریزننگ پرووائیڈر اڈاپٹر کے نتیجے سمیت، استدلال کی سطح اور استعمال کے لحاظ سے نتائج کی فہرست دیتا ہے۔
Astra نے کمپیکٹ علامتی دنیا کے ماڈل سیکھے۔
اے آر سی پرائز کے ری پلے تجزیے سے پتا چلا ہے کہ آسٹرا نے غیر مانوس مناظر کو گھنی علامتی نمائندگی میں تبدیل کر دیا ہے۔ اس کے نوٹوں میں اشیاء، نقاط، میکانزم، نامکمل منصوبے، ہدایات، اور ترتیب شدہ کارروائیوں کا سراغ لگایا جاتا ہے۔ اسکرین کو قدرتی زبان میں بار بار بیان کرنے کے بجائے، ماڈل نے ہر ماحول کے مطابق کمپیکٹ الجبرا جیسا شارٹ ہینڈ تیار کیا۔
یہ رویہ اہم ہے کیونکہ طویل افق کے ایجنٹوں کو یادداشت کا مسئلہ درپیش ہے۔ ہر مشاہدے کو محفوظ کرنا سیاق و سباق کو ضائع کرتا ہے، جبکہ بہت جارحانہ طور پر خلاصہ کرنا ایک اہم اصول کو ختم کر سکتا ہے۔ Astra ماحول کے ایک کمپیکٹ ماڈل کو محفوظ رکھنے کے قابل نظر آیا: کیا موجود ہے، اشیاء کیسے باہم تعامل کرتی ہیں، کون سے اعمال حالت کو بدلتے ہیں، اور کس ترتیب کا اندازہ لگایا گیا ہدف تک پہنچنے کا امکان ہے۔
ماڈل کی صلاحیتوں، رسائی، اور API پوزیشننگ کی وسیع تر وضاحت کے لیے، ہمارا پڑھیں GPT-6 Astra کی خصوصیات اور کاروباری رہنما.
کارروائی کی کارکردگی انسانی معیار تک پہنچ گئی۔
ARC-AGI-3 ہر سطح کو مکمل کرنے والے انسانی شرکاء کے درمیانی عمل کی گنتی کے ساتھ ایجنٹ کی کارروائیوں کا موازنہ کرتا ہے۔ زیادہ سے زیادہ استدلال پر پرووائیڈر اڈاپٹر کی تشخیص میں، Astra نے مکمل لیولز کے 96% پر انسانی بیس لائن سے کم ایکشنز کا استعمال کیا اور اوسطاً فی لیول 51.7% کم ایکشنز کا استعمال کیا۔
اس کا مطلب یہ نہیں ہے کہ Astra عام طور پر ایک شخص سے زیادہ قابل ہے۔ اس کا مطلب یہ ہے کہ بینچ مارک کے مکمل، تعییناتی ماحول کے اندر، ماڈل کو میکانکس کو سمجھنے کے بعد حل کو انجام دینے کے لیے اکثر کم تعاملات کی ضرورت ہوتی ہے۔ نتیجہ اس توقع کو چیلنج کرتا ہے کہ فرنٹیئر ایجنٹوں کو طویل عرصے تک وحشیانہ طاقت کی تلاش کی ضرورت ہوگی یہاں تک کہ جب وہ آخر کار کوئی کام حل کر لیں۔
ان خیالات کو عملی شکل دیں۔
ایک مخصوص اصلاح سے لے کر مکمل ویب سائٹ تک، ہم کام کا دائرہ طے کرنے اور اسے مکمل کرنے میں مدد کرتے ہیں۔
میری ویب سائٹ پر بات کریںاے آئی آٹومیشناپنے اہداف کا اشتراک کریں۔ ہم عام طور پر سوالات اور عملی اقدامات کے ساتھ 4 گھنٹوں کے اندر جواب دیتے ہیں۔
ٹول بلڈنگ نے ایک اور پرت کا انکشاف کیا۔
ایک علیحدہ PRO-Long سیٹ اپ میں، Astra کو ایک سینڈ باکس تک رسائی حاصل تھی جہاں وہ کوڈ بنا سکتا تھا۔ اے آر سی پرائز نے مشاہدہ کیا کہ یہ گیم مخصوص پارسرز، ریاستی ماڈلز، تلاش کے معمولات، منصوبہ ساز، مستقل نوٹ، اور چھوٹی سافٹ ویئر لائبریریاں بناتا ہے۔ بھولبلییا جیسے ماحول کے لیے، اس نے بتدریج نیویگیشن، جنگی، گشت، اور ریاستی ہم آہنگی کے اوزار بنائے۔
ان رنز کا براہ راست موازنہ انسانی جانچ کے ساتھ نہیں کیا جانا چاہئے کیونکہ شرکاء کو کوڈ کا ترجمان یا سکریچ پیڈ نہیں ملا تھا۔ تاہم، وہ ایک عملی ایجنٹ کے نمونے کی وضاحت کرتے ہیں: ایک قابل ماڈل بار بار استدلال کو دوبارہ قابل استعمال ٹولز میں تبدیل کر سکتا ہے، پھر ان ٹولز کو غلطیاں کم کرنے اور زیادہ مؤثر طریقے سے منصوبہ بندی کرنے کے لیے استعمال کر سکتا ہے۔
ٹول بنانے کا یہ رویہ ان ٹیموں سے متعلق ہے جو تلاش کر رہے ہیں۔ AI انٹیگریشن اور چیٹ بوٹ ڈیولپمنٹ، جہاں ارد گرد کا نظام بنیادی ماڈل کی طرح اہمیت رکھتا ہے۔
99.9% AGI کا ثبوت کیوں نہیں ہے۔
ARC پرائز واضح طور پر خبردار کرتا ہے کہ ARC-AGI-3 کو سیر کرنا AGI کو ظاہر نہیں کرتا ہے۔ بینچ مارک میں ایک محدود دائرہ کار، تعییناتی میکانکس، بند اختتامی اہداف، اور ایک کنٹرولڈ ایکشن اسپیس ہے۔ حقیقی کام میں مبہم مقاصد، اسٹیک ہولڈرز کو تبدیل کرنا، نامکمل شواہد، سماجی نتائج، مخالف معلومات، اور ایسے نتائج شامل ہیں جن کی فوری تصدیق نہیں کی جا سکتی۔
ایک بینچ مارک وسیع تر انٹیلی جنس سوال کو طے کیے بغیر مخصوص صلاحیتوں کے ثبوت قائم کر سکتا ہے۔ Astra کا نتیجہ ان حالات میں انٹرایکٹو تجرید، سیاق و سباق کے انتظام، عمل کی کارکردگی، اور انکولی منصوبہ بندی کے بارے میں ایک مضبوط دعوے کی حمایت کرتا ہے۔ یہ آفاقی قابلیت، خود مختار اعتبار، یا کھلے ماحول میں محفوظ آپریشن قائم نہیں کرتا ہے۔
ہمارا GPT-6 Astra ماڈل کا موازنہ اس بارے میں اضافی سیاق و سباق فراہم کرتا ہے کہ کوڈنگ، پیشہ ورانہ کام، کمپیوٹر کے استعمال، اور دیگر تشخیصی زمروں میں بینچ مارک کی قیادت کس طرح مختلف ہوتی ہے۔
کاروبار کے لیے نتیجہ کا کیا مطلب ہے۔
زیادہ تر تنظیمیں تجریدی گرڈ دنیا کو حل کرنے کے لیے ایجنٹوں کو تعینات نہیں کریں گی۔ عملی سبق یہ ہے کہ استعمال کے ڈیزائن کی اہمیت ہے۔ ایک ماڈل جو متعلقہ حالت کو محفوظ رکھ سکتا ہے، تجربے کو کمپریس کر سکتا ہے، کال ٹولز کر سکتا ہے، پیشین گوئیوں کی تصدیق کر سکتا ہے، اور غلط مفروضوں سے بازیاب ہو سکتا ہے وہ ایک ہی ماڈل کو ایک کم شاٹ ورک فلو کے اندر بہتر کر سکتا ہے۔
اس لیے ایسٹرا کا جائزہ لینے والی ٹیموں کو الگ تھلگ پرامپٹس کے بجائے مکمل سسٹمز کی جانچ کرنی چاہیے۔ نتیجہ خیز فیصلوں کے لیے نمائندہ کام، کامیابی کے واضح معیار، حقیقت پسندانہ اجازتیں، ٹریس ایبل ٹول کالز، لاگت اور تاخیر کی پیمائش، بحالی کے راستے، اور انسانی جائزہ کا استعمال کریں۔ تکمیل کے معیار اور مطلوبہ تعاملات کی تعداد دونوں کا موازنہ کریں۔
وہ کاروبار جو ماڈل پر مبنی عمل چاہتے ہیں اس سبق کو ہمارے ساتھ جوڑ سکتے ہیں۔ اعلی درجے کی n8n آٹومیشن حل زیر انتظام، قابل مشاہدہ ملٹی اسٹپ ورک فلوز کے لیے۔
محققین کو آگے کیا دیکھنا چاہئے۔
ARC-AGI-3 نے اب پیمائش کے ایک نئے چیلنج کا پردہ فاش کیا ہے: فراہم کنندہ غیر جانبدار جانچ اور فراہم کنندہ کے لیے موزوں جانچ یکسر مختلف تصویریں پیدا کر سکتی ہے۔ نیوٹرل ہارنس کراس پرووائیڈر کے موازنہ کو بہتر بناتے ہیں، جبکہ آپٹمائزڈ اڈاپٹر حقیقی تعیناتی کی کارکردگی کی بہتر پیش گوئی کر سکتے ہیں۔ لاگت اور ٹول کی شرائط کے ساتھ دونوں کی اطلاع دینا، انہیں ایک لیڈر بورڈ نمبر میں سمیٹنے سے زیادہ معلوماتی ہے۔
مستقبل کے بینچ مارکس کو اوپن اینڈڈ اختراع، اہداف کے بدلنے پر مضبوطی، تعییناتی ماحول سے باہر منتقلی، خود ساختہ ٹولز کا محفوظ استعمال، اور کیا موثر کارکردگی تقسیم کی تبدیلیوں میں زندہ رہنے کی ضرورت ہوگی۔ ARC پرائز Astra کو فرنٹیئر کی صلاحیت میں ایک مرحلہ وار تبدیلی کے طور پر بیان کرتا ہے، جبکہ بینچ مارک کی سنترپتی کو سخت تشخیصات کو ڈیزائن کرنے کی وجہ کے طور پر بھی پیش کرتا ہے۔
جیسا کہ AI سے تیار کردہ جوابات زیادہ اثر انگیز ہوتے جاتے ہیں، ہمارے اے آئی سرچ آپٹیمائزیشن سروس کاروباری اداروں کو سرچ انجن اور جوابی نظام کے لیے مستند مواد کی تشکیل میں مدد کرتا ہے۔
نیچے کی لکیر
GPT-6 Astra کی ARC-AGI-3 کارکردگی تین وجوہات کی بنا پر اہم ہے۔ اس نے دونوں استعمال کے تحت جدید ترین تکمیل حاصل کی، سب سے زیادہ مکمل شدہ سطحوں پر بینچ مارک کی انسانی عمل کی کارکردگی کی بنیادی لائن کو عبور کیا، اور کمپیکٹ عالمی ماڈلنگ رویے کا مظاہرہ کیا جس نے طویل افق کی منصوبہ بندی کی حمایت کی۔ ایک ہی وقت میں، 62.7%-to-99.9% ہارنس گیپ ماڈل سکور کو سیاق و سباق سے پاک حقائق کے طور پر استعمال کرنے کے خلاف ایک انتباہ ہے۔
بہترین تشریح نہ تو "AGI حل شدہ" ہے اور نہ ہی "بینچ مارک بے معنی ہے۔" Astra نے انٹرایکٹو سیکھنے کے جان بوجھ کر مشکل امتحان میں ایک بڑی پیش رفت دکھائی۔ نتیجہ نے یہ بھی ظاہر کیا کہ میموری، سیاق و سباق کا تحفظ، اور ایجنٹ فن تعمیر فرنٹیئر ماڈل کی عملی صلاحیت کا ایک بڑا حصہ کھول یا چھپا سکتا ہے۔
اکثر پوچھے گئے سوالات
ARC-AGI-3 پر GPT-6 Astra اسکور کیا؟
ARC پرائز اپنے معیاری استعمال کے ساتھ 62.7% اور پرووائیڈر اڈاپٹر کے استعمال کے ساتھ 99.9% کے بہترین مشاہدہ شدہ سیمی پرائیویٹ سکور کی اطلاع دیتا ہے۔ تشخیص کی شرط کسی بھی نمبر کی تشریح کے لیے ضروری سیاق و سباق ہے۔
دو GPT-6 Astra ARC-AGI-3 اسکور کیوں ہیں؟
معیاری کنٹرول کم سے کم فراہم کنندہ غیر جانبدار انٹرفیس اور مرئی نوٹ استعمال کرتا ہے۔ فراہم کنندہ اڈاپٹر درخواستوں اور کمپیکشن کے استعمال کے درمیان OpenAI کی مبہم استدلال کی حالت کو محفوظ رکھتا ہے، جس سے Astra کو سیاق و سباق کو زیادہ مؤثر طریقے سے دوبارہ استعمال کرنے کی اجازت ملتی ہے۔
کیا GPT-6 Astra نے ثابت کیا کہ AGI حاصل کر لیا گیا ہے؟
نمبر ARC پرائز واضح طور پر کہتا ہے کہ ARC-AGI-3 کو سیر کرنا AGI کا ثبوت نہیں ہے۔ بینچ مارک مضبوطی سے جکڑا ہوا ہے، عزم پرست، اور حقیقی دنیا سے کہیں کم کھلا ہے۔
Astra کے سکور سے آگے کیا قابل ذکر تھا؟
ARC پرائز نے Astra کے کمپیکٹ علامتی عالمی ماڈلز، موثر ایکشن پلاننگ، ریاست کے لیے حسب ضرورت شارٹ ہینڈ، اور مکمل شدہ سطحوں پر انسانی سطح یا بہتر کارروائی کی کارکردگی کو اجاگر کیا۔
