الفصل الثامن: ما وراء المعرفة والتفكير الناقد
إعداد: José Hernández Orallo و Kexin Jiang Chen (جامعة البوليتكنيك في فالنسيا).
يمثل ما وراء المعرفة والتفكير الناقد مجموعة من القدرات المتطورة التي تشير إلى "التفكير في التفكير". فبينما يُعدّ ما وراء المعرفة "قدرة" متطورة، يمثل التفكير الناقد "مهارة" مختلفة وأوسع نطاقاً ترتبط عادة بما وراء المعرفة. وقد اكتسب هذان المفهومان أهمية متزايدة مع صعود الأنظمة الوكيلة في الذكاء الاصطناعي، مع بقاء تقييمهما صعباً. وقد قبل المؤلفان، وهما غير متخصصين في هذا المجال، تحدي تطوير مقياس لما وراء المعرفة والتفكير الناقد، واقترحا مقياساً من خمسة مستويات يدمج ثلاثة أبعاد: الحاجة إلى عمليات التفكير الناقد، وصعوبة معايرة المعلوم والمجهول، وصعوبة تحديد المعلومات ذات الصلة. وخلافاً للمقاييس التي طُورت للقدرات الأخرى، يمكن تطبيق أداة التقدير الخاصة بما وراء المعرفة والتفكير الناقد دون الرجوع إلى الذكاء الاصطناعي أو البشر، وقد استُخدمت لتصنيف الأدلة على مستوى الحالات المفردة.
مقدمة
يمثل ما وراء المعرفة والتفكير الناقد مجموعة من القدرات المتطورة التي تشير إلى "التفكير في التفكير". وقد اكتسبا أهمية متزايدة مع صعود الأنظمة الوكيلة في الذكاء الاصطناعي، غير أن طابعهما "الماورائي" يجعل تقييمهما صعباً. وقد قبل المؤلفان، وهما غير متخصصين في هذا المجال، تحدي تطوير مقياس لهما في هذا التقرير.
ويرتبط ما وراء المعرفة والتفكير الناقد ارتباطاً وثيقاً. فما وراء المعرفة "قدرة" متطورة ظهرت في العالم الطبيعي في مراحل متأخرة من النمو والتطور، وهي قدرة محورية أيضاً يُعترف بها بوصفها إحدى القدرات المفقودة لدى الآلات كي تصبح "أكثر حكمة". أما التفكير الناقد فـ"مهارة" مختلفة وأوسع نطاقاً ترتبط عادة بما وراء المعرفة، وتظهر في مرحلة متأخرة كثيراً من النمو البشري، ولا ترتبط إلا بالمستويات العليا من الاستدلال البشري. والواقع أن التفكير الناقد عُدّ "مهارة" حاسمة في هذا القرن، ولا سيما في سياق استخدام الذكاء الاصطناعي أو الإشراف عليه.
ومع صعود الأنظمة الوكيلة، اكتسب ما وراء المعرفة والتفكير الناقد أهمية متزايدة تسوّغ إدراجهما فئة مستقلة. وحتى الآن، تمتلك أنظمة الذكاء الاصطناعي مستوى منخفضاً منهما، مما يعني أنهما سيكونان مهارة ناشئة لازمة لاستخدام البشر للذكاء الاصطناعي والإشراف عليه على النحو الصحيح. وفي الآونة الأخيرة، باتت الأنظمة الوكيلة بحاجة إلى حل مهام أطول تتطلب من الوكيل فهماً أفضل لما يعرفه، كما تحتاج إلى تقييم الموقف تقييماً نقدياً وتقرير متى تتوقف ومتى تسأل المستخدم. وتثير هذه الأنظمة مخاوف متزايدة من حيث الأعطال وسوء الاستخدام المتعمد، وقد تكون قدرات ما وراء المعرفة والتفكير الناقد حاسمة في إتاحة هذه المخاطر وفي منعها على السواء.
وفي هذه الفئة، نعتمد مقاربة تختلف عن بقية الفئات، لا لأنها تحتاج إلى منهجية خاصة، بل لأنها اختيرت فئة تجريبية لاستكشاف مقياس يمكن أن يستخدمه الخبراء، ويمكن في الوقت ذاته استخدامه لتوليد نتائج قائمة على الأدلة من القياس الفعلي لأنظمة الذكاء الاصطناعي. ولتحقيق ذلك، ينبغي تطبيق المقاييس بمستوى أدق من التفصيل، أي على حالات محددة جداً من مهمة ما، بأدوات تقدير يمكن أن يطبقها مقيّمون من البشر ومن النماذج اللغوية الكبيرة على السواء. ولذلك فهي لا تشير إلى أحدث ما بلغته تقنيات الذكاء الاصطناعي. وتتيح أدوات التقدير هذه وصفاً آلياً لحالات المهام المأخوذة من الاختبارات المعيارية القياسية، واستخلاص المستويات الفعلية لقدرات أنظمة الذكاء الاصطناعي من البيانات التجريبية. وتتميز هذه المنهجية بإمكانية استخدامها من قبل الخبراء كما في الفئات الأخرى، وبإمكانية تطبيقها آلياً لاستخلاص مستويات القدرة من الاختبارات المعيارية القائمة أو من مهام جديدة. وقد تطورت المنهجية بمقارنة التوصيفات التي أجرتها النماذج اللغوية الكبيرة بتوصيفات البشر. ومع أن هذه المنهجية تتطلب دقة أكبر في المقاييس، فلا شيء يمنع استخدامها مستقبلاً في الفئات الأخرى إلى جانب ما وراء المعرفة والتفكير الناقد.
وتحدد أدبيات ما وراء المعرفة والتفكير الناقد ثلاث مجموعات من المتطلبات: الأولى "الحاجة إلى عمليات التفكير الناقد"، والثانية "صعوبة معايرة المعلوم والمجهول"، والثالثة "صعوبة تحديد المعلومات ذات الصلة". ولمواءمة المقياس مع الفصول الأخرى، دُمجت أبعاد المتطلبات ما وراء المعرفية الثلاثة في مقياس واحد باستخدام أداة تقدير من خمسة مستويات. وجاءت معاملات الارتباط مرتفعة، ولا سيما للبعدين الأول والثالث، مما يشير إلى علاقة وثيقة بين المتطلبات والمقياس المتكامل.
ويصف المقياس كل مستوى من المستويات الخمسة، منتقلاً من مواقف بسيطة إلى مواقف أكثر تعقيداً. ولأنه مقياس كمي، أي لا يوجد ما يميز المستويات نوعياً، فإن المستوى الفعلي للمتطلبات ينبغي معايرته بأمثلة مرجعية، تمثل مهاماً يمكن أن تؤديها الأنظمة الوكيلة، لا أنظمة الأسئلة والأجوبة وحدها.
ما وراء المعرفة والتفكير الناقد
استكشفت الأبحاث المتعلقة بما وراء المعرفة والتفكير الناقد تعريفات كل من المصطلحين والعلاقة بينهما. فقد ميّز فلافل، على سبيل المثال، بين المعرفة بالإدراك من جهة، والتحكم في الإدراك أو تنظيمه من جهة أخرى. فالمعرفة بالإدراك، بأنواعها التقريرية والإجرائية والاستراتيجية، تتعلق بمعرفة ما نعرفه. أما التحكم في الإدراك أو تنظيمه، أي تخطيطه ورصده وتقييمه، فيتعلق باستخدام الاستراتيجيات للمساعدة في حل المشكلات، بل حتى بالتنظيم الذاتي الطويل الأمد لعمليات التعلم.
ويعود تاريخ الأبحاث المنشورة عن التفكير الناقد إلى مطلع القرن العشرين. فقد عرّف ديوي التفكير الناقد، أو بعبارة أدق "التفكير التأملي"، بأنه "النظر الفاعل والمثابر والمتأني في أي معتقد أو شكل مفترض من أشكال المعرفة في ضوء الأسس التي تدعمه والاستنتاجات الأبعد التي يفضي إليها". ويرى ميلر أن قدرات التفكير الناقد ضرورية لأنظمة الذكاء الاصطناعي كي تستدل في ظروف عدم اليقين، وتقيّم مصداقية المعلومات، وتولّد مسوغات لقراراتها.
وتُظهر الأبحاث الحديثة دور ما وراء المعرفة في فهم حدود الذكاء الاصطناعي الحالي، استناداً إلى نظرية التفكير السريع والتفكير البطيء. وعلى نحو مماثل، يرى جونسون أن ما وراء المعرفة حاسم للسلامة، إذ يمكّن أنظمة الذكاء الاصطناعي من التشخيص الذاتي للإخفاقات المحتملة والتكيف مع المواقف الجديدة.
ويضع صعود النماذج التأسيسية، والاتجاهات المقبلة في الأنظمة الوكيلة التي تستخدم هذه النماذج، مسألةَ ما وراء المعرفة في الصدارة. فتمكين هذه الأنظمة من فهم أفعالها ورصدها يمكن أن يحسّن أداءها تحسيناً كبيراً، ودمج وحدة لما وراء المعرفة في الوكلاء التوليدية يمكن أن يتيح لها التأمل الذاتي وتعزيز السلوك الموجه نحو الأهداف. ومن خلال دمج تقنيات تحاكي جوانب معينة من ما وراء المعرفة والتفكير الناقد لدى البشر في أنظمة الذكاء الاصطناعي، يتجه الباحثون نحو تطوير وكلاء ذكية أكثر مرونة وقدرة على التكيف وجديرة بالثقة في نهاية المطاف، أو ببساطة ذكاء اصطناعي "أكثر حكمة". وقد ظل فهم درجة المتطلبات ما وراء المعرفية المفروضة على المستخدمين أمراً صعباً، فما تعرفه النماذج عن نفسها مهم، لكن ما يتوقعه المستخدمون منها مهم أيضاً.
وتقييم ما وراء المعرفة في الذكاء الاصطناعي صعب. فالمعايير التقليدية المستخدمة لتقييم قدرات ما وراء المعرفة قد لا تنطبق جيداً على المواقف غير المألوفة، كما أشار كوكس وراجا. وقد ورثت الاختبارات المعيارية الخاصة بما وراء المعرفة في BIG bench وفي مجموعات أخرى مشكلات مماثلة. غير أن مسح الاختبارات المعيارية لم يكشف عن اختبار معياري شامل لما وراء المعرفة والتفكير الناقد، ولذلك يستخدم المؤلفان اختبارات EIE و KU و VFV من BIG bench لأنها مشبعة بهذه القدرات، كما يستخدمان اختبارات معيارية عامة أخرى من HELM ليست مشبعة بها على وجه التحديد.
ويرتبط ما وراء المعرفة أيضاً بـ"معايرة" الثقة، أي القدرة على تحديد مدى يقين الأفراد بمعرفتهم. وهذا شائع أيضاً في التعلم الآلي، مع وجود معايير لجودة تقدير الثقة قائمة على المعايرة. فإذا قال النموذج إن أمراً ما صحيح بثقة تبلغ 70%، أو عبّر عن احتمال بنسبة 70% أنه صحيح، ثم تبين أنه صحيح في 70% من المرات إجمالاً، فإن النموذج يكون معايراً معايرة تامة لتلك الأسئلة. وتتطلب المعايرة تجميع أسئلة متعددة في فئات أو حساب معايير مثل تفكيك درجة براير، فضلاً عن سؤال المجيب عن درجة ثقته أو الوصول إلى الاحتمالات اللوغاريتمية. ويستكشف هذا الفصل طرقاً أكثر مباشرة لتقييم ما وراء المعرفة والتفكير الناقد.
مكونات المقياس
تتناول أدبيات ما وراء المعرفة والتفكير الناقد عناصر كثيرة: العمليات من أفعال واستراتيجيات، والاستنتاج والأحكام المستخدمة، ودرجة ألفة السؤال، وتقييم الحجج، وتوفر المعلومات والمعرفة اللازمة عن المهمة، والثقة في صحة الحل ومعايرتها. وقد نظّم فاندرغريفت وزملاؤه هذه العناصر في ثلاث فئات: الاستراتيجية، والشخص، والمهمة.
وفي ضوء هذا التحليل، واتباعاً لهذه الفئات الثلاث، حُددت ثلاث مجموعات من المتطلبات:
أولاً، "الحاجة إلى عمليات التفكير الناقد": ما مدى تعقيد الاستراتيجية المطلوبة لحل المشكلة؟ ولا يمثل ذلك "التفكير الناقد" فحسب، بل يرتبط بالتحكم في الإدراك أو تنظيمه، أي تخطيطه ورصده وتقييمه، الذي شدد عليه فلافل.
ثانياً، "صعوبة معايرة المعلوم والمجهول": ما مدى تعقيد التقييم الذاتي للثقة في النتيجة؟ ويرتبط ذلك على نحو أوثق بجانب "المعرفة بالإدراك" بأنواعها التقريرية والإجرائية والاستراتيجية بحسب فلافل.
ثالثاً، "صعوبة تحديد المعلومات ذات الصلة": ما مدى تعقيد فهم المهمة والمعلومات المعطاة؟ ويرتبط ذلك على نحو أوثق بفهم الفجوة بين ما يعرفه النظام، أي البعد الثاني، وما يلزم للحل، أي البعد الأول. فللعثور على حل، قد ينتهي الأمر بالنظام إلى البحث عنه، أو فهرسة المعلومات المتاحة، أو حتى طلبها في الأنظمة الوكيلة. ويتوافق ذلك أيضاً مع تفسير التفكير الناقد بأنه حل أو إجابة تنبثق من المقدمات والمعرفة المتاحة، دون تناقضات أو معلومات مختلقة، بروح تعريف ديوي.
وقد يكون نظام ذكاء اصطناعي أو إنسان بارعاً جداً في البعد الأول وضعيفاً في البعدين الثاني والثالث، وعلى نحو مماثل في التوليفات الأخرى. ومن ثمّ لا يهيمن أي بعد من حيث "الدرجة" أو المستوى، ولهذا السبب يتعذر عملياً استخدام هذه الأبعاد الفرعية الثلاثة في مقياس ترتيبي.
وقد استكشف المؤلفان في الأصل هذه الأبعاد الثلاثة، بثلاثة مستويات في كل منها، ثم دُمجت في بعد واحد بخمسة مستويات لمواءمتها مع صيغة المقاييس الأخرى. واستُكشفت صيغ مختلفة لذلك البعد المتكامل، كما جُربت مقاييس عامة للصعوبة لا تتعلق بما وراء المعرفة. ويعرض الفصل فيما يلي المقياس الطويل ذا المستويات الخمسة الذي يدمج هذه الأبعاد، متضمناً المنظور الوكيل المستخدم في النتائج التجريبية، وصيغة مبسطة لاستخدام الخبراء.
المقاييس المتكاملة الطويلة
صُممت المقاييس في الأصل لسياق الأسئلة والأجوبة. غير أن بعض المستويات العليا من ما وراء المعرفة والتفكير الناقد قد تكون حاضرة في الأنظمة الوكيلة، ولا سيما في المواقف الأكثر تعقيداً حيث قد يتطلب تسلسل الأفعال فهماً للموقف والخيارات المتاحة، وهو ما ينطوي بدوره على تخطيط يتوقف على المعرفة والقدرات التي يدركها الفاعل عن نفسه. ومع ذلك، قد تظهر صعوبة ما وراء المعرفة والتفكير الناقد في الأسئلة والأجوبة أيضاً. كما أن مواقف وكيلة كثيرة لا تكاد تحتاج إلى أي قدر من ما وراء المعرفة أو التفكير الناقد. ولذلك يتناول المقياس في هذا القسم هذه الاحتمالية، وهو عام بما يكفي لأي نوع من الأنظمة، سواء أكانت أنظمة أسئلة وأجوبة أم أنظمة وكيلة أم نصية أم متعددة الوسائط أم غير ذلك.
ومع ذلك، لا ينبغي إدخال عناصر من فئات أخرى كالإدراك الحسي أو التخطيط أو الاستدلال، إذ ينبغي أن يظل ما وراء المعرفة والتفكير الناقد متعلقاً بما يعرفه الفاعلون عن معتقداتهم ونواياهم وأهدافهم وقدراتهم، وبالاستراتيجيات التي يتبعونها لمعالجة مشكلة ما في ضوء المعلومات المتاحة.
التقدير القائم على الأدلة لمستوى عدد من أنظمة الذكاء الاصطناعي باستخدام المقياس
كان من دوافع استخدام منهجية مختلفة إمكانية الحصول على نتائج قائمة على الأدلة إلى جانب النتائج القائمة على آراء الخبراء، وذلك باستخدام النتائج الفعلية لتقييم أنظمة الذكاء الاصطناعي على مجموعات من الحالات المصنفة باستخدام المقاييس.
ونعرض أولاً ملخصاً لنتائج تطبيق أداة التقدير المتكاملة على بعض مجموعات البيانات المشبعة بما وراء المعرفة والتفكير الناقد من BIG bench، وهي EIE و KU و VFV. فاختبار تقييم أساسية المعلومات يقيس مدى قدرة الذكاء الاصطناعي على تحديد المعلومات المطلوبة للإجابة عن سؤال ما، واختبار المجهولات المعلومة يقيّم قدرته على تقدير ما إذا كانت حقيقة معينة قابلة للمعرفة على الأرجح، واختبار التحقق من الحقائق VitaminC يقيّم قدرته على الاستدلال بشأن الأدلة المتعارضة. وقد طبقنا أداة التقدير على عينة من أمثلة هذه الاختبارات المعيارية باستخدام GPT4o مقيّماً، وحللنا القوة التنبؤية للمستويات.
وقُيّم أداء نموذجي GPT3.5 و GPT4 بتجميع الأمثلة المنتمية إلى كل مستوى من المستويات الخمسة في المقياس، بحيث تمثل كل نتيجة عند المستوى ن النسبة المئوية للإجابات الصحيحة في الحالات المأخوذة من الاختبارات الثلاثة والتي صنفها المقيّم في المستوى ن باستخدام المقياس أداةً للتقدير. وبالنظر إلى المساحة الواقعة تحت المنحنى الذي يجمع الاختبارات المعيارية كلها، نقدّر قدرات ما وراء المعرفة والتفكير الناقد لدى النموذجين بنحو 2.6 و3.3 على التوالي، إذ تُحسب درجة القدرة ببساطة على أنها المساحة الواقعة تحت المنحنى.
وللمقارنة، نظرنا أيضاً في اختبارات معيارية غير مصممة خصيصاً لما وراء المعرفة أو مشبعة به، فاستخدمنا مجموعات فرعية من الأمثلة من خمس مهام فرعية في MMLU، واختبارين معياريين آخرين هما BBQ و TruthfulQA، وجميعها من HELM. وبلغت قدرات ما وراء المعرفة والتفكير الناقد المقدّرة لنموذجي GPT3.5 و GPT4 في هذه الاختبارات 2.9 و3.3 على التوالي، وهي نتائج متسقة مع تلك المستخلصة من الاختبارات المعيارية المشبعة بما وراء المعرفة.
تغيير النطاق
لجعل نطاق المقياس أكثر اتساقاً مع مقاييس القدرات الأخرى، طلب منا فريق مشروع الذكاء الاصطناعي ومستقبل المهارات حذف المستوى الأول لأنه أساسي جداً، وإضافة مستوى خامس أكثر تحدياً. فقد حُدد معيار المستوى الخامس في المقاييس الأخرى بأنه "المستوى البشري"، وهو ما يختلف عن التفسير الأصلي لهذا المستوى الذي اعتمده مؤلفا هذا الفصل، ومن هنا جاء التصحيح اللاحق. ونشير إلى أن اختيار درجة صعوبة المستوى الخامس، في غياب معايير أو مرجعيات بشرية، اختيار اعتباطي.
ووفقاً لهذا التغيير، يقابل المقياس النهائي الذي سنعرضه أدناه تقريباً المستويات من الثاني إلى الخامس من المقياس المشترك السابق، لكن نظراً لإعادة صياغة بعض العبارات، فإن التطابق ليس مباشراً. وقد أُضيف مستوى خامس جديد في القمة، ولم نختبر هذا المقياس الجديد ولم نصنف أمثلة من المستوى الخامس من الاختبارات المعيارية، ولذلك لا يمكن تقريب فهمنا للأداء بالنسبة إلى هذا المقياس المعدّل إلا انطلاقاً من الأداء على المقياس الأصلي.
الأمثلة المرجعية
لأن مقياسنا كمي، أي لا يوجد ما يميز المستويات نوعياً، فإن المستوى الفعلي للمتطلبات ينبغي معايرته بأمثلة مرجعية. ونقدم نوعين من الأمثلة المرجعية: مسائل الأسئلة والأجوبة، المفيدة في معايرة الاختبارات أو الاختبارات المعيارية المصاغة في صورة استبيانات، ومسائل أكثر طابعاً وكيلاً، لأن قدرات ما وراء المعرفة والتفكير الناقد حاسمة لأداء المهام الأطول أمداً بطريقة وكيلة.
وكثير من مسائل الأسئلة والأجوبة مأخوذ من اختبارات معيارية فعلية، واختير ليمثل كل مستوى متى أمكن ذلك. وحين تكون المسائل مختلقة لأغراض أداة التقدير هذه، فإنها تكون أكثر تعقيداً عن قصد وفق عدة أبعاد فرعية لما وراء المعرفة والتفكير الناقد. فأمثلة المستوى الخامس، مثلاً، يجب أن تتعامل مع أهداف ومعلومات معطاة معقدة، ومع تقييم ذاتي دقيق، وقد تتطلب التخلي عن المهمة أو التحسين الذاتي. وفي المقابل، لا تحتاج أمثلة المستوى الأول إلا إلى التحقق مما إذا كان من الممكن استنتاج الخلاصة أو اتخاذ الفعل في ضوء المعلومات المقدمة أو المعروفة، وهي تركز على التفسير الأساسي للمعلومات أو التعرف عليها حين يسهل تحديدها.
المقياس النهائي المقترح
يتطلب استخدام المقياس آلياً من قبل نموذج لغوي كبير يؤدي دور المقيّم أن يكون المقياس دقيقاً وأن يتضمن أكبر عدد ممكن من الأمثلة المرجعية بالنظر إلى طابعه الكمي. غير أنه توخياً للتجانس مع بقية المقاييس في هذه الدراسة، أُعدّت صيغة أقصر لا تتضمن إلا مثالاً مرجعياً واحداً لكل مستوى.
الخاتمة
اختلفت منهجية ما وراء المعرفة والتفكير الناقد عن المنهجية المستخدمة في الفصول الأخرى. ففي هذا الفصل، يمكن تطبيق أداة التقدير دون الرجوع إلى الذكاء الاصطناعي أو البشر، ويمكن إجراء التوصيف باستخدام مقيّمين من البشر أو نموذج لغوي كبير مثل GPT4. وقد حاول المؤلفان مواءمة أداة التقدير مع منهجية الفرق الأخرى، وأفضت هذه العملية إلى ثلاثة استنتاجات عامة:
أولاً، ما وراء المعرفة مجال شائك، إذ يسهل الخلط بين صعوبة السؤال والتحدي ما وراء المعرفي المرتبط به. فالسؤال عن عاصمة بوتان، مثلاً، قد يكون صعباً لأن بوتان بلد صغير، لكنه لا يتطلب إلا القليل من المعالجة ما وراء المعرفية.
ثانياً، يرتبط ما وراء المعرفة والتفكير الناقد عادة بحل المشكلات وتخطيط الأحداث. فكلما طالت المهمة أو ازدادت تعقيداً، ولّدت مزيداً من عدم اليقين ومزيداً من الحاجة إلى هذه القدرات، وهو ما يحدث على نحو أكثر تكراراً في المهام الوكيلة التي يستغرق إنجازها دقائق أو ساعات.
ثالثاً، تتضمن مقاييس أخرى كثيرة عوامل متداخلة هي في الحقيقة عناصر ما وراء معرفية، ولا سيما في أبعاد حل المشكلات والذكاء الروبوتي والوعي والإبداع. فقد عُدّ ما وراء المعرفة عادة ميسّراً لحل المشكلات أو معززاً له، غير أن حل المشكلات مصطلح أوسع بكثير، فقد تحتاج استراتيجية ما وراء معرفية، مثلاً، إلى الإبداع أو التجريد لحل مشكلة ما. ويمزج مقياس الذكاء الروبوتي فئات كثيرة، والوعي أقل دقة من ذلك. وفي المقابل، صيغ مقياس ما وراء المعرفة والتفكير الناقد بحيث يقتصر قدر الإمكان على ما وراء المعرفة والتفكير الناقد بمعناهما الدقيق.
ويمكن أن يساعد استخدام التجارب السابقة وتصنيفها بالمقياس في تحديد أحدث ما بلغته النماذج اللغوية الكبيرة القائمة أو الجديدة. فقد كان نموذجا GPT3.5 و GPT4 في حدود المستوى الثالث على المقياس القديم، وهو ما يقابل المستوى الثاني في المقياس النهائي، ومن ثمّ فإن المستوى الثاني يمثل تقريباً أحدث ما بلغته النماذج اللغوية الكبيرة في عام 2024. غير أن كثيراً من المهام المستخدمة تنطوي على متطلبات أخرى، مما يعني أن النماذج قد تخفق بسبب افتقارها إلى قدرات أخرى، ولذلك يُرجح أن يكون مستواها أعلى.
ويبدو أن أنظمة مثل o1 من OpenAI تمتلك قدراً أكبر من ما وراء المعرفة، وكذلك بعض الصيغ الوكيلة من النماذج اللغوية الكبيرة، ومن ثمّ قد يكون المستوى قريباً من الثالث في عام 2025. غير أن كثيراً من النماذج اللغوية الكبيرة تحل المثال المرجعي الأول من نوع الأسئلة والأجوبة المختار للمستوى الرابع، في حين أن المثال المرجعي الآخر غير قابل للحل بوضوح بأحدث تقنيات الذكاء الاصطناعي. ومن الواضح بما يكفي أن المستوى الخامس يتجاوز القدرات الحالية. أما في نماذج الذكاء الاصطناعي الأخرى، كالروبوتات، فإن ما وراء المعرفة يقع دون هذا المستوى بكثير، وإن كان دمج النماذج اللغوية الكبيرة في الروبوتات قد يفضي إلى قيم أكثر تجانساً عبر تقنيات الذكاء الاصطناعي المختلفة. وفيما يتعلق بالبنى المعرفية، ربما يكون المستوى الثاني أو الثالث، لكن المؤلفين يتركان هذا التحديد للمتخصصين في المجال.
