الفصل الثاني: المنهجية
إعداد: Sam Mitchell و Stuart Elliott و Abel Baret، منظمة التعاون الاقتصادي والتنمية.
يقدم هذا الفصل لمحة عامة عن الكيفية التي طوّرت بها المنظمة إطارها والمقاييس المنبثقة عنه، ويركز على قرار وصف قدرات الذكاء الاصطناعي بدلاً من وصف المهام التي يستطيع أداءها. ويعرض الفصل مقاربة مبتكرة تجمع بين شكلين من أشكال تقييم الذكاء الاصطناعي، هما آراء الخبراء والمقاييس المباشرة لأداء الذكاء الاصطناعي، أي الاختبارات المعيارية. كما يبين عملية تحديد نطاق القدرات وبنية المؤشرات، بما في ذلك تطوير مقاييس من خمسة مستويات وأبعادها، وربط مقاييس الذكاء الاصطناعي بها، ومعالجة التفاوت في قياس الذكاء الاصطناعي. ويُختتم الفصل بوصف لتطور المنهجية على مدى السنوات الخمس الماضية.
مقاربة قائمة على القدرات لتقييم الذكاء الاصطناعي
يعرض هذا القسم لمحة عامة عن الكيفية التي طوّرت بها المنظمة إطارها والمقاييس المنبثقة عنه. وتنطلق المقاربة من قرار تطوير إطار يصف قدرات الذكاء الاصطناعي لا المهام التي يستطيع أداءها.
ومن حيث المبدأ، كان بالإمكان أن يركز التحليل في هذا الإطار على القدرات أو على المهام. ففي أدبيات علم النفس البشري، توجد تصنيفات متطورة لكلتا المجموعتين من المفاهيم، ويتجلى ذلك في مجموعتي الأبعاد المتقابلتين في قاعدة البيانات المهنية O*NET التي طُوّرت في الولايات المتحدة. غير أن الأدبيات الاقتصادية انتقلت في السنوات الأخيرة من تحليل أثر الذكاء الاصطناعي في العمل على مستوى المهن إلى تحليله على مستوى المهام، إذ لاحظت أن المهام المكونة لأي مهنة يُرجّح أن تتأثر على نحو متفاوت بأي تقنية من تقنيات الذكاء الاصطناعي أو بأي تقنية أخرى. وقد شكلت هذه المقاربة القائمة على المهام ابتكاراً كبيراً في أبحاث اقتصاديات العمل.
بيد أن المقاربة القائمة على المهام لا توفر إطاراً واضحاً لوصف تطورات الذكاء الاصطناعي. فمن جهة أولى، يصعب فهم تصنيفات المهام لأن الاقتصاد الحديث يضم آلافاً من مهام العمل المتمايزة إن لم يكن عشرات الآلاف. ومن جهة ثانية، يتعرض التحليل القائم على المهام للانتقاد ذاته الذي يتعرض له التحليل القائم على المهن، إذ تتطلب المهام الفردية في العادة مهارات متعددة قد تتأثر على نحو مختلف تماماً بأي تقنية من تقنيات الذكاء الاصطناعي أو بأي تقنية أخرى. فالمهام، شأنها شأن المهن، لا توفر وحدة تحليل أولية مفيدة لفهم تطور الذكاء الاصطناعي.
وقد فرضت المقاربة القائمة على المهام تحدياً مفاهيمياً جدياً على علماء الاقتصاد في إدراك الآثار البعيدة المدى للذكاء الاصطناعي. فحين يتضمن إطار التحليل عشرات الآلاف من المهام، يبدو من المعقول توقع ظهور آلاف المهام الجديدة بسهولة لتوفر عملاً جديداً للبشر إذا أتمت الذكاء الاصطناعي كثيراً من المهام القائمة.
والإطار القائم على المهام مضلل لأنه يوحي بوجود عدد غير محدود فعلياً من المهام المحتملة التي يمكن للبشر أداؤها. وهذا يضع الاقتصاديين أمام ما يشبه مفارقة زينون في فهم آثار الذكاء الاصطناعي على الأتمتة، إذ يبدو أنه لن يكون ممكناً أبداً أتمتة العمل البشري بالكامل، لأن مهام جديدة يمكن أن تظهر دائماً لتخلق وظائف جديدة تتيح للاقتصاد أن يستمر على ما هو عليه الآن تقريباً.
والمشكلة في هذا التأطير ينبغي أن تكون واضحة غير أنها محجوبة: فالبشر سيضطرون إلى أداء أي مهام جديدة بالمجموعة الأساسية من القدرات البشرية، وهذه القدرات محدودة جوهرياً بالبيولوجيا والتعليم. فإذا تقدم الذكاء الاصطناعي حتى اكتسب جميع القدرات البشرية، فمن المرجح أن يواجه الاقتصاد الحالي القائم على العمل اضطراباً حاداً.
وقد اختار المشروع إطاراً قائماً على القدرات لوصف تقدم الذكاء الاصطناعي، لأن هذا الإطار يصف بإيجاز جوهر التحدي الذي يطرحه الذكاء الاصطناعي: فثمة عدد محدود من القدرات البشرية الأساسية، والذكاء الاصطناعي يحرز تقدماً في كل منها. وآثار هذا التحدي الأساسي هي التي تولّد مجموعة مشكلات السياسات الجوهرية التي يتعين على صانعي السياسات معالجتها.
ويعود التقرير في الفصل الثالث عشر إلى المهام والمهن بمزيد من التفصيل لربط المقاييس بأنواع التحليلات الاقتصادية القادرة على توضيح الأثر المحتمل للذكاء الاصطناعي في العمل. غير أن هذه المقارنة تُجرى بعد أن تكون تطورات الذكاء الاصطناعي وآثارها في القدرات عبر مجموعة من مجالات القدرة البشرية قد وُصفت بالفعل.
ويصف الفصل فيما يلي القدرات المحددة المشمولة في المجموعة الحالية من مؤشرات قدرات الذكاء الاصطناعي. فقد طوّر علم النفس البشري على مدى القرن الماضي إطاراً مفاهيمياً أساسياً يمكن تكييفه، كما يتضح من فهرس محتويات أي كتاب جامعي في علم النفس المعرفي البشري. ويستلهم هذا التقرير نموذج كاتل وهورن وكارول للقدرات البشرية، وهو نموذج في علم النفس يصنف القدرات المعرفية البشرية في مجالات عامة وأخرى ضيقة.
مصادر الأدلة
بعد اعتماد نموذج كاتل وهورن وكارول لوصف ما يستطيع الذكاء الاصطناعي فعله وما لا يستطيعه، كان على الدراسة أن تجد مصادر ملائمة للأدلة لتقييم مدى مقارنة قدرات الذكاء الاصطناعي بالقدرات والمهارات البشرية. ففي عالم مثالي، كان كل مقياس سيستند إلى اختبارات رسمية تقدم نتائج قابلة للمقارنة لكل من أنظمة الذكاء الاصطناعي والبشر، لكن مثل هذه الاختبارات لا وجود لها بعدُ في مجالات كثيرة.
وقد انقسمت المحاولات السابقة لتقييم قدرات الذكاء الاصطناعي في معظمها إلى فئتين عامتين.
الفئة الأولى هي المقاييس المباشرة لأداء الذكاء الاصطناعي، التي تقيّم أنظمته من خلال المسابقات والاختبارات المقننة أو ما يُعرف بالاختبارات المعيارية في مجالات متخصصة. وتقدم هذه المقاييس بيانات أداء موضوعية وقابلة للتكرار وكمية، تتيح تتبعاً واضحاً لتقدم الذكاء الاصطناعي عبر الزمن. كما تسمح بإجراء مقارنات دقيقة بين نماذج الذكاء الاصطناعي المختلفة، وتعزز التقدم من خلال أطر تقييم موحدة يمكنها توجيه البحث بإبراز مواطن ضعف الأداء.
والفئة الثانية هي آراء الخبراء، التي تُجمع من خلال اجتماعات يعقدها الخبراء للحكم على قدرات الذكاء الاصطناعي الحالية أو المستقبلية. ففي المجالات التي تفتقر إلى مقاييس مباشرة راسخة، يمكن لآراء الخبراء أن تقدم رؤى حول قدرات الذكاء الاصطناعي، وتوفر مرونة في تقييم سلوكياته المعقدة أو المستجدة التي لا تنسجم بسهولة مع الاختبارات المحددة سلفاً، أو حين تنشأ قدرات للذكاء الاصطناعي في مجالات تخلو من أطر تقييم راسخة.
وبالجمع بين هذين المصدرين، تستعين المنظمة بكل ما يتوفر من أدلة مباشرة، وتستخدم حكم الخبراء لسد الثغرات. وقد تشمل الأدلة اختبارات رسمية، لكنها تشمل أيضاً مسابقات أو تحليلات لأداء أنظمة ذكاء اصطناعي بعينها. ويُستعان بمدخلات الخبراء كذلك في التقييم النقدي لمدى ملاءمة الاختبارات القائمة وتفسيرها، بما يضمن أن تكون الادعاءات المتعلقة بالأداء مستندة إلى أدلة راسخة.
وفي ظل تفاوت توفر الأدلة عبر مجالات القدرات، فإن الجمع بين المقاييس المباشرة وآراء الخبراء يعوّض جزئياً عيوب كل منهما حين يُستخدم منفرداً. فمع أن الأشهر الأخيرة شهدت تقدماً نحو اختبارات معيارية أكثر طبيعية وشمولاً، تميل المقاييس المباشرة للذكاء الاصطناعي إلى تقييم قدرات ضيقة في بيئات مضبوطة، ومن ثمّ تعجز عن التقاط مرونة القدرات البشرية وتعقيدها حين تُستخدم في أداء المهام في العالم الحقيقي. ويمكن الاستعانة بآراء الخبراء لتفسير هذه النتائج وربطها بقدرات أعم. كما يمكن أن تكون حاسمة في تفسير حدود اختبارات الذكاء الاصطناعي القائمة، التي كثيراً ما تحمل أسماء توحي بتغطية أوسع مما تشمله فعلاً.
ومن ناحية أخرى، قد يكون حكم الخبراء عرضة للتحيز وعدم الاتساق، ولا سيما حين تُقيّم قدرات الذكاء الاصطناعي عبر نطاق واسع من المجالات. وقد سعت مجموعة خبراء المنظمة إلى الحد من هذا الخطر بتأسيس أحكامها على المقاييس المباشرة للذكاء الاصطناعي. يضاف إلى ذلك أن قلة من الخبراء يجمعون بين الخبرة في علوم الحاسوب والخبرة في القدرات البشرية، ولذلك لا يمتلكون في العادة الخبرة الكافية لإجراء المجموعة الكاملة من المقارنات التي تتطلبها المقاييس.
وفي مرحلة سابقة، نظر المشروع في استخدام التقييمات البشرية المقننة أيضاً لاستكمال المقاييس المباشرة لأداء الذكاء الاصطناعي. فقد استُخدم البرنامج الدولي لتقييم الطلبة وبرنامج التقييم الدولي لكفاءات البالغين أحياناً لتقييم الذكاء الاصطناعي. غير أن بلوغ الذكاء الاصطناعي سقف الأداء في هذه الاختبارات، وعدم صلاحية المقارنة بين قدرات الذكاء الاصطناعي والقدرات البشرية في التقييمات المصممة للبشر، دفعا المنظمة إلى التخلي عن هذه المقاربة. وفي المستقبل، ستتمثل القيمة الأساسية للتقييمات البشرية في استلهامها لتصميم اختبارات منهجية جديدة للذكاء الاصطناعي تعكس على نحو أفضل الطيف الكامل للقدرات البشرية ذات الصلة بأنظمته.
نطاق القدرات
استرشدت المنظمة بقناعة مفادها أن صانعي السياسات بحاجة إلى فهم كيفية تقدم الذكاء الاصطناعي في جميع مجالات القدرة البشرية، كي يدركوا الآثار المحتملة للذكاء الاصطناعي في التعليم والعمل.
وقد تعاملت المنظمة مع اختيار القدرات بطريقة عملية، مدركة أن بالإمكان دائماً إضافة القدرات أو دمجها أو حذفها أو إعادة تعريفها عند الحاجة، وبذلك تمكنت من الوصول إلى مجموعة صغيرة وشاملة من المؤشرات. ثم أنشأت مجموعات عمل أولية من الخبراء في أربعة مجالات عامة هي: اللغة، والاستدلال، والقدرات الحسية الحركية، والقدرات الاجتماعية.
وكما ذُكر آنفاً، استلهمت المنظمة نموذج كاتل وهورن وكارول الكلاسيكي للقدرات البشرية في علم النفس. فمسودة مؤشرات قدرات الذكاء الاصطناعي تطابق مجالي اللغة والاستدلال مع فئتي المعرفة والاستدلال في ذلك النموذج. غير أن المؤشرات تستخدم فئات تتوافق تقريباً مع الحقول الفرعية في الذكاء الاصطناعي، وهي فئات شائعة الاستخدام في مناقشة التعليم والعمل. أما المجال الحسي الحركي فيقابل فئتي الإدراك الحسي والتحكم النفسي الحركي في النموذج، ويرتبط ارتباطاً واضحاً بأعمال الذكاء الاصطناعي في مجال الروبوتات. وأُدرج المجال الاجتماعي لأن الذكاء الاجتماعي والعاطفي بات يحظى باعتراف متزايد بوصفه عاملاً محورياً في مآلات الحياة، فضلاً عن أن النموذج لا يتناوله إلا بصورة غير مباشرة.
وقد أنتجت كل من مجموعتي اللغة والقدرات الاجتماعية مقياساً واحداً، في حين أنتجت كل من مجموعتي الاستدلال والقدرات الحسية الحركية عدة مقاييس منفصلة لتغطية القدرات في مجالها. ويعرض التقرير المقاييس التسعة الناتجة عن هذه القرارات، وهي: اللغة، والتفاعل الاجتماعي، وحل المشكلات، والإبداع، وما وراء المعرفة والتفكير الناقد، والمعرفة والتعلم والذاكرة، والرؤية، والمناولة، والذكاء الروبوتي.
وفي إطار عملية مراجعة الأقران الأولية، نظر سبعة مراجعين من ذوي الخبرات المتنوعة في الإطار الناتج لمقارنة قدرات الذكاء الاصطناعي بالقدرات البشرية، وقدموا عدة اقتراحات لتحسين مجموعة القدرات، يرد بعضها في الفصل الثالث. وقد اتفقوا بوجه عام على أن المجموعة الحالية من المقاييس تمثل طريقة معقولة ويمكن الدفاع عنها لتقسيم مجموعة القدرات البشرية بغرض مقارنتها بالذكاء الاصطناعي، مع تأكيدهم الحاجة إلى مزيد من التحسين قبل الإصدار الكامل للمقاييس عام 2026.
وثمة استثناء لافت واحد، إذ أبدى المراجعون جميعاً قلقهم بشأن ما إذا كان من الممكن وصف الوعي وصفاً سليماً بأنه قدرة. وأبدوا القدر نفسه من القلق إزاء إثارة مخاوف صانعي السياسات والجمهور قبل الأوان بشأن أنظمة ذكاء اصطناعي واعية، بالنظر إلى محدودية الفهم العلمي لطبيعة الوعي. ونتيجة لذلك، أُدرج مقياس الوعي في القسم الأخير فقط من هذا المجلد الفني، وهو ليس جزءاً من المجموعة التجريبية لمؤشرات قدرات الذكاء الاصطناعي.
وعلى الرغم من العناية التي أحاطت بعملية اختيار مجموعة من مجالات القدرات المتمايزة إلى حد كبير لبناء المقاييس، فإن الأوصاف الناتجة للمقاييس تتضمن بعض التداخل، ولا سيما في مستويات الأداء العليا. ومرد ذلك على الأرجح إلى أن معظم المهام البشرية ذات المستوى الملحوظ من التعقيد تتطلب جوانب من القدرة في المجالات التسعة جميعها، ومن ثمّ فإن وصف الأداء المعقد في أي مجال معرفي كثيراً ما ينطوي على أداء متكامل عبر مجالات معرفية عديدة.
ولم تحاول الدراسة أن تقيّد هذا التداخل بين المجالات تقييداً صارماً في أثناء التطوير الأولي للمؤشرات. غير أن التطوير المستقبلي للمؤشرات يتعين أن ينظر في كيفية رسم هذا التداخل وتمثيله على نحو أكثر اتساقاً وشمولاً. فهل ينبغي تجنب بعض أنواع التداخل بين المؤشرات؟
بنية المؤشرات
لتطوير المجموعة النهائية من المؤشرات، عملت المنظمة مع مجموعة من ثلاثين عالماً في الحاسوب وعلم النفس البشري ومتخصصاً في التقييم. وجاء ذلك توسيعاً لمجموعة أساسية من عشرين خبيراً عملوا مع المنظمة على تطوير مقاربتها لتقييم قدرات الذكاء الاصطناعي على مدى خمس سنوات. ولإتاحة المقارنة بين أداء الذكاء الاصطناعي والأداء البشري، طُلب إلى الخبراء إعداد مقاييس تشمل جميع الجوانب المختلفة لكل قدرة بشرية، على أن تُرتب بحسب صعوبتها النسبية على أنظمة الذكاء الاصطناعي في مقياس من خمسة مستويات.
تطوير مقاييس من خمسة مستويات وأبعادها
اختير عدد المستويات بطريقة عملية بحيث يتيح في المقياس متسعاً كافياً لوصف أسهل جوانب القدرة وأسبقها، ومجالات العمل الحالية، والتحديات الجدية المتبقية. ويعني ذلك عادة أن المستوى الأول يركز على جوانب القدرة التي باتت مشكلات محلولة بالنسبة إلى الذكاء الاصطناعي، وأن المستويات الوسطى تلتقط محور تركيز أبحاث الذكاء الاصطناعي الحالية، وأن المستوى الخامس يركز على جوانب الأداء البشري التي تقع خارج متناول أنظمة الذكاء الاصطناعي الحالية بمسافة بعيدة.
ومع وجود فروق بين المقاييس، حدد الخبراء بوجه عام عدة أبعاد لكل مقياس، تعكس جوانب الصعوبة التي تميز ما هو سهل على أنظمة الذكاء الاصطناعي مما هو صعب عليها. وحُددت مستويات المقياس وفقاً لتدرج في الصعوبة على امتداد هذه الأبعاد.
وطُلب إلى الخبراء التمييز بين المستويات وفقاً لفروق نوعية على امتداد الأبعاد. ويقع الفرق النوعي بين مستويين حين يمتلك نظام الذكاء الاصطناعي جانباً معيناً من القدرة في أحد المستويين بدرجة عالية من المتانة، بينما يفتقر إليه تماماً في المستوى السابق. فعلى مقياس حل المشكلات، على سبيل المثال، يستطيع نظام الذكاء الاصطناعي في المستوى الثالث أن يتخذ قرارات أخلاقية موثوقة، وهو ما يغيب تماماً في المستوى الثاني. وتختلف هذه المقاربة عن تحديد المستويات وفق فروق أكثر تدرجاً وكمية، قد يُعرّف فيها أداء الذكاء الاصطناعي بمعدل نجاحه في مجموعة من المهام فحسب، كأن يُصنّف منتقلاً من نسبة نجاح تبلغ 60% في المستوى الثاني إلى 75% في المستوى الثالث، دون نقطة فاصلة واضحة.
ومن حيث المبدأ، قد يتضمن التطوير المستقبلي للمقاييس تحديد أداء يتجاوز المستوى الخامس، بحيث يصف جوانب أداء خارقة للقدرة البشرية نوعياً، أي تتجاوز أنواع الأشياء التي يستطيع البشر فعلها. ويختلف ذلك عن أداء الذكاء الاصطناعي الخارق للقدرة البشرية كمياً، حيث يؤدي الذكاء الاصطناعي الأنشطة البشرية بسرعة أكبر ودقة أعلى وببيانات أكثر مما يتاح للبشر. ويظهر الأداء الخارق كمياً في المستويات الدنيا من المقاييس.
كيفية تحديد تصنيف مستويات المقياس
تهدف الدراسة إلى تحديد أعلى مستوى على المقياس يُظهر فيه الذكاء الاصطناعي أداءً متيناً، بمعدل نجاح مرتفع نسبياً في المهام التي تتطلب ذلك المستوى من القدرة. وتعني الطبيعة المتدرجة لمستويات المقياس أن الذكاء الاصطناعي الأكثر تقدماً في مستوى معين ينبغي أن يكون قادراً أيضاً على تقديم أداء متين في المستويات التي تدنوه. فالنظام الذي يقع في المستوى الثالث على مقياس ما، على سبيل المثال، يُتوقع أن يمتلك أيضاً القدرات المطلوبة للمستويين الأول والثاني.
ولا ينطبق هذا الادعاء إلا على أحدث ما بلغه الذكاء الاصطناعي في المجال ككل، لا على أنظمة بعينها، بسبب قيود التصميم. فمن الممكن أن يؤدي نظام معين القدرات المطلوبة للمستوى الثالث دون تلك المطلوبة للمستوى الثاني، ولكن إذا بلغ أي نظام في المجال ككل المستوى الثالث، فلا بد من وجود أنظمة أخرى قادرة على الأداء في المستويين الأول والثاني، ولا بد أن يكون ممكناً من حيث المبدأ تصميم نظام قادر على الأداء في المستويات الثلاثة جميعها.
وأحياناً تكون المقاربات المستخدمة لتحقيق المستويات المختلفة متعارضة ولا يمكن الجمع بينها. وفي هذه الحالات، تحاول الدراسة أن تعكس هذه القيود في أوصاف المقاييس ذاتها. ففي المستويات الدنيا من مقياس الرؤية مثلاً، يمكن لنظام واحد أن يبرع في قراءة الصور الطبية أو في دعم مركبة ذاتية القيادة، لكن ليس في الأمرين معاً، ولذلك أُدرج الاقتصار على مجالات تطبيق منفردة جانباً مهماً من جوانب الأداء في المستويات الدنيا من مقياس الرؤية.
معالجة التفاوت في قياس الذكاء الاصطناعي
مع أن توفر الاختبارات الرسمية يتناقص في المستويات العليا من المقاييس في جميع مجالات القدرات، فإن عدد الاختبارات المتاحة يتفاوت تفاوتاً كبيراً بين المجالات. فبعض مجالات القدرات يمتلك أدبيات اختبار رسمية راسخة، بينما يكاد بعضها الآخر يخلو منها. فللرؤية واللغة تقليد راسخ في اختبار الذكاء الاصطناعي يمتد لعقود ويمكن تجميعه بصورة رسمية، في حين أن التفاعل الاجتماعي والإبداع قدرتان تكادان تخلوان من مقاييس راسخة للذكاء الاصطناعي، وتقع المجالات الأخرى في موضع ما بين هذين الطرفين، مع مجموعة محدودة من المقاييس الرسمية.
والمقياس المثالي هو الذي يستند إلى نتائج برنامج تقييم منهجي يختبر أداء الذكاء الاصطناعي عبر النطاق الكامل لقدراته الممكنة، وهو ما يتطلب تطوير مقاييس مباشرة مصممة خصيصاً لأداء الذكاء الاصطناعي في جميع المقاييس. ونظراً لعدم توفر مثل هذه الأدلة المنهجية، تسعى العملية إلى جمع الأدلة القائمة وتحديد الثغرات للعمل المستقبلي.
وفي الحالات التي تغيب فيها الاختبارات المعيارية الرسمية، كُلّف الخبراء بوصف أمثلة على الأدلة التي يمكن الاستناد إليها في تطوير اختبارات أكثر رسمية. فبعض المجالات، كالروبوتات، تشهد مسابقات دورية تتضمن مهام محددة تحديداً جيداً ذات تحديات خاصة وأدوات تقدير للتقييم. وهي لا تتيح قياسات متكررة عبر الزمن لأنظمة مختلفة كما تفعل الاختبارات المعيارية، لكنها توفر قدراً من معلومات التقييم الرسمية التي يمكن تطويرها أكثر.
وعلى مستوى أقل انتظاماً، يمكن الاستعانة بأوصاف أنظمة ذكاء اصطناعي بعينها ووظائفها لفهم علاقة أداء أنظمة محددة بالمستويات المختلفة للمقاييس. كما توفر المهام الملموسة المحددة تحديداً جيداً أمثلة على أسئلة اختبارية يمكن استخدامها في تطوير تقييمات جديدة. فمجال الإبداع، على سبيل المثال، يفتقر إلى اختبارات معيارية ذات شأن، فأدرج خبراؤنا بدلاً منها أوصافاً لأنواع المهام التي تنفذها أنظمة الذكاء الاصطناعي، وقدموا كذلك إطاراً يحدد أنواع القدرات التي يمكن أن تختبرها التقييمات المستقبلية لإبداع الذكاء الاصطناعي.
وللمؤشرات الحالية حدود من حيث تعريفها المفاهيمي ومن حيث تقييمها لأداء الذكاء الاصطناعي الحالي على السواء. ولهذا تُعرض المقاييس الواردة في هذا المجلد في صيغة تجريبية، على أن تصدر مؤشرات أكثر تطوراً في أعمال مستقبلية. ويصف الفصل الثالث الخطوات التالية لتطوير المقاييس بمزيد من التفصيل.
تطور المنهجية
اعتمد عمل المنظمة في بناء مؤشرات قدرات الذكاء الاصطناعي حتى الآن على عشرات من علماء الحاسوب وعلماء النفس وخبراء الاختبارات. وضمت مجموعة الخبراء الأساسية عشرين باحثاً من بلدان كثيرة، يعمل معظمهم في الجامعات، وبعضهم في وزارات حكومية أو شركات خاصة أو مراكز بحثية مستقلة. وقد اختيروا لخبرتهم المحددة عبر مجالات المنظمة وداخلها. وسعت المنظمة إلى استقطاب خبراء يجمعون بين الذكاء الاصطناعي والعلوم المعرفية البشرية، وإن تفاوتت بطبيعة الحال الأهمية النسبية لكل مجال لدى كل فرد منهم. وضمت المجموعة النهائية التي طوّرت المقاييس ثلاثين شخصاً، إذ عمل بعض الخبراء مع طلاب دراسات عليا في بناء مقاييسهم.
وقد تطورت المنهجية والمؤشرات الناتجة عنها على مدى خمس سنوات، ولم يشارك بعض الخبراء إلا في جزء من هذه المدة. وبدأت عملية التطوير بورشة عمل للخبراء للنظر في مختلف التصنيفات والتقييمات المتاحة للمهارات والقدرات في مجالات علم النفس البشري وعلوم الحاسوب. وأفضى ذلك إلى استكشاف تدريجي لكيفية جمع هذه العناصر في منهجية تكون شاملة على نحو تقريبي للطيف الكامل للقدرات البشرية من جهة، ومرنة بما يكفي للاستفادة من الأنواع المختلفة من الأدلة المتاحة عن قدرات الذكاء الاصطناعي في المجالات المختلفة وعند مستويات الأداء المختلفة من جهة أخرى. وقد وُصفت هذه الاستكشافات في تقريرين فنيين سابقين.
وعلى مدى العامين الماضيين، تركز العمل بصورة متزايدة على تطوير مجموعة من المقاييس الصريحة المتعلقة بقدرات محددة للذكاء الاصطناعي، وإن استغرق الأمر عدة دورات للوصول إلى طريقة عملية لتحقيق ذلك. وفي أكتوبر 2024، ناقش الخبراء مسوداتهم الأولية لكل مقياس والفصول المنهجية المصاحبة لها. وفي ختام الاجتماع، قررت المنظمة نشر هذه المسودات بوصفها مقاييس تجريبية لإطلاق نقاش واسع في المجال حول المؤشرات والمقاربات المتبعة في كل مجال.
وفي أواخر عام 2024، أطلقت المنظمة مبادرة لمراجعة الأقران بين باحثين لم يشاركوا بعدُ في بناء المقاييس، باستثناء عضو واحد في مجموعة الخبراء لم يكن مؤلفاً لأي مقياس. وهدفت مراجعة الأقران إلى ضمان أن تعكس المقاييس أوسع نطاق ممكن من وجهات النظر في المجتمعين الفنيين المعنيين بتقييم الذكاء الاصطناعي وتقييم البشر.
وضمت مراجعة الأقران في نهاية المطاف خمسة وعشرين باحثاً موزعين على فئتين: ثمانية مراجعين رفيعي المستوى للمجموعة الكلية من المقاييس، وسبعة عشر مراجعاً للمقاييس المنفردة والفصول المصاحبة لها. وكان مراجعو المقاييس المنفردة خبراء يمتلكون خبرة في الذكاء الاصطناعي وفي القدرات البشرية خاصة بالمجال الملائم لكل مقياس، ولدى جميعهم قدر من المقاربة متعددة التخصصات. وحاولت الدراسة كذلك استقطاب مراجعين يجمعون بين الخبرة في مقاربات التعلم الآلي والمقاربات الرمزية لتطوير الذكاء الاصطناعي في كل مجال. وطُلب إلى المراجعين تقييم المقاربة الكلية في مجالاتهم، ولا سيما ما إذا كانت تعكس الحالة الراهنة للأدبيات المتعلقة بالمهارات البشرية ومقاييس الذكاء الاصطناعي.
أما المراجعون العامون فكانت مهمتهم الأساسية تقييم ما إذا كانت المجموعة الكاملة من المقاييس تغطي الطيف الكامل للقدرات البشرية ذات الصلة بالمهام المهنية عبر المجالات. وفُضّلت لهذه المهمة الخبرة في علم النفس البشري وفي تخصصات متعددة من الذكاء الاصطناعي، وهو ما انعكس في الخبرات الأساسية للمراجعين العامين النهائيين: اثنان من علماء النفس البشري، وثلاثة باحثين في الذكاء الاصطناعي من ذوي التخصصات المتعددة، واثنان من المتخصصين في التعليم.
وقد استُعين بمراجعات الأقران بطبيعة الحال في تنقيح جوانب كثيرة من التقرير الفني. غير أن ثمة ملاحظات تتعلق بالمجموعة الكلية من المقاييس، واقتراحات بإجراء تغييرات جوهرية على مقاييس بعينها، لم يكن ممكناً إدراجها في إصدار المقاييس التجريبية، وستُعالج هذه الملاحظات في الإصدار الكامل للمقاييس عام 2026. ويلخص الفصل التالي من هذا التقرير عدداً من تلك النقاط.
ويتضمن قسم الشكر والتقدير أسماء مؤلفي فصول المقاييس وانتماءاتهم المؤسسية، ومراجعي الأقران، والخبراء الخارجيين الآخرين الذين قدموا مدخلات مهمة على مدى السنوات الخمس الماضية، وفريق المشروع. وفي المجموع، يعكس المشروع حتى الآن مدخلات نحو ثمانين شخصاً.
