تعتمد هيئة تقويم التعليم والتدريب بالمملكة العربية السعودية مجموعة من القواعد والضوابط العلميّة والعملية، تتضمن عددًا من المراحل، لإعداد الاختبارات المختلفة التي تقدمها الهيئة.
تستقطب الهيئة كل عام مجموعة من العاملين في مجالي التعليم العام والجامعي من مختلف مناطق المملكة، وتعقد لهم ورش عمل دورية تتناول الجوانب النظرية والعملية لكل اختبار للخروج بأسس صحيحة لإعداد الاختبارات والأسئلة.
يكلف كل مشارك بوضع أسئلة حسب تخصصه، وفق منهج سري، إذ يُعطى كل مشارك رقمًا خاصًا به طيلة مدة تعامله مع المركز، وترتبط به معلومات عنه، مثل: تخصصه، ودرجته العلمية، وخبراته، كما يُعطى كل سؤال رقمًا خاصًا به.
تُكوَّن لجان تحكيم الأسئلة من 3 أعضاء متخصّصين في المجال المعرفي للاختبارات والقياس وأصحاب الخبرة، ويخضع كل سؤال لأحكام خاصة فيما تحكم اللجنة على كل سؤال وفًقا لاستبانة محدد، مثل: طبيعته، مستوى صعوبته وتناغمه مع ضوابط الاختبار، طبيعة التعديلات التي أجريت عليه وغيرها من الضوابط.
تُدخل الأسئلة في الحاسب وفًقا لصيغ لجان التحكيم (أي ما توصلت إليه من تعديل للسؤال أو قبوله كما هو)، ويستثنى من ذلك الأسئلة التي حَكمت اللجان بأنها غير صالحة أو غير قابلة للتعديل.
تراجع الأسئلة كلها (النسخة الحاسوبية) مرة أخرى من قبل أربعة مراجعين من ذوي الاختصاص في الحقل والقياس.
تُحلّل الأسئلة تحليلًا إحصائيًّا تمهيدًا لضم الصالح منها لقاعدة أسئلة الاختبار الفعلية، أما غير الصالح فيُستبعد نهائيًّا أو يُسْتَصْلح، ومن ثم يُجرَّب مرة أخرى.
يُكوَّن الاختبار في صورته النهائية بالاختيار العشوائي من بين الأسئلة المجرَّبة والمودعة في بنك الأسئلة، بصورة تكفل التمثيل المناسب لأبعاد الاختبار كافة.
في هذه المرحلة يجري إخراج الاختبار ومراجعة الصورة النهائية له، وإعداد نسخ مختلفة من نموذج الاختبار لاستيعاب أكبر عدد من الأسئلة التجريبية، ثم يطبع الاختبار في كتيبات تتضمن التعليمات العامة، والخاصة بكل جزء وقسم.
تعدد النماذج وتوازن الأسئلة في مختلف النماذج بحيث تكون صعوبة الأسئلة وتمييزها شديدة التقارب، وضمن القيم المقرّة علميًّا، وتعادل النماذج أيضًا من ناحية المعلومات المتعلقة بقدرة الاختبار على إظهار الفروق بين الطلاب.