یک عدد، یک جواب، یک خطر مشترک: قطعیتِ بیجا
ارزیابی روانشناختی و هوش مصنوعی هر دو میتوانند مطمئنتر از شواهدشان به نظر برسند. سیمرغ چطور این دو را کنار هم میگذارد، بدون اینکه قضاوت را به ماشین بسپارد؟
داخل استودیوی ارزیابی
عدد، همراه با نسخه، منبع و محدودیتش
در سیمرغ، ابزار ارزیابی با گروه سنی، پاسخدهنده، وضعیت شواهد و نسخهاش دیده میشود؛ دستیار نمیتواند نبودِ مدرک را با یک جواب مطمئن پنهان کند.
دیدن ارزیابیها در محصول←
داخل سیمرغتصویر واقعی محصول از کلینیک نمایشی
درمانگر یک سؤال ساده از دستیار هوشمند میپرسد:
برای بررسی اضطراب یک کودک هشتساله، چه پرسشنامهای مناسب است؟
دستیار هم در چند ثانیه نام یک ابزار شناختهشده را میگوید، چند خط دربارهاش توضیح میدهد و حتی پیشنهاد میکند همین امروز آن را برای والد بفرستیم.
پاسخ روان است، دقیق به نظر میرسد و تقریباً هیچ نشانهای ندارد که باعث شود به آن شک کنیم.
فقط چند سؤال کوچک باقی مانده است:
- آیا این ابزار واقعاً برای هشتسالگی ساخته شده؟
- پاسخدهنده باید خود کودک باشد یا والد؟
- هدف ابزار غربالگری است، پایش روند است یا کمک به تشخیص افتراقی؟
- سیمرغ اجازه دارد آن را توزیع کند؟
- ترجمه فارسیِ موجود همان فرمی است که اعتبارسنجی شده؟
- نمرهای که در پایان میبینیم با نمونه مناسب ایرانی مقایسه میشود یا فقط یک عدد خام است؟
اگر پاسخ این سؤالها معلوم نباشد، مشکل فقط این نیست که هوش مصنوعی ممکن است اشتباه کرده باشد.
مشکل این است که پاسخ، خیلی مطمئنتر از شواهدش به نظر میرسد.
پرسشنامه عدد میدهد؛ هوش مصنوعی جمله
در نگاه اول، ارزیابی روانشناختی و هوش مصنوعی دو موضوع جدا هستند.
یکی چند سؤال میپرسد و در پایان یک نمره میدهد. دیگری یک پرسش را میگیرد و پاسخی به زبان طبیعی مینویسد.
اما این دو یک خطر مشترک دارند: خروجی هر دو میتواند ظاهرِ قطعیت داشته باشد.
نمره ۱۸ روی صفحه از ما نمیپرسد آیا ترجمه درست بوده، نمونه هنجاری به این مراجع شباهت داشته یا خطای اندازهگیری چقدر است. یک پاسخ خوشساخت هوش مصنوعی هم کنار هر جمله یادآوری نمیکند که ممکن است اطلاعاتش ناقص، قدیمی یا خارج از بافت این کلینیک باشد.
عددها رسمی به نظر میرسند. جملههای روان هم آگاهانه.
برای همین، وقتی این دو را کنار هم میگذاریم، سؤال اصلی این نیست که:
«آیا هوش مصنوعی میتواند آزمون بسازد و تفسیر کند؟»
سؤال مهمتر این است:
«در کدام مرحلهها باید عمداً نتواند تصمیم بگیرد؟»
انتخاب ابزار نباید از حافظه مدل بیاید
اگر از یک مدل زبانی بخواهیم «یک آزمون اضطراب کودک معرفی کن»، احتمالاً پاسخی خواهد داد. اما معرفی حرفهای ابزار به دانستن نام آن محدود نیست.
انتخاب درست به سن، پاسخدهنده، هدف ارزیابی، زمان اجرا، مجوز توزیع، شکل دقیق پرسشها و سطح شواهد بستگی دارد. «اعتبارسنجیشده» هم یک صفت کلی و قابلانتقال نیست؛ شواهد ممکن است فقط برای غربالگری، یک گروه سنی، یک بافت درمانی یا یک نوع پاسخدهنده کافی باشند.
ابزاری ممکن است مشهور و معتبر باشد، اما برای این سن مناسب نباشد. ممکن است فرم خودگزارش و فرم والد هر دو وجود داشته باشند، ولی نمرههایشان قابلجایگزینی نباشند. ممکن است نسخه اصلی آزاد باشد، اما ترجمهای که در اینترنت میچرخد وضعیت روشنی نداشته باشد. حتی ممکن است یک مطالعه خوب وجود داشته باشد، اما روی عباراتی انجام شده باشد که با فرم فعلی فرق دارند.
در مسیری که برای «استودیوی ارزیابی» سیمرغ میسازیم، دستیار نباید این پاسخ را از حافظه عمومی مدل تولید کند. باید کاتالوگ واقعی ابزارها را بخواند: سازه و کاربرد موردنظر، بازه سنی، نوع پاسخدهنده، مجوز، مرحله شواهد، طبقه هنجار، زمان اجرا و محدودیت هر ابزار.
اگر سیمرغ اجازه توزیع یک ابزار را ندارد، دستیار نباید آن را با یک دکمه آماده ارسال نشان بدهد. اگر فقط نمره خام پشتیبانی میشود، نباید از «شدت متوسط» حرف بزند. اگر ابزار برای نوجوان ساخته شده، نباید صرفاً چون نامش آشناست آن را برای کودک پیشنهاد کند.
به زبان ساده: دستیار خوب باید چیزی را بداند که مجاز است پیشنهاد بدهد؛ نه فقط چیزی را که میتواند دربارهاش حرف بزند.
ترجمه، عوضکردن چند کلمه نیست
در آزمون روانشناختی، متن خودِ ابزار است.
گاهی تغییر یک فعل، بازه زمانی یا گزینه پاسخ میتواند معنای سؤال را عوض کند. «در دو هفته گذشته» با «معمولاً» یکی نیست. «اصلاً، کمی، زیاد» الزاماً با مقیاس اصلی همان رفتار آماری را ندارد. تغییر لنگرهای پاسخ حتی میتواند توزیع پاسخ، دشواری آیتم و رابطه آن با نمره کل را جابهجا کند.
راهنمای انطباق و ترجمه آزمونهای کمیسیون بینالمللی آزمون هم انطباق را فرایندی فراتر از ترجمه لفظبهلفظ میبیند؛ زمینه فرهنگی، ویژگیهای فنی، شیوه اجرا و تفسیر باید دوباره بررسی شوند. همارزی معنایی شرط لازم است، اما برای ادعای همارزی اندازهگیری کافی نیست.
پس اگر یک فرم تغییر کند، نمیشود کلید نمرهگذاری، نقطه برش یا هنجار نسخه قبلی را بیسروصدا روی آن نگه داشت. فرم اصلاحشده از نظر پژوهشی یک نسخه تازه است و باید نشان دهد ساختار عاملی، پایایی، عملکرد آیتمها و رابطهاش با ملاک یا فرم مرجع حفظ شدهاند. در سیمرغ، جهتگیری ما این است که اولین تغییر در عبارتبندی، خوانش مشتقشده را به «فقط نمره خام» برگرداند؛ تا زمانی که فرم جدید شواهد خودش را به دست بیاورد.
این سختگیری ممکن است در لحظه آزاردهنده باشد. یک نمودار رنگی و برچسب «شدید» بسیار جذابتر از عدد خام است. اما رنگیکردن یک عدد، برای آن اعتبار نمیسازد.
هوش مصنوعی میتواند پیشنویس بسازد؛ نه مدرک
بخش بزرگی از ساخت یک ابزار خوب، کارهایی است که هوش مصنوعی میتواند در آنها واقعاً مفید باشد:
- تعریف اولیه سازه و مرزهایش؛
- ساخت نقشه وجوه یا خردهمقیاسها؛
- پیشنهاد بودجه آیتم برای هر وجه؛
- مشخصکردن بازه یادآوری، سطح خوانایی و قالب پاسخ؛
- جستوجوی منابع و ابزارهای نزدیک؛
- تهیه پیشنویس سؤالها؛
- آمادهکردن متن دعوت و رضایت برای مطالعه؛
- خلاصهکردن یافتهها برای مرور متخصص.
اینها کارهای وقتگیر و مناسبی برای یک همکار سریعاند.
اما سرعت در نوشتن، جای روایی محتوایی را نمیگیرد. یک سؤال پیشنهادی چون خوب نوشته شده، شاخص مناسبی برای سازه نیست. یک منبع چون در پایان جمله آمده الزاماً آن ادعا را پشتیبانی نمیکند. و یک مجموعه سؤال چون هوش مصنوعی آن را «جامع» توصیف کرده، واقعاً دامنه سازه را پوشش نداده یا از سازههای نزدیک متمایز نکرده است.
به همین دلیل، پیش از تولید آیتم به یک طرح مصوب نیاز است: تعریف عملیاتی سازه و موارد خارج از آن، نقشه وجوه، تعداد آیتم هر وجه، دوره یادآوری، قالب پاسخ، منطق نمرهگذاری و خوانش روز اول. تا این طرح تأیید نشده، بهتر است تولید آیتم اصلاً باز نشود؛ چون خطایی که در نقشه سازه ارزان است، بعد از جمعآوری چندصد پاسخ بسیار گران میشود.
برای همین، در طراحی ما هر سؤال و هر ادعای پژوهشی باید منبع داشته باشد؛ متخصص باید آن را بپذیرد، رد کند یا بازنویسی کند؛ و مدلی که سؤالها را نوشته، نمیتواند همانجا نقش داور مستقل را هم بازی کند.
هوش مصنوعی میتواند کار را تا جلوی درِ تصمیم بیاورد.
اما نباید خودش از آن در عبور کند.
آلفای بالا، بهتنهایی مجوز تفسیر نیست
در روانسنجی هم یک عدد میتواند بیش از اندازه آرامشبخش باشد. ضریب آلفای بالا ممکن است نشان دهد آیتمها در یک نمونه با هم همبستگی دارند؛ اما بهتنهایی ثابت نمیکند ابزار تکبعدی است، همان سازه ادعاشده را میسنجد، برای گروههای مختلف به یک شکل عمل میکند یا نقطه برش بالینی معتبری دارد.
برای حرکت یک ابزار از «پیشنویس» به «قابلتفسیر»، چند پرسش جدا باید پاسخ بگیرند:
- آیا متخصصان قبول دارند آیتمها دامنه سازه را پوشش میدهند؟
- توزیع پاسخ هر آیتم، همبستگی آیتم–کل، اثر کف و سقف و الگوی دادههای گمشده چگونه است؟
- ساختار عاملیِ مشاهدهشده با نقشه نظری سازه همخوان است؟
- پایایی برای همین کاربرد و همین جامعه چقدر است؟
- اگر نقطه برش پیشنهاد میشود، در برابر چه ملاکی و با چه حساسیت و ویژگیای به دست آمده؟
- اگر قرار است دو گروه یا دو زمان مقایسه شوند، آیا همارزی اندازهگیری یا دستکم محدودیت آن بررسی شده است؟
دستیار میتواند این شواهد را کنار هم بگذارد و جاهای خالی را نشان دهد. اما مرحله شواهد نباید با نظر مدل بالا برود. ارتقا باید روی یک گزارش محاسبهشده، نمونه توصیفشده و امضای انسانی بنشیند.
عدد را کد حساب میکند، نه مدل زبانی
مدلهای زبانی در توضیحدادن قویاند. این به معنی آن نیست که باید محاسبه روانسنجی را هم به آنها بسپاریم.
نمره هر سؤال، جمع خردهمقیاس، قاعده برخورد با موارد جاافتاده، انتخاب پروفایل هنجاری، برآورد خطای اندازهگیری و تغییر بین دو نوبت باید با کدی محاسبه شوند که قابل آزمون و بازبینی است. مسیر نمرهگذاری هم باید ثبت کند هر پاسخ چه سهمی در هر خردهمقیاس داشته، آیا نمره تعدیل شده و دقیقاً کدام هنجار با چه دلیلی انتخاب شده است. بعد میتوان نتیجه محاسبهشده و هشدارهایش را برای توضیحدادن به دستیار داد.
این تفاوت ظریف نیست.
اگر مدل هم عدد را بسازد و هم آن را تفسیر کند، یک جمله قانعکننده ممکن است روی محاسبهای بنشیند که هیچکس واقعاً انجام نداده است. اما وقتی محاسبه بیرون از مدل انجام و مرحلهبهمرحله ثبت شود، دستیار فقط چیزی را توضیح میدهد که وجود دارد.
حتی در آن حالت هم هر تغییری «بهبود» نیست. در نظریه کلاسیک آزمون، خطای استاندارد اندازهگیری از انحراف معیار و پایایی به دست میآید: SEM = SD × √(1 − reliability). برای قضاوت درباره تغییر دو نمره، اختلاف باید در برابر خطای اختلاف سنجیده شود؛ در حالت ساده با خطای مشابه، این مقدار از √2 × SEM به دست میآید و برای تغییر پایا معمولاً آستانه اطمینان نیز روی آن اعمال میشود.
پس حرکت کوچک یک خط روی نمودار، بهخودیخود بهبود یا افت نیست. تازه بعد از عبور از خطای اندازهگیری میتوان پرسید این تغییر از نظر بالینی هم معنادار هست یا نه؛ این دو سؤال یکی نیستند.
تفسیر باید به اندازه شواهدش باریک باشد
همه آزمونها اجازه یک نوع خوانش را نمیدهند.
نوع خوانش باید مستقیماً از نوع شواهد بیاید:
| شواهد موجود | خوانش مجاز |
|---|---|
| نه توزیع مناسب، نه نقطه برش معتبر | نمره خام و پاسخهای آیتمی |
| نقطه برش اعتبارسنجیشده، بدون توزیع قابلدفاع | نمره خام و طبقه یا بازه شدت |
| میانگین، انحراف معیار و پایایی در نمونه مناسب | نمره استاندارد، برآورد صدک مبتنی بر مدل و بازه عدمقطعیت، با ذکر جمعیت مرجع |
حتی ردیف سوم هم «هنجار ملی» نیست، مگر نمونهگیری واقعاً چنین ادعایی را پشتیبانی کند. صدکی که از فرض توزیع نرمال محاسبه شده، صدک تجربی نیست و باید با همین محدودیت نامگذاری شود.
نرمافزار نباید از همه آنها یک خروجی یکسان بسازد.
در طراحی سیمرغ، دستیار فقط همان چیزی را دریافت میکند که سطح شواهد اجازه میدهد. اگر ابزار هنجار دفاعپذیر ندارد، مدل اصلاً نمره استاندارد یا رتبه درصدی دریافت نمیکند که بعداً مجبور باشیم با یک دستور متنی از گفتنش منعش کنیم.
این یکی از اصول مهم ماست: ایمنی را تا جای ممکن در شکل داده بسازیم، نه در خواهش از مدل.
حجم نمونه، ضعف نمونهگیری را درمان نمیکند
اگر ۶۰۰ نفر از دنبالکنندگان صفحه یک کلینیک به یک پرسشنامه پاسخ دهند، ممکن است داده کافی برای تحلیل آیتم، بررسی پایایی یا یک تحلیل عاملی اولیه داشته باشیم. اما عدد ۶۰۰ آن نمونه را به نماینده جمعیت ایران تبدیل نمیکند.
چارچوب نمونهگیری باید پیش از بازشدن مطالعه ثبت شود: افراد از کجا و چگونه وارد شدهاند، چه کسانی امکان ورود نداشتهاند، سهم گروههای سنی و جنسیتی چیست و آیا داده از یک کلینیک آمده یا چند بافت متفاوت. این اطلاعات تعیین میکنند خروجی مطالعه چه ادعایی را مجاز میکند.
برای همین، بخش مفید یک سامانه پژوهشی فقط محاسبه آلفا و برازش مدل نیست. باید بتواند قبل از شروع بگوید: «این طرح برای تحلیل آیتم مناسب است، اما از آن هنجار جمعیتی به دست نمیآید.» و بعد از جمعآوری هم باید هر گزارش را به نسخه دقیق فرم، تاریخ استخراج و نمونهای که واقعاً وارد تحلیل شده متصل کند.
مدل میتواند گزارش را به زبان قابلخواندن پیشنویس کند. تحلیل آیتم، آلفا و بازه اطمینانش، ساختار عاملی و برازش همسنجی باید بیرون از مدل و با روش محاسباتی ثبتشده تولید شوند.
«آزمایشی» یعنی چه؟
روی مسیرهای ارزیابی و هوش مصنوعی سیمرغ برچسب «آزمایشی» میگذاریم. این کلمه برای فرار از مسئولیت نیست؛ یک قرارداد روشن با کاربر است.
یعنی دادهای که در این بخش ثبت میشود واقعی است و باید با همان مراقبت از آن نگهداری شود. اما شکل صفحه، شیوه خوانش و حتی عبارتها ممکن است با یادگیری بیشتر تغییر کنند.
و مهمتر از همه:
- یک نمره بهتنهایی تشخیص نیست؛
- پاسخ دستیار بهتنهایی پرونده بالینی نیست؛
- پیشنویس هوش مصنوعی، امضای متخصص نیست؛
- و هیچ مرحلهای از پژوهش فقط با تأیید مدل ارتقا پیدا نمیکند.
سازمان جهانی بهداشت در راهنمای اخلاق و حکمرانی هوش مصنوعی در سلامت نیز بر حفظ اختیار انسان، شفافیت، پاسخگویی و ارزیابی مداوم سامانهها در استفاده واقعی تأکید میکند. در سلامت، حضور انسان در حلقه نباید یک دکمه نمایشی باشد که همیشه «تأیید» زده میشود. باید لحظهای واقعی برای دیدن شواهد، پرسیدن و ردکردن باشد.
آیندهای که میخواهیم، خودکارتر نیست؛ قابلردگیریتر است
تصویر جذاب آینده شاید سیستمی باشد که درمانگر یک جمله میگوید و چند ثانیه بعد آزمون، نمره، تفسیر و برنامه درمان آماده است.
ما به آینده دیگری علاقهمندیم.
درمانگر نیازش را توضیح میدهد. دستیار ابزارهای مجاز و مناسب را با شواهدشان مقایسه میکند. اگر ابزار مناسبی وجود ندارد، برای ساخت یک فرم تازه پیشنویس آماده میکند. متخصص هر مرحله را میبیند و تأیید میکند. مطالعه با رضایت و نمونه تعریفشده اجرا میشود. محاسبات را کد انجام میدهد. دستیار نتیجه را فقط تا جایی توضیح میدهد که داده اجازه دارد. و هر ادعا مسیری دارد که میشود از آن تا منبع و محاسبه عقب رفت.
در این تصویر، هوش مصنوعی روانسنج نیست.
جای روانسنج هم نمینشیند.
کارش این است که پژوهش، نوشتن و مرور را آنقدر سبکتر کند که متخصص بتواند انرژیاش را روی همان بخشهایی بگذارد که نباید خودکار شوند: تعریف مسئله، سنجیدن شواهد و پذیرفتن مسئولیت تصمیم.
چون در سلامت روان، خروجی خوب فقط خروجیای نیست که سریع و زیبا تولید شده باشد.
باید بتواند به یک سؤال ساده هم جواب بدهد:
«از کجا میدانیم؟»
اگر کلینیک شما میخواهد در شکلدادن این مسیر آزمایشی کنار ما باشد، درباره برنامه کلینیکهای مؤسس بیشتر بخوانید.
