صدها محقق در حوزه یادگیری ماشینی و هوش مصنوعی تلاش کردند تا با استفاده از ۱۵ سال دیتای دقیق، زندگی چندین کودک و خانوادههایشان را پیشبینی کنند؛ هیچکدام از عهده این کار برنیامدند.
آینده نگر/ منبع: MIT Technology Review
سیاستگذاران اصولا از تحقیقات دانشمندان علوم اجتماعی استفاده میکنند تا پیشبینی کنند که سیاستهای خاص ممکن است چه عواقب اجتماعیای داشته باشد. مثل اینکه آیا ممکن است فلان سیاست خاص آمار بیکاری را پایین بیاورد یا یک سیاست جدید باعث کاهش جرم و جنایت شود؟ آنها بر این باورند که اگر بتوانند عوامل مختلف موثر بر مسیر زندگی افراد را درک کنند، میتوانند با مداخله در آن زندگی آنها را بهبود بخشند.
آنها در طول سالهای اخیر به طور فزایندهای روی استفاده از یادگیری ماشینی (machine learning) متمرکز شدهاند که با دریافت و تحلیل مقادیر بسیار زیادی دیتا، قرار است پیشبینیهای دقیقتری تولید کند. چنین مدلهای پیشبینی همین حالا هم استفاده میشود، مثلا به کمک یادگیری ماشینی مقامات پیشبینی میکنند که آیا متهم ممکن است برای جرم دوم هم بازداشت شود، و آیا مثلا یک کودک در معرض بیتوجهی یا بدرفتاری در خانه قرار دارد یا نه. فرض بر این است اگر به یک الگوریتم پیچیده به حد کافی اطلاعات بدهیم میتواند بهتر از یک تحلیلگر علوم اجتماعی یا متخصص آمار دست به پیشبینی بزند.
حالا با انتشار تحقیقی جدید در تازهترین شماره هفتهنامه مقالات آکادمی ملی علوم ایالات متحده آمریکا (PNAS) این فرضیه به چالش کشیده شده است. سه جامعهشناس دانشگاه پرینستون از صدها محقق خواستهاند با استفاده از مقادیر فراوانی دیتا درباره ۴ هزار خانواده آمریکایی، دست به پیشبینی آینده بچهها، والدین و خانوادهها بزنند. نکته جالب اینجا بود که این اطلاعات درباره خانوادههایی بود که در سال ۲۰۰۰ فرزند به دنیا آوردهاند و از آن سال تحت نظارت آمارگیران بودهاند. وضعیت هر خانواده پنج بار مورد بررسی آمارگیران قرار گرفته بود: در ۱، ۳، ۵، ۹ و ۱۵ سالگی فرزند. پس میشد درست و غلط پیشبینیها را با توجه به وضع واقعی خانواده در ۱۵ سالگی فرزندش تعیین کرد.
به هر تیم تحقیق به طور تصادفی ۱۳ هزار نقطه اطلاعاتی درباره این ۴ هزار خانواده داده شد تا سیستم هوش مصنوعی خود را به کمک آنها مورد آموزش قرار دهد. از تیمهای تحقیق خواسته شد به کمک این دیتا ۶ نکته را در مورد این خانوادهها پیشبینی کنند: مثل میانگین نمرات کودک در مدرسه، میزان پشتکار دانشآموز و درجه فقر و ثروت در خانواده.
در طول پنج ماه صدها محقق در حوزههای علوم کامپیوتر، آمار و جامعهشناسی روی این آمار کار کردند و بالاخره دست به پیشبینی زدند. نتیجه اینکه هیچکدام از این گروهها نتوانستند در هیچکدام از آن ۶ حوزه پیشبینی با دقت بالا ارائه کنند.
آلیس شیانگ، رئیس بخش بیطرفی و مسئولیتپذیری موسسه غیرانتفاعی «شراکت با هوش مصنوعی»، در واکنش به یافتههای جدید گفت: «این تحقیق نشان میدهد که فعلا ابزارهای یادگیری ماشینی جادو نمیکنند.»
متیو سالگانیک یکی از ۳ استاد دانشگاه پرینستون که این تحقیق را انجام داده در گفتوگو با مجله بررسی تکنولوژی امآیتی میگوید: «مسئله به اشتباه فلان محقق یا ضعف الگوریتم هوش مصنوعیاش مربوط نمیشود. اینجا پیچیدهترین تکنیکهای یادگیری ماشینی به اندازه متدهای ساده ناکارآمد بودند.»
برای متخصصانی که روی استفاده از هوش مصنوعی در جامعه تحقیق میکنند این نتایج غافلگیرکننده نبوده است. به گفته شیانگ مثلا دقیقترین الگوریتمهای برآورد ریسک در سیستم عدالت کیفری هنوز نمیتوانند به درستی پیشبینی کنند که آیا شخصی که یک بار در سیستم محکوم شده آیا دوباره مرتکب جرم خواهد شد یا نه.
البته نتایج بررسی اخیر لزوما به این معنا نیست که الگوریتمهای پیشبینیکننده بر پایه یادگیری ماشینی هیچ وقت به ابزاری مفید برای سیاستگذاران بدل نخواهند شد. گروهی از محققان مثلا بر این باورند که اطلاعاتی که با هدف تحقیقات جامعهشناسی جمعآوری میشوند اصولا با اطلاعاتی برای سیاستگذاری تحلیل میشود تفاوت دارند. گروهی هم بر این باورند که تحقیق اخیر دانشگاه پرینستون تلاش کرده چیزهایی را پیشبینی کند که اصولا هوش مصنوعی در پیشبینیشان خوب عمل نمیکند. رشیده ریچاردسون از مرکز تحقیقاتی AI Now هم میگوید که تحقیق اخیر مثلا خواسته «پشتکار» یک کودک در مدرسه را پیشبینی کند اما این قضاوتی به شدت ذهنی است و جواب درست و غلطی ندارد. «اینکه محققان نتوانستهاند به کمک این همه دیتا دست به پیشبینی درستی بزنند یک دلیلش این است که مجبور بودهاند نکات غیرقابل پیشبینیای را پیشبینی کنند.»
سالگانیک البته به محدودیتهای تحقیق اخیرشان آگاه است اما تاکید میکند که این پژوهش ثابت میکند که چرا سیاستگذاران باید در ارزیابی ابزارهای پیشبینی ماشینی با دقت بیشتری عمل کنند. «داشتن مقادیر فراوانی دیتا و همچنین ابزارهای پیچیده یادگیری ماشینی تضمین نمیکند که پیشبینی دقیقی داشته باشید. نکته اینجاست که سیاستگذارانی که در حوزه یادگیری ماشینی تجربه زیادی ندارند ممکن است انتظارات غیرواقعگرایانه بیشتری درباره این روشها داشته باشند.»