وبلاگ

من دو دوره تحصیلات تکمیلی را در جورج تاون تدریس می کنم و به همین دلیل راهنمایی هایی در مورد نحوه استفاده از ابزارهایی مانند Chat GPT و Bard توسط این برنامه ارائه شده است. انتظار داشتم دانش‌آموزانی را ببینم که از هوش مصنوعی و LLM استفاده می‌کنند، بدون اینکه محتوای تولید شده را به درستی تأیید کنند یا به منابع محتوا ارجاع دهند.

در یک مورد، دانش آموزان درخواست های عجیب و غریب مشابهی را ارائه کردند که ممکن است به طور جزئی یا کامل از AI LLM شروع شده باشد. با این حال، در این مورد خاص، آنها به روشی مشابه با استفاده از یک موتور جستجوی اینترنتی، به جستجوی مواد پشتیبانی پرداختند. سپس ترم پاییز 2023 آغاز شد و الگوی جدیدی ظاهر شد.

روند محتوای تایید نشده

اندکی در ترم پاییز 2023، دانش آموزان شروع به استناد به وبلاگ ها و مطالب فروشنده کردند که منطقی بود اما تا حدی یا کاملاً نادرست بود. این مشکل ناشی از LLM هایی است که “توهماتدر برخی موارد، تولیدکنندگان محتوای ارائه‌دهنده، این مطالب نادرست را مستقیماً بدون تأیید یا تصحیح در محتوای منتشر شده خود وارد می‌کنند.

این یک مشکل غیرمعمول در طول ترم پاییز 2023 نبود. در چهار سال گذشته که سه ترم در سال تدریس می کردم، تنها با یک فعالیت مواجه شدم که در آن چندین دانش آموز اطلاعات نادرستی را در نتیجه جستجوی بالا کشف کردند. با این حال، در ترم پاییز 2023، حداقل در سه تکلیف جداگانه متوجه این مشکل شدم. در یک مورد، اطلاعات به قدری خوب در منبع قرار گرفته بود که مرا غافلگیر کرد. برای تایید باید افکار خودم را با دیگران تایید می کردم!

بیایید به چند مثال نگاه کنیم تا بهتر بفهمیم چه خبر است.

شناسایی نادرست کتابخانه ها/نرم افزارهای هوش مصنوعی به عنوان سیستم عامل

در یکی از نمونه‌ها، دیدم که دانش‌آموزان به توضیحاتی در مورد آنچه که می‌تواند به کتابخانه‌های هوش مصنوعی یا نرم‌افزارهایی مانند سیستم‌عامل‌ها مرتبط باشد اشاره می‌کنند. به عنوان مثال، در یک ماژول اخیر در مورد سیستم‌های عامل، دانش‌آموزان با اشتیاق «سیستم‌های عامل هوش مصنوعی (AI OS)» و حتی «سیستم‌عامل بلاک چین» را توصیف کردند. فقط یک مشکل وجود دارد: چیزی به نام سیستم عامل هوش مصنوعی یا سیستم عامل بلاک چین وجود ندارد.

این محتوا آنلاین شد زیرا هیچ کس قبل از ارسال آن به چندین مکان آنلاین به عنوان محتوای وبلاگ، آن را تصحیح نکرد. توصیف‌های غیردقیق، مانند مواردی که به کتابخانه‌های هوش مصنوعی یا کیت‌های توسعه نرم‌افزار به عنوان سیستم‌عامل اشاره می‌کنند، زمانی که دانش‌آموزان و حتی حرفه‌ای‌ها از منابع اینترنتی برای اطلاع از پیشرفت‌ها و فناوری‌های جدید استفاده می‌کنند، بر سردرگمی می‌افزاید.

در این مورد، دانش آموزان باید در مورد تکامل معماری سیستم عامل یاد می گرفتند. مطالب تایید شده در دسترس بود، اما برخی از دانشجویان به تحقیقات خود روی آوردند و در نهایت از منابعی با محتوای نادرست استفاده کردند. به اعتبار او، محتوا بسیار توصیفی و قانع کننده بود – البته نادرست.

مسئله در اینجا چیزی فراتر از معناشناسی یا تفاوت های ظریف است. این نوع محتوا درک هدف یک سیستم عامل را برای دانش آموزان در مقایسه با کتابخانه ها، کیت های توسعه نرم افزار و برنامه های کاربردی دشوارتر می کند – مفاهیمی که برای معماری سیستم و امنیت آن ضروری هستند.

پروتکل های احراز هویت جعلی

نمونه دیگری از نتایج تأیید نشده هوش مصنوعی شامل این است که چگونه برخی از محتوای آنلاین به طور نادرست احراز هویت را توصیف می کنند و اطلاعات نادرستی ایجاد می کنند که همچنان دانش آموزان را گیج می کند. به عنوان مثال، برخی از نتایج AI LLM پروتکل Lightweight Directory Access Protocol (LDAP) را به عنوان یک نوع احراز هویت توصیف می کنند. اگرچه از احراز هویت رمز عبور پشتیبانی می کند و گواهینامه های کلید عمومی را برای کمک به احراز هویت PKI ارائه می دهد، LDAP یک سرویس دایرکتوری است. این یک پروتکل احراز هویت نیست.

تأیید در آموزش و InfoSec

این مشکلی که در بالا مورد بحث قرار گرفتم احتمالاً در حوزه های بیشتری از معماری و طراحی امنیتی رخ می دهد. وقتی صحبت از اعتبارسنجی محتوا در هر زمینه ای می شود، دو موضوع به طور مداوم ظاهر می شود:

اعتبار نویسنده

• آیا نویسنده برای اثر، موضوع ذکر شده یا اثری تا حدودی مرتبط اعتبار دارد؟
• آیا شواهدی وجود دارد که کارشناسان دیگر محتوا را تأیید کرده باشند؟
• چه زمانی مطالب منتشر شد؟ آیا نویسندگان به‌روزرسانی یا اصلاحی اعمال کرده‌اند؟

اعتبار منبع

• آیا منابع از نتیجه گیری حمایت می کنند؟
• آیا منابعی که به نظر شما قابل اعتماد یا شناخته شده هستند، هستند؟
• در صورت وجود ارجاع به استانداردها، آیا مطالب ارائه شده توسط کمیته استاندارد از زبان و ادعا پشتیبانی می کند؟ آیا شرایط فنی مورد توافق کمیته استاندارد است؟

به عنوان یک راه رو به جلو، مرکز امنیت اینترنت (CIS) یک تگ به وبلاگ ها اضافه می کند تا سطح بررسی قبل از انتشار را به شما اطلاع دهد. برای وبلاگ های خودم، برای بررسی آنها به سراغ متخصصان معروف رفتم. (در یک مورد، به دلیل نادیده گرفتنی که نیاز به اصلاح داشت، تصمیم گرفتم از انتشار خودداری کنم).

در مورد معلمان همکار، شما می توانید و باید در مورد منابعی که در حوزه تحصیلی قابل اعتماد هستند راهنمایی کنید. این کاری است که من با دانش آموزانم پس از کشف مشکل انجام دادم. دانش‌آموزان باید تأیید کنند که منابع محتوای آنها را تأیید کرده‌اند و ایجادکننده محتوا اعتبار لازم برای تأیید محتوای منتشر شده آنها را دارد.

در ایجاد بهترین روش جدید

مشکلات مربوط به تأیید نتایج هوش مصنوعی به این زودی ها برطرف نمی شود. برای مربیان مهم است که اطمینان حاصل کنند که دانش آموزان دستورالعمل های مناسبی برای هدایت تحقیقات یادگیری خود دارند. آموزش باید شامل نشانگرهایی باشد که مشابه آنچه توسط CIS ارائه می شود. این ابزارها می توانند از طریق یک فرآیند اجماع طی کنند تا به عنوان بهترین روش جدید پذیرفته شوند که در نهایت می تواند برای به روز رسانی و به اشتراک گذاری محتوا به شیوه ای مناسب مفید باشد.