به گزارش سراج24؛ «هوش‌مصنوعی می‌تواند یک هکر خطرناک باشد»؛ این یکی از جدیدترین موضوعاتی است که در حوزه امنیت سایبری مطرح شده و یک زنگ خطر جدی را برای متخصصین این حوزه به صدا در آورده است. اصل ماجرا به ماهیت یادگیرنده مدل‌های زبانی بزرگ بر می‌گردد؛ همین مدل‌هایی که پایه ساختِ ربات‌های گفتگو مانند چت‌جی‌پی‌تی و جمنای است. به همان اندازه که این ابزارهای هوش‌مصنوعی را می‌توان آموزش داد تا حمله‌های سایبری و هک را شناسایی و با آن مقابله کنند، می‌شود آنها را از طریق آموزش و داده‌هایی که دریافت می‌کنند، به یک هکر حرفه‌ای و خطرناک تبدیل کرد؛ هکرهایی که الگوریتم‌های فعلی امنیت سایبری نتواند آنها را شناسایی یا دفع کند. بنابراین هوش‌مصنوعی در حوزه امنیت سایبری، یک تیغ دولبه است که در هر دو لبه، بسیار تیز و برنده عمل می‌کند.
این، خلاصه بخش اول مبحثی بود که در همایش امنیت سایبری Cash24 توسط وحید خدابخشی مدیر امنیت و ریسک شاپرک (شبکه الکترونیکی پرداخت کارت) ارائه شد. در بخش دوم این ارائه، به این سوال مهم پاسخ داده شده که در مقابل این تهدید بزرگ چه باید کرد و چه تدابیر فنی و حکمرانی باید در مرکز توجه متولیان قرار گیرد؟
آرام و زیرپوستی مانند سرطان
در حال حاضر با رشد انفجاری دیجیتال‌بانک، که خدمات بانکی را به‌صورت آنی ارائه می‌دهد، اتکای مردم به سیستم پرداخت بانکی افزایش یافته است. این یک ویژگی مثبت است که در عین‌حال می‌تواند از یک زاویه، مشکل‌ساز شود؛ همانطور که همه حتما تصدیق می‌کنند ما در شبکه بانکی قطعی سراسری نداشتیم و یکی از پایدارترین سرویس‌های کشور، حوزه بانکی و پرداخت است. این طبیعتا باعث می‌شود هرگونه اختلال کوچک هم لطمات بزرگی به تجربه کاربری مردم وارد کند.
ما در این شبکه، با مجموعه‌ای از تهدیدات نوظهور مواجه هستیم؛ مجموعه‌ای از حملات جدید شامل بدافزارها، فیشینگ‌ها و «سمی کردن مدل‌های هوش مصنوعی». حال در دفاع باید چه کنیم و در آینده نزدیک با چه‌چیزی مواجه هستیم؟
در کنفرانس «بلک‌هت آسیا 2023» یک مقاله مهم در این خصوص ارائه شد که بررسی می‌کند که چگونه می‌توان حملاتی که توسط هوش‌مصنوعی ایجاد می‌شود را شناسایی کرد. مهمترین محورهای این مقاله که با‌عنوان «Transforming Cybersecurity in Advanced AI Technology » ارائه شده است را در ادامه مورد بررسی قرار می‌دهیم.
تهدیداتی که توسط هوش‌مصنوعی ایجاد می‌شوند دارای چند ویژگی خاص هستند: بسیار ضعیف، آرام آرام و زیر پوستی است؛ یعنی نشانه هایی که از خود برجای می‌گذارد، برای انسان‌ها بسیار غیرقابل تشخیص است و قبل ازینکه عامل انسانی متوجه شود، شبکه را مثل سرطان آلوده می‌کند؛ زیرا یادگرفته که انسان در مقابل چه چیزی ضعیف است.
روت‌کیت‌های حرفه‌ای آینده
در اینجا یک مفهومی مطرح می‌شود تحت‌عنوان «روت‌کیت» (Rootkit) که به مجموعه‌ای از نرم‌افزارها یا ابزارهای مخربی گفته می‌شود که به‌منظور پنهان‌سازی فعالیت‌ها و دسترسی مخفیانه به سیستم‌های کامپیوتری طراحی شده‌اند. هدف اصلی روت‌کیت‌ها این است که حضور خود را در سیستم از دید کاربر و نرم‌افزارهای امنیتی مخفی نگه دارند تا هکر بتواند کنترل کاملی بر سیستم به دست آورد و بدون شناسایی به اطلاعات حساس دسترسی پیدا کند. به یک تعبیر عامیانه و ساده، نگهبانان بدافزارها و ابزارهای مخرب در لایه‌های بالاتر هستند. «سمی کردن مدل‌های هوش مصنوعی» روت کیت‌های آینده هستند.
این اتفاق به این صورت می‌افتد که ما ابتدائا با هوش‌مصنوعی، سیستم خود را به ابزارهای دفاعی مجهز می‌کنیم؛ مثلا برای اعتبارسنجی وام، تشخیص تقلب، قمار و خیلی فرایندهای دیگر. ابزارهای هوش مصنوعی برای انجام این موارد، به داده اولیه نیاز دارند؛ یعنی باید الگوریتم‌ها و مختصاتی را به آنها داده شود و در واقع آموزش داده شوند تا بر اساس آن بتوانند اگر در سیستم یک تقلب اتفاق افتاد، آن را تشخیص دهند. حالا اگر این داده‌های ورودی به هوش‌مصنوعی آلوده شوند، عملا خودِ ابزارها نه‌تنها کار خودشان در تشخیص کلاهبرداری و تقلب و قمار را انجام نمی‌دهند، بلکه عملا تبدیل به روت‌کیت‌هایی می‌شوند که مانع از تشخیص این موارد می‌شوند. به همین خاطر موضوعی که اکنون در حوزه امنیت سایبری، در دنیا بسیار مطرح است، همین بحث محافظت و مقاوم‌سازی مدل‌های هوش مصنوعی در مقابل سمی‌سازی مجموعه داده‌ها است.
تشخیص زودهنگام نشانه‌ها توسط خود هوش‌مصنوعی
برای مقابله با این تهدید بزرگ، در این مقاله مفهوم «آی‌دی‌اس» یا «سیستم تشخیص نفوذ» مورد بررسی قرار گرفته است؛ به‌عنوان یک یک ابزار دفاعی که هم در مقابل حملات مرسوم می‌تواند مورد استفاده قرار بگیرد و هم از آلوده شدن مدل‌های هوش مصنوعی جلوگیری کند یا در حداقل حالت ممکن آن را تشخیص دهد.
یک بخش دیگر به عنوان جذاب‌ترین بخش‌های حوزه امنیت سایبری، «هوش‌مصنوعی پیش‌بینی‌کننده» (Predictive AI) است. به این صورت که موقع حمله، هوش مصنوعی باید بتواند مجموعه از مجموعه ای از نشانه‌ها را زود هنگام تشخیص داد. مقاله‌ای که به صورت خاص راجع به این موضوع صحبت کرده گریزی زده به بحث تهدیدات مانای پیشرفته که طلیعه این داستان در دنیا «استاکس‌نت» بود و بخش عمده ای از این حملات سایبری در مقابل ایران انجام شده است.
هوش مصنوعی پیش‌بینی‌کننده به‌دنبال نشانه‌های بسیار کوچک در سامانه‌هاست که با چشم دیده نمی‌شود. حال این کار چگونه انجام می‌شود؟ اولا که هر رفتار عادی یک پروفایلی دارد و هر رفتار مخرب، قاعده خارج از آن پروفایل است. در حال حاضر این پروفایل‌ها خیلی بزرگ هستند و نمی‌توان انحراف‌های کوچیک را در آنها تشخیص داد. اما در این روش، پرفایل را در هوش مصنوعی خیلی کوچک می‌کنیم تا این نشانه‌های کوچک، قابل دیدن و ردیابی باشند.
شناسایی نفوذ انسانی با یک سازوکار هوشمند
مقاله بعدی به یک موضوع مهم دیگر در این حوزه پرداخته است: استفاده از هوش مصنوعی مولد برای شناسایی رفتارهای مخرب افراد داخل سازمان. شاید در کشور ما که نیروی انسانی یکی از چالش‌های مطرح است، با سهل انگاری‌ها و خطاهای سهوی و نفوذهایی مواجه هستیم که در خیلی از سازمان‌ها محتمل است. ممکن است افرادی که در سازمان کار می‌کنند، افراد مخرب باشند که بدون نشان دادن رفتارهای خاص از خود کارشان را انجام می‌دهند. یکی از کارهایی که در این مقاله توصیه شده استفاده از هوش‌مصنوعی مولد برای پروفایلینگ رفتار کاربران داخلی است تا اگر در رفتار حتی کمی از قواعد استاندارد، فاصله بگیرند زودهنگام آنها را مسدود کنیم. یکی از کشورهایی که با بحران جدی نیروهای امنیت سایبری و البته تهدیدات داخلی مواجه است ایران است.
پیشگیری پیش از گسترش حمله
موضوع بعدی اینکه ما به‌واسطه هوش مصنوعی، با انواعی از فیشینگ مواجه هستیم که شخصی‌سازی شده‌اند و بسیار واقعی و تقریبا غیرقابل تشخیص هستند؛ اما روش‌هایی وجود دارد که بتوان جلوی انفجار آن را گرفت. یعنی در اوایل حملات گسترده فیشینگ، جلوی حمله گسترده تر و قربانی شدن افراد بیشتر را بگیریم. تمرکز این مقاله روی این هست که به چه شکلی بتوانیم رفتار بعد از فیشینگ را بفهمیم. در واقع این حمله اتفاق افتاده و پیشروی کرده حالا به جایی رسیده که از تشخیص عبور کردیم و باید جلوی آن ایستادگی کنیم.
این مقاله نشان می‌دهد که چطور از نشانه‌های یک قربانی برای جلوگیری از قربانی شدن دیگران استفاده کنیم. فرض کنید که یک فرد در رفتار خاصی یک تعداد پرداخت در روز یا ماه دارد؛ اگر هوش مصنوعی، یک رفتار خارج از این مدل را تشخیص دهد، با یک برچسب جدید آن را مشخص می‌کند و شما می‌توانید اگر رفتار مشابهی را در کاربر دیگر مشاهده کردید، آی‌پی و آدرس آن دامنه را مسدود کنید.
خلاءهایی بزرگ در بحث قانونگذاری و تنظیمگری
بحث اتوماسیون بسیار روش جذابی است برای کمبود نیروی انسانی و افزایش دقت و سرعت از آن استفاده می‌کنیم اما هوش‌مصنوعی به سامانه‌های خارج از سازمان و مجموعه داده هایی وابسته است که که ممکن است سمی باشند و مدل‌های آموزش داده شده را فریب بدهند وابسته است. بحث بعدی ما انفجار یا افزایش بحران مدل‌های آموزش‌دیده آلوده است. ما در آینده نزدیک مجموعه زیادی از مدل‌های بومی خواهیم داشت که به سرعت توسعه پیدا می‌کنند. اما ما باید حتما تطبیقی بین مدل‌های مصنوعی در امنیت و تنظیمگری و قانون داشته باشیم. به خاطر ضعف عمده ای که در قانون گذاری در حوزه هوش مصنوعی داریم و در دنیا هم وجود دارد اگه سیستم هوش مصنوعی خطایی کرد چه کسی پاسخگو است؟ آیا طبق روش‌های سنتی بالاترین مقام آن سازمان است یا مدیر امنیت آن؟
در ایران مشخص نیست که مسئولیت انفجار هوش مصنوعی با چه کسی است یا چه کسی تضمین می‌کند که فقط در داخل کشور قواعد و مقرراتی که سازمان هایی مثل شاپرک بانک مرکزی تدوین می‌کنند رعایت می‌شود یا خیر. در اروپا کمتر از یک ماه است که مجموعه‌ای از قوانین ابتدایی در حوزه هوش‌مصنوعی مولد تدوین شده و در حال حاضر تمام مدل‌ها را مجبور کردند که آنها را رعایت کنند.
متخصصانی که در این حوزه کار می‌کنند باید به سیستم سنتی قضایی کشور کمک کنند تا بتواند قانون را اعمال کند. چون قانون وجود دارد ولی خاص هوش مصنوعی نیست. باید کم کم وارد مجلس شود تا تصویب شده و به یک طرح کلان تبدیل شود. من شنیده بودم که در ماه‌های اخیر سازمان هوش مصنوعی در حال انجام این کار است و جالب است که در یک سازمان که به بحث قانون گذاری دسترسی ندارد این اتفاق افتاده است. طبیعتا باید مجموعه شورای عالی فضای مجازی یا مجلس این کار را انجام دهد.
بحث بعدی اخلاق در هوش مصنوعی است. چیزی به نام اخلاق در هوش مصنوعی وجود ندارد. البته یک سری قوانین ابتدایی وجود دارد که چه چیزهایی را پاسخ دهد یا خیر. در بحث قانون گذاری تلاش هایی اتفاق افتاده اما از سمت بدنه علمی و فنی نبوده است. در واقع تلاش‌ها از حوزه‌هایی است که قانون‌های کلان تصویب می‌کنند و شاید دید دقیقی راجع به جزئیات این حوزه نداشته باشند. ما از همه دوستان میخواهیم در بحث‌های هوش مصنوعی و دفاعی به ما کمک کنند تا شاید بتوانیم قواعد و الزاماتی را تدوین کنیم. حداقل برای شبکه پرداخت کشور به عنوان اولین جایی که قرار است از این‌ها استفاده کند تا مدل‌ها بتوانند مقاوم باشند و قوانین اولیه را رعایت کنند.
چیزی که در حوزه هوش مصنوعی مولد پیش روی ما است و چشم اندازی که متصور هستیم، در کنار تلاش هایی که برای حوزه دفاعی می‌شود، همچنان افزایش تهدیدات است. در حال حاضر برای استفاده از این سامانه‌ها استفاده از مدل‌های آماده یا طراحی مدل‌های جدید ولع زیادی وجود دارد و بودجه‌های زیادی هم تدوین شده است. اما همه اینا هم خالی از مقررات ایران است. آن نگاه عمیق به حوزه راهبرد در حوزه هوش مصنوعی و امنیت مسأله‌ای است که کاملا مغفول مانده است.
نیاز حیاتی به سرمایه‌گذاری در حوزه امنیت هوش‌مصنوعی
تقریبا با صحبت هایی که در کنفرانس‌ها شده مشخص است که نیاز ما در آینده به حوزه هوش مصنوعی در حوزه دفاعی چیست و متأسفانه نه تنها راهبردی تا الان در دنیا هم در این حوزه تدوین نکرده‌اند بلکه همچنان ما در حوزه توسعه گیر کرده‌ایم. یعنی هوش مصنوعی در حال توسعه و بزرگ شدن است، تمام ابعاد زندگی ما را در بر می‌گیرد ولی هنوز در مقابل آن دفاع زیادی نمی‌توانیم بکنیم. ما حتی نمی‌دانیم که هوش مصنوعی تسلیحاتی می‌شود یا قرار هست به عنوان یک لبه تیز برای دفاع به کمک ما بیاید.
قرار است چین در ۱۰ سال آینده ۱۰۰۰میلیارد دلار یا ۱تریلیون دلار برای بحث مدل سازی تولید دیتا و جلوگیری کردن از نفوذ به مدل‌های یادگیری ماشین سرمایه گذاری کند. بحث سرمایه گذاری همانطور که در امنیت واجب است در هوش‌مصنوعی هم واجب است و متاسفانه به صورت هیجانی با آن برخورد می‌کنیم، حتما باید یک برنامه راهبردی حداقل ده ساله در این حوزه داشته باشیم من خاص حوزه امنیت سایبری هوش‌مصنوعی صحبت می‌کنم زیرا آینده از آن هوش‌مصنوعی است و اگر ما نتوانیم آن را تبدیل به ابزارهای دفاعی بکنیم حتما این ابزارها علیه ما استفاده خواهد شد.
