توهم هوش مصنوعی
![توهم هوش مصنوعی](http://bilmak.ir/wp-content/uploads/2024/01/توهم.jpg)
توهم هوش مصنوعی -توهم هوش مصنوعی جایی است که یک مدل زبان بزرگ (LLM) مانند GPT4 OpenAI یا Google PalM اطلاعات یا حقایقی نادرست را ایجاد می کند که بر اساس داده ها یا رویدادهای واقعی نیستند.آگهی ها
توهم هوش مصنوعی چیست؟
Avivah Litan، معاون تحلیلگر در Gartner، توضیح می دهد:
توهمات خروجی های کاملاً ساخته شده از مدل های زبان بزرگ هستند.
اگرچه آنها حقایق کاملاً ساخته شده را نشان می دهند، خروجی LLM آنها را با اطمینان و اقتدار نشان می دهد.
چت ربات های مولد مبتنی بر هوش مصنوعی می توانند هر گونه اطلاعات واقعی، از نام ها، تاریخ ها، و رویدادهای تاریخی گرفته تا نقل قول ها یا حتی کدها را بسازند.
توهمات به اندازهای رایج هستند که OpenAI در واقع هشداری برای کاربران درون ChatGPT صادر میکند که میگوید «ChatGPT ممکن است اطلاعات نادرستی درباره افراد، مکانها یا حقایق تولید کند».
چالشی که برای کاربران وجود دارد این است که مرتب کنند چه اطلاعاتی درست است و چه اطلاعاتی درست نیست.
![نمونه هایی از توهمات هوش مصنوعی](https://bilmak.ir/wp-content/uploads/2024/01/AI-hallucination.png)
نمونه هایی از توهمات هوش مصنوعی
در حالی که نمونه های زیادی از توهمات هوش مصنوعی وجود دارد که همیشه در حال ظهور هستند، یکی از قابل توجه ترین نمونه ها به عنوان بخشی از یک ویدیوی تبلیغاتی که توسط گوگل در فوریه 2023 منتشر شد رخ داد.
سپس، ربات چت هوش مصنوعی Bard به اشتباه ادعا کرد که تلسکوپ فضایی جیمز وب اولین تلسکوپ فضایی را گرفته است. تصویر سیاره ای خارج از منظومه شمسی
به همین ترتیب، در دموی راه اندازی Microsoft Bing AI در فوریه 2023، Bing بیانیه درآمد Gap را تجزیه و تحلیل کرد و خلاصه ای نادرست از حقایق و ارقام ارائه کرد.
این مثالها نشان میدهند که کاربران نمیتوانند همیشه به رباتهای چت اعتماد کنند تا پاسخهای واقعی را تولید کنند. با این حال، خطرات ناشی از توهمات هوش مصنوعی فراتر از انتشار اطلاعات نادرست است.
در واقع، طبق گفته تیم تحقیقاتی Vulcan Cyber، ChatGPT میتواند آدرسهای اینترنتی ، مراجع و کتابخانههای کدی را تولید کند که وجود ندارند یا حتی بستههای نرمافزاری بالقوه مخرب را به کاربران ناشناس توصیه کند.
در نتیجه، سازمانها و کاربرانی که با LLM و هوش مصنوعی مولد آزمایش میکنند ، باید دقت لازم را هنگام کار با این راهحلها انجام دهند و خروجی را از نظر دقت بررسی کنند.
چه چیزی باعث توهم هوش مصنوعی می شود؟
برخی از عوامل کلیدی پشت توهمات هوش مصنوعی عبارتند از:
- داده های آموزشی قدیمی یا با کیفیت پایین؛
- داده های طبقه بندی یا برچسب گذاری نادرست؛
- خطاهای واقعی، ناسازگاری، یا سوگیری در داده های آموزشی؛
- برنامه نویسی ناکافی برای تفسیر صحیح اطلاعات؛
- فقدان زمینه ارائه شده توسط کاربر؛
- تقلا برای استنباط مقصود عبارات محاوره ای، عبارات عامیانه یا طعنه.
نوشتن دستورات به زبان انگلیسی ساده و با جزئیات تا حد امکان بسیار مهم است. به این ترتیب، در نهایت این وظیفه فروشنده است که برنامهریزی و نردههای محافظ کافی را برای کاهش پتانسیل توهم اجرا کند.
خطرات توهم هوش مصنوعی چیست؟
![](http://bilmak.ir/wp-content/uploads/2024/01/hjwjw-1024x555-copy.jpg)
یکی از خطرات اصلی توهم هوش مصنوعی این است که کاربر در مورد دقت خروجی سیستم هوش مصنوعی بیش از حد پاسخ دهد.
در حالی که برخی از افراد مانند ساتیا نادلا، مدیر عامل مایکروسافت، استدلال کردهاند که سیستمهای هوش مصنوعی مانند مایکروسافت کوپایلوت ممکن است «بهطور مفیدی اشتباه باشند»، این راهحلها میتوانند اطلاعات نادرست و محتوای نفرتانگیز را منتشر کنند، اگر کنترل نشود.
پرداختن به اطلاعات نادرست تولید شده توسط LLM چالش برانگیز است زیرا این راه حل ها می توانند محتوایی تولید کنند که در سرویس جزئیات، قانع کننده و قابل اعتماد به نظر می رسد اما در واقعیت نادرست است و در نتیجه کاربر به حقایق و اطلاعات نادرست باور می کند.
اگر کاربران محتوای تولید شده توسط هوش مصنوعی را به صورت واقعی دریافت کنند، احتمال انتشار اطلاعات نادرست و نادرست در کل اینترنت وجود دارد.
در نهایت، خطر تعهدات قانونی و انطباق نیز وجود دارد. به عنوان مثال، اگر سازمانی از یک سرویس مبتنی بر LLM برای برقراری ارتباط با مشتریان استفاده کند که رهنمودهایی را صادر میکند که به دارایی کاربر آسیب میزند یا محتوای توهینآمیز را دوباره منتشر میکند، ممکن است در معرض خطر پیگرد قانونی قرار گیرد.
چگونه می توان توهمات هوش مصنوعی را تشخیص داد؟
بهترین راه برای یک کاربر برای تشخیص اینکه آیا یک سیستم هوش مصنوعی دارای توهم است این است که به صورت دستی خروجی ارائه شده توسط راه حل را با یک منبع شخص ثالث بررسی کند.
بررسی حقایق، ارقام و استدلالها علیه سایتهای خبری، گزارشهای صنعتی، مطالعات و کتابها از طریق موتور جستجو میتواند به تأیید صحت یا عدم صحت بخشی از اطلاعات کمک کند.
اگرچه بررسی دستی گزینه خوبی برای کاربرانی است که میخواهند اطلاعات نادرست را شناسایی کنند ، اما در یک محیط سازمانی، تأیید هر بخش از اطلاعات ممکن است از نظر لجستیکی یا اقتصادی مناسب نباشد.
به همین دلیل، ایده خوبی است که از ابزارهای خودکار برای بررسی مجدد راه حل های هوش مصنوعی برای توهم استفاده کنید. به عنوان مثال، ابزار منبع باز انویدیا NeMo Guardrails می تواند توهمات را با بررسی متقابل خروجی یک LLM در مقابل دیگری شناسایی کند.
به طور مشابه، Got It AI راه حلی به نام TruthChecker ارائه می دهد که از هوش مصنوعی برای تشخیص توهم در محتوای تولید شده GPT-3.5+ استفاده می کند.
البته، سازمانهایی که از ابزارهای خودکار مانند Nemo Guardrails و Got It AI برای بررسی واقعیتهای سیستمهای هوش مصنوعی استفاده میکنند، باید دقت لازم را در تأیید میزان مؤثر بودن این راهحلها در شناسایی اطلاعات نادرست انجام دهند و برای تعیین اینکه آیا اقدامات دیگری وجود دارد یا خیر، ارزیابی ریسک انجام دهند. که باید برای از بین بردن مسئولیت احتمالی اتخاذ شود.
نتیجه
هوش مصنوعی و LLM ممکن است برخی از قابلیتهای هیجانانگیز را برای شرکتها باز کنند، اما برای کاربران مهم است که به خطرات و محدودیتهای این فناوریها توجه داشته باشند تا بهترین نتایج را به دست آورند.
در نهایت، راهحلهای هوش مصنوعی زمانی بیشترین ارزش را دارند که برای تقویت هوش انسان به جای تلاش برای جایگزینی آن استفاده میشوند.
تا زمانی که کاربران و شرکت ها تشخیص دهند که LLM ها پتانسیل ساخت اطلاعات و تأیید داده های خروجی را در جای دیگر دارند، خطرات انتشار یا جذب اطلاعات نادرست به حداقل می رسد.
![](http://bilmak.ir/wp-content/uploads/2024/01/%DB%8C%D9%88%D8%AA%DB%8C%D9%88%D8%A8-copy-3.jpg)