یکی از انتقادات اصلی به یادگیری عمیق این است که این فناوری یک " جعبه سیاه " است – هیچ کس نمی داند یا نمی تواند دقیقا توضیح دهد که عوامل یادگیری عمیق چگونه به تصمیمات خود می رسند.
حتی توسعه دهندگان هوش مصنوعی که این عوامل را ایجاد می کنند نمی توانند دقیقاً نحوه عملکرد آنها را توضیح دهند.
موضوع "جعبه سیاه" چالش خاصی را برای تنظیم کننده هایی که به دنبال مدیریت ارائه خدمات توسط عوامل یادگیری عمیق به مردم هستند، ایجاد می کند.
با اشکال قدیمی‌تر هوش مصنوعی – الگوریتم‌هایی که مبتنی بر درخت‌های تصمیم‌گیری یا قوانین تصمیم‌گیری طراحی‌شده توسط انسان‌ها بودند – تنظیم‌کننده‌ها می‌توانند منطق آن قوانین را بر اساس خرد متعارف ارزیابی کنند.
اساساً، این اشکال قدیمی‌تر هوش مصنوعی کمتر هوشمند بودند، زیرا عامل هوش مصنوعی عمدتاً مجموعه‌ای از قوانینی را اجرا می‌کرد که توسط توسعه‌دهنده انسانی به آن داده شده بود.پ
با یادگیری عمیق، تنظیم‌کننده‌ها نمی‌توانند منطق یا قواعد پشت الگوریتم‌ها را بررسی کنند، زیرا هیچکدام در واقع برای انسان قابل درک نیستند – مجموعه معینی از دانش یا قواعد استدلالی وجود ندارد که انسان بتواند آن را درک کنند.
اساساً، عوامل یادگیری عمیق از داده های از قبل موجود برای یافتن الگوها و پیش بینی نتایج آینده بر اساس آن الگوها استفاده می کنند. دقیقاً اینکه چگونه آنها به یک پیش‌بینی می‌رسند واقعاً مشخص نیست.
بنابراین، اگر تصمیمات مهم اجتماعی را به یک عامل هوشمند مصنوعی واگذار می کنیم، باید بدانیم که آیا می توانیم به فناوری اعتماد کنیم یا خیر؟
