راهنمای هوش مصنوعی بانک مرکزی کشور قطر

1- مقدمه

اصطلاح «هوش مصنوعی» طیف وسیعی از کاربردها را در بر می‌گیرد که بازتاب دامنه وسیع و متنوع این فناوری است و به این معنی است که یک سیستم به گونه‌ای طراحی شده است که بتواند با اجزاء مستقل کار کند. بر اساس داده‌ها و ورودی‌های ارائه‌شده توسط ماشین و انسان، یک سیستم هوش مصنوعی استنباط می‌کند که چگونه می‌توان به مجموعه‌ای از اهداف با استفاده از منطق و رویکردهای مبتنی بر دانش دست یافت. همچنین یک سیستم هوش مصنوعی ممکن است خروجی‌هایی مانند تولید محتوا، پیش‌بینی‌ها، توصیه‌ها یا تصمیمات را ایجاد کند.

هوش مصنوعی، فرصت هایی را برای بخش مالی فراهم نموده و امکان پیشرفت در برنامه‌های مختلف را فراهم می‌کند. با این حال، هوش مصنوعی خطرات و نگرانی‌هایی از جمله سوگیری، تبعیض، مسائل مربوط به حریم خصوصی و امنیتی، عدم شفافیت، پاسخگویی و معضلات اخلاقی را ایجاد می‌کند. این چالش ها باید توسط مؤسسات مالی قبل و یا در طول استفاده از هوش مصنوعی شناسایی و برطرف شود.

2- هدف

این دستورالعمل که توسط بانک مرکزی قطر تهیه و ارائه شده است، الزاماتی را برای استفاده از یک سیستم مبتنی بر هوش مصنوعی تعیین می‌کند. هدف از ارائه چنین دستورالعملی، اطمینان از امنیت، کارآمدی و استفاده بهینه از فناوری است. این سند، اصول استفاده از هوش مصنوعی، ارزیابی ریسک‌های مرتبط با هوش مصنوعی و توانایی طبقه‌بندی سیستم‌های مبتنی بر هوش مصنوعی را ارائه می‌کند.

3- دامنه

این دستورالعمل استفاده از هوش مصنوعی توسط یک نهاد یا سازمان که تحت نظارت بانک مرکزی قطر است را پوشش می‌دهد. این دستورالعمل برای نهادی که به تنهایی هوش مصنوعی را توسعه یا پیاده‌سازی می‌کند، سیستم مذکور را خریداری می‌کند و یا فرآیندها و عملکردهایی را که مستقیماً به هوش مصنوعی متکی هستند را برون‌سپاری می‌کنند، قابل اجرا است.

بخش 1: حاکمیت (Governance)

4- استراتژی

4-1- نهاد استفاده‌کننده از هوش مصنوعی باید استراتژی AI تعریف شده براساس نیازها و ریسک‌پذیری واحد تجاری خود را ایجاد کند. این استراتژی باید با سایر استراتژی‌ها، سیاست‌ها و فرآیندهای داخلی آن واحد تجاری سازگار باشد.

4-2- نهاد استفاده‌کننده باید بازنگری دوره‌ای در استراتژی هوش مصنوعی را در بازه زمانی متناسب با سایر استراتژی‌های خود انجام دهد. نهاد استفاده‌کننده باید اطمینان حاصل کند که استراتژی ایجاد شده به الزامات فناوری اطلاعات و ارتباطات، امنیت اطلاعات و مدیریت ریسک عملیاتی از جمله تداوم کسب‌وکار، بازیابی چالش‌ها و چارچوب انعطاف‌پذیری توجه دارد.

4-3- استراتژی هوش مصنوعی نهاد استفاده‌کننده باید یک برنامه اجرایی و نقشه‌راهی که اهداف آن نهاد را پوشش می‌دهد، در بر داشته باشد.

4-4- استراتژی مذکور باید محیط لازم فناوری اطلاعات و انتقال از محیط فعلی به محیط هدف و مدل عملیاتی جدید را که شامل هرگونه تغییر سازمانی یا مجموعه مهارت‌های لازم برای این تغییر است را در بر گرفته باشد.

4-5- نهاد استفاده‌کننده باید منابع کافی را برای پیاده‌سازی هر پروژه هوش مصنوعی و نیازهای تجاری آنرا داشته و اختصاص دهد.

5- حاکمیت شرکتی

5-

5-1- هیئت مدیره و مدیریت ارشد نهاد استفاده‌کننده در قبال نتایج و پیامدها و نیز تصمیمات سیستم هوش مصنوعی از جمله سیستم‌هایی که از طرف نهاد استفاده‌کننده تصمیم می‌گیرد، پاسخگو هستند.

5-2- مسئولیت های کلیدی هیئت مدیره شامل موارد زیر است اما به این موارد محدود نمی‌شود:

· تصویب سطح مواجهه با هوش مصنوعی که باید در چارچوب ریسک کلی تحمل شود.

· تصمیم‌گیری در مورد اینکه آیا ساختارهای حاکمیت موجود نهاد استفاده‌کننده برای هدف مناسب هستند یا خیر.

· تعیین شفاف پاسخگویی و مسئولیت.

· اطمینان از منابع انسانی کافی برای همه عملکردهای هوش مصنوعی.

5-3- مسئولیت‌های کلیدی مدیریت ارشد شامل موارد زیر است اما محدود به این موارد نیست:

· باید یک یا چند عضو با دانش و تخصص مدیریت ریسک‌های فناوری و به طور خاص در زمینه هوش مصنوعی در مجموعه داشته باشد.

· باید مسئول ارزیابی، درک و نظارت بر نحوه استفاده از هوش مصنوعی توسط نهاد استفاده‌کننده باشد.

· باید اطمینان حاصل شود که مسئولیت و نظارت بر مراحل و فعالیت‌های مختلف به پرسنل و/یا بخش‌های مناسب اختصاص داده شده است.

· باید اطلاعاتی را به هیئت مدیره ارائه دهد که واضح، سازگار، به موقع، هدفمند و حاوی سطح مناسبی از جزئیات فنی باشد که به هیئت مدیره اجازه می‌دهد تا نظارت درستی داشته و چالش‌ها را مدیریت کنند.

5-4- نهاد استفاده‌کننده باید یا وظیفه‌ای ایجاد کند که بر AI نظارت داشته باشد یا مسئولیت خود را به یک بخش موجود درون یک نهاد، تفویض کند.

5-5- مسئول نظارت بر AI باید از کمیته‌های مناسب برای ارزیابی موارد استفاده از هوش مصنوعی را ایجاد کند.

5-6- نهاد استفاده‌کننده باید ریسک‌های مرتبط با استفاده از AI را در ساختار مدیریت ریسک شرکت ایجاد و مدیریت کند.

5-7- نهاد استفاده‌کننده باید اطمینان حاصل کند که سیستم‌های هوش مصنوعی آنها، رفتار منصفانه را ترویج می‌کند. نتایج باید با استانداردهای اخلاقی، ارزش‌ها و کدهای رفتاری نهاد استفاده‌کننده همسو باشد.

5-8- نهاد استفاده‌کننده ممکن است یک نهاد ناظر اخلاقی را در ساختار شرکتی خود منصوب و ایجاد کند.

5-9- نهاد استفاده‌کننده ممکن است کنترل‌های نظارتی را برای اندازه‌گیری عادلانه بودن مدل و خط‌مشی‌های نهاد استفاده‌کننده توسعه دهد.

5-10- نهاد استفاده‌کننده ممکن است معنای منصفانه بودن یک مدل AI را بر اساس حوزه سیستم یا موارد استفاده، تعریف کند.

5-11- نهاد استفاده‌کننده ممکن است تأثیر مدل‌های AI را بر افراد یا گروه‌هایی از افراد، بررسی و ارزیابی کند تا اطمینان حاصل کند که چنین افراد یا گروه‌هایی به‌طور سیستماتیک در محرومیت از خدمات قرار نمی‌گیرند، مگر اینکه تصمیم‌های پیشنهاد شده توسط مدل‌ها، دارای توجیه مستند و قابل اتکا باشد.

5-12- نهاد استفاده‌کننده باید اقدامات احتیاطی را برای به حداقل رساندن سوگیری غیرعمدی یا اعلام نشده انجام دهد.

6- سیاست‌های حاکمیت هوش مصنوعی

6-

6-1- نهاد استفاده‌کننده باید اطمینان حاصل کند که بخش‌های مرتبط با حاکمیت هوش مصنوعی کاملاً از نقش‌ها و مسئولیت‌های خود آگاه هستند، به درستی آموزش دیده‌اند و منابع و راهنمایی‌های مورد نیاز برای انجام وظایف خود را دارند.

6-2- یک واحد تجاری باید نقش‌ها و مسئولیت‌های کلیدی مرتبط با مدیریت پورتفولیوی هوش مصنوعیپ را به منظور اطمینان از موارد زیر اختصاص دهد:

· مدیریت ریسک‌های مرتبط با AI از طریق ممیزی‌های منظم که انطباق با مقررات، حاکمیت، تعاملات با مشتری، فرآیند مدیریت ریسک، سیستم‌ها و کنترل ارزیابی را پوشش می‌دهد.

· نگهداری، نظارت، مستندسازی و بررسی مدل‌های هوش مصنوعی که مستقر شده‌اند.

· تخصیص واضح و دقیق نقش‌ها و مسئولیت‌ها بین صاحبان مدل، توسعه‌دهندگان و تأیید‌کنندگان.

· حصول اطمینان از اینکه کارکنان مربوطه که با سیستم هوش مصنوعی کار می‌کنند، برای تفسیر خروجی و تصمیمات مدل‌های هوش مصنوعی و شناسایی و مدیریت سوگیری در داده‌ها هنگام کار و تعامل مستقیم با مدل‌های هوش مصنوعی، به درستی آموزش دیده‌اند.

· اطمینان حاصل کنند که همه کارکنانی که با سیستم هوش مصنوعی سروکار دارند از مزایا، خطرات و محدودیت‌های استفاده از AI آگاه بوده و نسبت به آنها حساس هستند.

7- مدیریت ریسک

7-

7-1- نهاد استفاده‌کننده باید ریسک‌های مرتبط با استقرار AI را در سازمان ارزیابی کند.

7-2- نهاد استفاده‌کننده باید استفاده از سیستم AI را در فرآیندهای حیاتی سازمانی ارزیابی کند.

7-3- نهاد استفاده‌کننده باید سطوح ریسک AI را با انجام ارزیابی‌های ریسک و میزان بحرانی بودن فرآیند و عملکردهایی که سیستم AI بخشی از آنها بوده یا به آنها متصل است، تعیین کند.

7-4- نهاد استفاده‌کننده باید فرآیندها را به گونه‌ای مدیریت کند تا ارزیابی ریسک AI با ارزیابی ریسک کلی فرآیند و عملکردها، مطابقت داشته باشد.

7-5- نهاد استفاده‌کننده باید امتیاز ریسک AI را اطلاع دهد:

· سیستم AI که اجازه نظارت مستقیم انسانی را نمی‌دهد احتمالاً به عنوان یک چالش با ریسک بالاتر شناسایی می‌شود و در عوض، سیستم هوش مصنوعی که نتایج را ارائه داد و تصمیم‌گیری با نیروی انسانی است، ریسک کمتری را دارد.

· نهاد استفاده‌کننده‌ای که از سیستم AI توسعه یافته توسط شخص ثالث استفاده می‌کند، باید میزان دسترسی به اطلاعات و داده‌ها را به عنوان متغیرهای مهم ارزیابی ریسک در نظر بگیرد.

7-6- نهاد استفاده‌کننده با استفاده از ارزیابی ریسک و رتبه‌بندی آنها، تعیین می‌کند که آیا یک سیستم AI خاص دارای ریسک بالا هست یا خیر.

7-7- علی‌رغم آنچه در بند (6-7) گفته شد، نهاد استفاده‌کننده باید یک سیستم AI را به‌عنوان یک سیستم پرخطر طبقه‌بندی کند به خصوص در زمانی که آسیب احتمالی برای اشخاص حقیقی در استفاده از سیستم وجود داشته باشد. در زیر برخی از این موارد ذکر شده است:

· تعاملات و میزان دسترسی مشتریان به ارائه خدمات مالی.

· تصمیمات درون سازمانی که کارکنان را به شیوه‌ای مادی تحت تأثیر قرار می‌دهد.

· پردازش اطلاعات شخصی حساس.

7-8- نهاد استفاده‌کننده، اگر ارائه‌دهنده خدمتی باشد، باید سیستم مدیریت ریسک را داشته باشد یا توسعه دهد که به طور خاص برای مدیریت ریسک مرتبط با AI طراحی شده است.

8- ثبت‌نام

8-

8-1- نهاد استفاده‌کننده باید یک ثبت به‌روز شده از اطلاعات مربوط به همه سیستم‌های هوش مصنوعی خود را ایجاد و نگهداری کند.

8-2- نهاد استفاده‌کننده باید معیارهایی را که برای تعیین اینکه آیا قرارداد یک سیستم هوش مصنوعی خاص پرخطر است یا خیر، برای بانک مرکزی افشا کند.

8-3- نهاد استفاده‌کننده باید ارزیابی ریسک و تأثیرات سطح بالای آنرا را به بانک مرکزی اطلاع دهد.

8-4- سیستم‌های پرخطر باید مشخص شوند.

8-5- ارائه‌دهنده سیستم هوش مصنوعی باید مشخص شود.

8-6- نهاد استفاده‌کننده موظف است ثبت کامل اطلاعات را به صورت سالانه انجام داده و در صورت درخواست بانک مرکزی به وی ارائه دهد.

8-7- اطلاعات ثبتی برای هر سیستم باید شامل موارد زیر باشد:

· طبقه‌بندی پرخطر یا غیر پرخطر.

· نقش مؤسسه، یعنی کاربر سیستم است یا ارائه‌دهنده سیستم.

· دسته اختصاص داده شده توسط مؤسسه که منعکس‌کننده ماهیت یا استفاده عملکردی از سیستم AI است.

· پروتکل نظارت انسانی استفاده شده است.

· علاوه بر این، اگر سیستم AI خریداری یا برون‌سپاری شده باشد:

o نام ارائه‌دهنده و یا برون‌سپار

o ارزیابی تأمین‌کننده شخص ثالث

o کشور ثبت نام، شماره ثبت شرکت محلی و LEI (در صورت لزوم)

o آدرس ثبت شده و اطلاعات تماس مربوطه

o نام شرکت مادر (در صورت لزوم)

o قانون حاکم بر موافقت‌نامه صدور مجوز یا خرید

o تاریخ ایجاد سیستم و تمام ارتقاءهای بعدی

o تاریخ شروع قرارداد (حسب مورد)

o تاریخ بعدی تمدید قرارداد

o برای هر سیستم پرخطر:

§ جایگزینی هوش مصنوعی، فرآیند انجام کار را آسان، دشوار یا غیرممکن ارزیابی کنید.

§ ارائه‌دهنده خدمات جایگزین را شناسایی کنید (در صورت لزوم).

8-8- نهاد استفاده‌کننده باید شرح مفصلی از تمام سیستم‌های پرخطر از جمله تاریخچه، داده‌های مورد استفاده، آزمایش‌ها و چرخه حیات (توسعه) داشته باشد.

8-9- تاریخ آخرین ارزیابی ریسک یا ممیزی همه سیستم‌های با ریسک بالا همراه با خلاصه‌ای از نتایج اصلی و تاریخ ارزیابی/ممیزی ریسک برنامه‌ریزی‌شده بعدی ثبت شده باشد.

9- تأیید هوش مصنوعی

9-

9-1- نهاد یا مؤسسه باید تأیید رسمی بانک مرکزی را قبل از راه‌اندازی یک سیستم AI جدید به‌عنوان یک ارائه‌دهنده و یا هرگونه تغییر اساسی در سیستم موجود دریافت کند.

9-2- نهاد یا مؤسسه باید تأیید رسمی بانک مرکزی را قبل از امضای هرگونه قرارداد خرید، مجوز یا برون‌سپاری با ریسک بالا در راستای دستورالعمل‌‌ها و توصیه‌های برون‌سپاری از بانک مرکزی دریافت کند.

9-3- قبل از اعطای تأیید، بانک مرکزی ممکن است یک سیستم هوش مصنوعی خاص را برای ارزیابی بیشتر در یک محیط سندباکس مورد آزمایش و بررسی قرار دهد.

9-4- نهاد یا مؤسسه باید اطمینان حاصل کند که به هر الزامی که در این دستورالعمل آمده است پایبند است.

10- برون‌سپاری

10-

10-1- نهاد یا مؤسسه‌ای که هر گونه فعالیتی را برای پشتیبانی از عملیات خود در هنگام توسعه، ارائه، استفاده و یا پیاده‌سازی یک سیستم هوش مصنوعی، برون‌سپاری می‌کند باید اطمینان حاصل کند که بررسی‌های منظم در مورد ارائه‌دهنده خدمات برون‌سپاری (هویت، وضعیت قانونی، فعالیت‌ها، وضعیت مالی و غیره) انجام می‌شود و اجازه قبلی را از بانک مرکزی دریافت می‌کند.

10-2- نهاد یا مؤسسه باید قبل از انتخاب شریک، بررسی دقیق در مورد توانایی‌ها و تخصص ارائه‌دهنده خدمات برون‌سپاری انجام دهد.

10-3- نهاد یا مؤسسه باید ارزیابی ریسک ارائه‌دهنده خدمات برون‌سپاری را انجام دهد، از جمله مکان داده‌ها در هنگام پردازش، ذخیره و انتقال.

10-4- نهاد یا مؤسسه باید به طور دوره ای عملکرد ارائه‌دهندگان خدمات برون‌سپاری را بررسی کند.

10-5- نهاد یا مؤسسه باید برای برون‌سپاری هرگونه عملکرد در رابطه با استفاده از AI و مستندسازی آن، از هیئت مدیره خود تأییدیه بگیرد.

10-6- نهاد یا مؤسسه باید مکانیسم‌های مناسبی را برای اطمینان از محرمانه بودن و امنیت اطلاعاتی که ارائه‌دهنده خدمات برون‌سپاری ممکن است به آنها دسترسی داشته باشد، ایجاد کند.

10-7- نهاد یا مؤسسه باید مکانیسم‌های گزارش‌دهی و نظارتی مناسبی را برای اطمینان از حفظ یکپارچگی و کیفیت کار انجام شده توسط ارائه‌دهنده خدمات برون‌سپاری ایجاد کند.

10-8- حسابرسان خارجی و داخلی نهاد یا مؤسسه باید بتوانند سوابق حسابداری و کنترل‌های داخلی ارائه‌دهنده خدمات برون‌سپاری را بررسی کنند.

10-9- نهاد یا مؤسسه باید یک طرح اضطراری برای مواردی که توافق با ارائه‌دهنده خدمات برون‌سپاری به طور ناگهانی خاتمه می‌یابد، داشته باشد.

10-10- نهاد یا مؤسسه باید یک قرارداد خدمات با ارائه‌دهنده خدمات برون‌سپاری داشته باشد. قرارداد خدمات باید جامع بوده و حداقل شامل موارد زیر باشد:

· حق نظارت و اطلاع از انطباق ارائه‌دهنده خدمات برون‌سپاری با قوانین، مقررات، استانداردهای بین‌المللی (در هر جا که وجود داشته باشد) و نیاز به اصلاح به موقع در صورت بروز مشکلات

· بند اخلاق و رفتار حرفه‌ای در انجام وظایف

· نقش‌ها و مسئولیت‌های ارائه‌دهنده خدمات برون‌سپاری به وضوح تعریف شده است

· رویه‌ها و کنترل‌های محرمانه و امنیتی قوی

· رویه‌های صحیح مدیریت تداوم کسب‌وکار

· نهاد یا مرسسه حق دارد خدمات ارائه‌دهنده خدمات برون‌سپاری را در صورت عدم رعایت آن خاتمه دهد

· گنجاندن بندهای خروج که تضمین می‌کند هر گونه داده پس از خاتمه برون‌سپاری از بین می‌رود

· حق بانک مرکزی برای حسابرسی حساب‌های ارائه‌دهنده خدمات برون‌سپاری

10-11- نهاد یا مؤسسه به عنوان مسئول اصلی کلیه اقدامات ارائه‌دهندگان خدمات برون‌سپاری خود خواهد بود.

بخش 2: نظارت انسان بر هوش مصنوعی در حال استفاده

11- نظارت انسانی هوش مصنوعی

11-

11-1- هر سیستم AI باید دارای پروتکل نظارت انسانی باشد.

11-2- سیستم‌های پرخطر AI باید به گونه‌ای طراحی و توسعه داده شوند، از جمله با ابزارهای واسط انسان و ماشین مناسب، که در طول دوره‌ای که سیستم AI در حال استفاده است، بتوانند به طور مؤثر توسط اشخاص حقیقی نظارت شوند.

11-3- استفاده‌کننده از سیستم باید نظارت انسانی را به سرپرستی واگذار کند که صلاحیت، آموزش و اختیار لازم را برای اجرا یا نظارت بر سیستم AI مربوطه دارد.

11-4- نهاد یا مؤسسه باید اطمینان حاصل کند که به ناظر ابزارها و اختیارات مناسب و متناسب داده شده است، از جمله:

· ظرفیت‌ها و محدودیت‌های سیستم هوش مصنوعی با ریسک بالا را درک کرده و قادر به نظارت بر عملکرد آن هستند.

· با در نظر گرفتن ابزارها و رو‌ های تفسیری موجود، خروجی سیستم هوش مصنوعی با ریسک بالا را به درستی تفسیر کند.

· برای تصمیم‌گیری، در هر شرایطی، از سیستم پرخطر هوش مصنوعی استفاده نکنید و خروجی سیستم هوش مصنوعی با خطر بالا را نادیده بگیرید.

· صلاحیت و ابزاری برای مداخله در عملکرد سیستم هوش مصنوعی پرخطر از طریق دکمه «توقف عملیات» یا یک روش مشابه را داشته باشد.

11-5- هوش مصنوعی کاملاً خودمختار (غیر ریسک)

· جایی که یک نهاد یا مؤسسه از سیستم AI استفاده می‌کند که هیچ نظارت انسانی بر اجرای تصمیم‌ها ندارد و AI کنترل کامل فعالیت را دارد، واحد باید اطلاعات بسیار دقیقی را برای پشتیبانی از استفاده از چنین سیستمی برای تأیید بانک مرکزی ارائه دهد.

11-6- هوش مصنوعی کاملاً خودمختار (خطر بالا)

· نهادی که قصد ارائه یا استفاده از یک سیستم هوش مصنوعی پرخطر را دارد که هیچ نظارت انسانی بر اجرای تصمیمات ندارد، باید قبل از راه‌اندازی، تأییدیه بانک مرکزی را دریافت کند و انتظار می‌رود که به محض اینکه چنین سیستمی به طور فعال مورد بررسی یا توسعه قرار گرفت، بانک مرکزی را مطلع کند.

· سیستم AI باید دارای باندهای محافظ یا محدودیت‌های خاصی باشد که AI نتواند آنها را نادیده بگیرد.

· نهاد و مؤسسه باید باندهای محافظ و محدودیت‌ها را در یک برنامه زمان‌بندی یا در پاسخ به اتفاقات خارجی، افزایش دهند.

· نهاد یا مؤسسه باید محدودیت‌های داخلی تعیین کرده و به سطوح هشدار یا روال‌های توقف خودکار لینک دهند.

· در صورتی که خروجی‌های رویداد از سیستم یا داده‌های اطراف سیستم ناهنجار به نظر می‌رسند، سرپرست یا ناظران باید ظرفیت بسته شدن سیستم را داشته باشند.

11-7- نظارت انسانی

· نهاد یا مؤسسه‌ای که قصد دارد یک سیستم هوش مصنوعی را فراهم کند یا از آن استفاده کند که به نظارت انسانی با توانایی در دست گرفتن کنترل نیاز دارد، باید اطمینان حاصل کند که ابزارهای واسط انسان و ماشین مناسبی وجود دارد که به یک سرپرست اجازه می‌دهد کنترل را در دست بگیرد.

· نظارت انسانی باید اطلاعاتی را ارائه دهد که یک سرپرست بتواند در یک بازه زمانی قابل مدیریت برای تنظیم پارامترها در طول عملیات الگوریتم، استفاده کند.

· نهاد یا مؤسسه ممکن است طراحی و توسعه سیستم هوش مصنوعی را به گونه‌ای تضمین کند که به سرپرست اجازه می‌دهد بر عملکرد الگوریتم نظارت داشته باشد و اجازه تصمیم‌گیری را به موقع بدهد.

· نهاد یا مؤسسه باید اطمینان حاصل کند که اقدامات نظارتی انسانی مناسب باید قبل از استفاده وجود داشته باشد.

· نهاد یا مؤسسه باید اطمینان حاصل کند که یک سیستم هوش مصنوعی تابع محدودیت‌های عملیاتی داخلی است که نمی‌تواند توسط خود سیستم نادیده گرفته شود.

· نهاد یا مؤسسه باید مطمئن شود که سیستم هوش مصنوعی به سرپرست پاسخگو است.

11-8- تصمیم‌گیری با کمک انسان

· نهاد یا مؤسسه باید اپراتورهایی داشته باشد که آموزش دیده باشند تا بتوانند خروجی تولید شده هوش مصنوعی که می تواند توسط اپراتورها برای تصمیم‌گیری استفاده شود را تفسیر کنند،

بخش 3: مدیریت چرخه حیات هوش مصنوعی

12- تأییدیه‌های آموزش و تست

12-

12-1- برای هر سیستم جدید با ریسک بالا، نهاد یا مؤسسه باید نتایج کامل آموزش، اعتبارسنجی و آزمایش را به بانک مرکزی ارسال کند.

12-2- نهادی که کاربر سیستم هوش مصنوعی است باید دستورالعمل‌های دریافتی از ارائه‌دهنده برای استفاده از سیستم هوش مصنوعی و نتایج فنی و آموزشی ارائه‌دهندگان را به بانک مرکزی ارسال کند.

· کاربر باید رویه‌های داخلی ایجاد کند تا اطمینان حاصل شود که این اطلاعات توسط خود کاربر استفاده می‌شود.

· کاربر باید نتایج آزمایش استفاده خود و منابع داده خاص خود یا سایر ورودی‌ها و طرح نظارت انسانی را ارائه نماید.

12-3- اگر کاربر هر گونه تغییر اساسی در یک مدل AI به منظور عرضه آن در بازار یا به خدمت گرفتن آن تحت نام یا علامت تجاری خود ایجاد کند، به عنوان یک ارائه‌دهنده در نظر گرفته می‌شود و الزامات مربوط به ارائه‌دهندگان در این دستورالعمل، به آن نهاد اعمال می‌شود.

13- حاکمیت داده

13-

13-1- نهاد یا مؤسسه باید اطمینان حاصل کند که می‌تواند یک سیستم AI را در طول چرخه عمر خود، مستقیماً یا از طریق ارائه قراردادی توسط ارائه‌دهنده، مدیریت کند. مدیریت سیستم AI بر چرخه عمر محصول به عهده ارائه‌دهنده است. یک نهاد یا مؤسسه ممکن است مستقیماً ارائه‌دهنده یک سیستم AI باشد. طبق قرارداد از ارائه‌دهنده انتظار می‌رود که همه داده‌ها را از توسعه، آزمایش، معرفی قبل و بعد از بازار و آزمایش عملکرد منظم و توسعه سیستم ارائه دهد.

13-2- نهاد یا مؤسسه باید طیف کاملی از داده‌هایی را که ارائه‌دهنده AI به‌طور قراردادی موظف به ارائه به واحد تجاری است، در اختیار بانک مرکزی قرار دهد.

13-3- نهاد یا مؤسسه باید اطمینان حاصل کند که مجموعه داده‌های متفاوتی برای آموزش، اعتبارسنجی و آزمایش دارد.

13-4- نهاد یا مؤسسه باید از داده‌های آموزشی و داده‌های اعتبارسنجی برای آموزش سیستم AI استفاده کند. چنین داده‌هایی باید تابع رویه‌های کنترل کیفیت داده‌های داخلی باشند.

13-5- نهاد یا مؤسسه ممکن است اطمینان حاصل کند که مدل برای شناسایی هر گونه روابط علّ،ی نادرست بازبینی شده است. اعتبارسنجی ممکن است توسط یک عملکرد مستقل در نهاد یا توسط سازمان خارجی انجام شود.

13-6- نهاد یا مؤسسه باید از داده‌های آزمایشی برای تعیین دقت سیستم AI استفاده کند.

13-7- نهاد یا مؤسسه باید اطمینان حاصل کند که مدل از نظر سوگیری سیستماتیک با آزمایش آن بر روی گروه‌های جمعیتی مختلف برای مشاهده اینکه آیا هر گروهی به طور سیستماتیک از مزیت یا محرومیت برخوردار است، مورد بررسی قرار گرفته است.

13-8- نهاد یا مؤسسه باید یک چارچوب حاکمیت داده مؤثری را اتخاذ کند که به طور خاص برای AI طراحی شده است تا اطمینان حاصل کند که داده‌های مورد استفاده توسط مدل AI دقیق، کامل، سازگار، ایمن و به موقع برای عملکرد سیستم AI طراحی شده است. این چارچوب باید میزان برآورده شدن داده‌ها با الزامات نهاد یا مؤسسه برای کیفیت داده، شکاف‌های موجود در کیفیت داده‌ها و اقداماتی که یک نهاد، در صورت امکان، برای رفع این شکاف‌ها در طول زمان انجام می‌دهد، مستند کند.

13-9- نهاد یا مؤسسه‌ای که سیستم‌های پرخطر توسعه می‌دهد باید از تکنیک‌هایی استفاده کند که شامل آموزش مدل‌هایی با داده‌های توسعه‌یافته بر اساس آموزش، اعتبارسنجی و مجموعه‌های داده‌های آزمایشی است:

· مجموعه داده‌های آموزش، اعتبارسنجی و آزمایش یک نهاد باید تابع انتخاب‌های طراحی مناسب، حاکمیت داده و شیوه‌های مدیریت باشد. این اقدامات باید به موارد زیر مربوط باشد:

o فرآیندهای جمع‌آوری داده‌ها

o عملیات پردازش و آماده‌سازی داده‌های مربوطه، مانند حاشیه‌نویسی، برچسب‌گذاری، تمیز کردن، غنی‌سازی و تجمیع

o فرموله کردن مفروضات مربوط به توانایی واحد تجاری برای به دست آوردن مجموعه‌های داده مناسب برای امکان توسعه سیستم ها، به ویژه با توجه به اطلاعاتی که داده‌ها قرار است براساس آن اندازه‌گیری و نمایش دهند

o ارزیابی قبلی از در دسترس بودن، کمیت و مناسب بودن مجموعه داده‌های مورد نیاز

o بررسی و در نظر گرفتن سوگیری‌های احتمالی که احتمالاً بر سلامت و ایمنی افراد حقیقی تأثیر می‌گذارد یا منجر به تبعیض می‌شود

o شناسایی هر گونه شکاف یا کاستی داده‌های احتمالی و نحوه رفع آن شکاف‌ها و کاستی‌ها

13-10- نهاد یا مؤسسه باید اطمینان حاصل کند که مجموعه‌های داده‌های آزمایشی به اندازه کافی مرتبط، نماینده و دارای ویژگی‌های آماری مناسب هستند، از جمله در مورد مشتریانی که قرار است از سیستم AI استفاده شود (یعنی چقدر داده‌ها و استنباط‌های استخراج‌شده از داده‌ها با آن مرتبط هستند).

13-11- نهاد یا مؤسسه باید اطمینان حاصل کند که مجموعه داده‌ها تا حد امکان عاری از خطا و با توجه به موارد مورد نظر کامل هستند.

13-12- نهاد یا مؤسسه باید در صورت لزوم، اعتبارسنجی و آزمایش مستقل و دقیق مواد آموزش دیده AI را انجام داده و مدل‌هایی برای اطمینان از دقت، تناسب و قابلیت اطمینان مدل‌ها قبل از استقرار را داشته باشند.

13-13- نهاد یا مؤسسه باید اطمینان حاصل کند که مدل برای شناسایی هر گونه روابط علّی نادرست بررسی شده است. اعتبارسنجی ممکن است توسط یک عملکرد مستقل در نهاد یا مؤسسه و یا توسط یک سازمان خارجی انجام شود.

13-14- نهاد یا مؤسسه باید اطمینان حاصل کند که داده‌های مورد استفاده برای توسعه سیستم‌های AI از کیفیت بالایی برخوردار هستند، به‌ویژه زمانی که از تکنیک‌های مربوط به آموزش مدل‌ها استفاده می‌شود، تا اطمینان حاصل شود که سیستم AI همانطور که در نظر گرفته شده، ایمن عمل می‌کند و به منبع تبعیض تبدیل نمی‌شود.

13-15- تا جایی که برای اطمینان از نظارت، تشخیص و تصحیح در رابطه با سیستم‌های پرخطر هوش مصنوعی ضروری است، ارائه‌دهندگان چنین سیستم‌هایی می‌توانند داده‌های شخصی را با رعایت قانون در مورد حفاظت از حریم خصوصی داده‌های شخصی پردازش کنند. تا حد امکان، استفاده از اقدامات امنیتی و حفظ حریم خصوصی، مانند نام مستعار، یا رمزگذاری و ناشناس‌سازی استفاده شود.

14- چارچوبی برای مدیریت ریسک بالا

14-

14-1- در جایی که یک نهاد، کاربر یا ارائه‌دهنده یک سیستم پرخطر است، باید چارچوبی را ایجاد کند که مطابقت با این دستورالعمل را تضمین کند. باید به صورت منظم و در قالب خط‌مشی‌ها، رویه‌ها و دستورالعمل‌های مکتوب مستند شده و حداقل شامل جنبه‌های زیر باشد:

· چارچوبی برای انطباق با مقررات، از جمله انطباق با رویه‌های بانک مرکزی برای نحوه مدیریت یا اصلاح سیستم‌های هوش مصنوعی با ریسک بالا.

· تکنیک‌ها، رویه‌ها و اقدامات سیستماتیک برای طراحی، کنترل طراحی و تأیید طراحی یک سیستم هوش مصنوعی با ریسک بالا.

· تکنیک‌ها، رویه‌ها و اقدامات سیستماتیکی که برای توسعه، کنترل کیفیت و تضمین کیفیت سیستم هوش مصنوعی با ریسک بالا استفاده می‌شود.

· روش‌های بررسی، آزمایش و اعتبارسنجی که باید قبل، در حین و بعد از توسعه سیستم هوش مصنوعی با ریسک بالا و دفعات بازبینی‌های پس از راه‌اندازی انجام شود.

· سیستم‌ها و رویه‌های مدیریت داده‌ها، از جمله جمع‌آوری داده‌ها، تجزیه و تحلیل داده‌ها، برچسب‌گذاری داده‌ها، ذخیره‌سازی داده‌ها، فیلتر کردن داده‌ها، داده‌کاوی، تجمیع داده‌ها، نگهداری داده‌ها و هر عملیات دیگری در رابطه با داده‌هایی که قبل و برای اهداف قرار دادن روی داده‌ها انجام می‌شود.

· راه اندازی، پیاده‌سازی و نگهداری یک سیستم مانیتورینگ.

· سیستم‌ها و روش‌های نگهداری سوابق کلیه اسناد و اطلاعات مربوطه.

· مدیریت منابع، از جمله امنیت اقدامات مرتبط با تأمین.

· چارچوب پاسخگویی که مسئولیت‌های مدیریت و سایر کارکنان را مشخص می‌کند.

14-2- اجرای جنبه‌های اشاره شده در بند (1-14) باید متناسب با اندازه ارائه‌دهنده باشد.

15- امنیت هوش مصنوعی

15-

15-1- نهاد یا مؤسسه باید در تمام مراحل استقرار راه‌حل‌های AI از مقررات امنیتی خاص پیروی کند.

15-2- نهاد یا مؤسسه باید یک برنامه برای AI Trust، ریسک و مدیریت امنیت (AI TRISM) ایجاد کند. برنامه باید شامل:

· مجموعه ابزارهایی برای تشخیص ناهنجاری محتوا

· مجموعه ابزارهایی برای محافظت از داده‌ها از ارائه‌دهندگان و سایر اشخاص ثالث

· مجموعه ابزار برای امنیت سیستم شخص ثالث

· خط‌مشی استفاده قابل قبول از AI

· فرآیندهای ارزیابی حریم خصوصی، انصاف و سوگیری

15-3- برنامه TRISM نهاد یا مؤسسه باید اطمینان حاصل کند که ارائه‌دهندگان هوش مصنوعی به ​​برنامه خود که شامل موارد زیر است پایبند هستند:

· استفاده از فرآیندهای مدیریت مدل AI تعریف شده

· ساخت مدل‌های AI با کنترل‌های تعریف شده در برابر نقض‌های امنیتی

15-4- یک نهاد باید هر سطح حمله به مدل‌ هوش مصنوعی را قبل از استقرار بررسی کند و به هر یافته امنیتی رسیدگی کند.

15-5- یک نهاد باید اطمینان حاصل کند که مدل AI آن، از حملات مربوط به یکپارچگی محافظت می‌شود تا از دستکاری مدل جلوگیری شود.

15-6- یک نهاد باید اطمینان حاصل کند که مدل AI در برابر حملات پرس‌وجو که ممکن است منجر به دستکاری یا سرقت مدل شود، محافظت می‌شود.

15-7- یک نهاد باید اطمینان حاصل کند که مدل AI در برابر روش‌هایی که ممکن است منجر به خرابی داده‌ها یا جابجایی داده‌ها شود، محافظت می‌شود.

15-8- نهاد یا مؤسسه‌ای که از AI استفاده می‌کند باید ابزار پیشگیری از دست دادن داده (DLP) را برای محافظت در برابر از دست دادن داده‌های حساس اجرا کند.

15-9- نهادی که از AI استفاده می‌کند باید ابزارهایی را برای تشخیص ناهنجاری محتوا ایجاد کند.

16- مستندات

16-

16-1- نهاد یا مؤسسه باید اسنادی را که طراحی مدل AI را مشخص می‌کند، چه در نقش ارائه‌دهنده و چه در نقش استفاده‌کننده، ایجاد و نگهداری کند، از جمله اما نه محدود به:

· منبع داده‌های ورودی و توضیحات داده‌ها (انواع و استفاده از داده ها) مطابق با حاکمیت داده AI که در بالا اشاره شد.

· بررسی کیفیت داده‌ها و تبدیل داده‌های انجام شده.

· دلایل و توجیهات برای انتخاب مدل خاص طراحی و توسعه شده.

· روش‌شناسی یا تحلیل‌ها و محاسبات عددی انجام شده.

· نتایج و خروجی‌های مورد انتظار.

· ارزیابی کمی و معیارهای تست برای تعیین سلامت مدل و نتایج آن.

· استفاده و پیاده‌سازی مدل.

· اعتبارسنجی، نظارت و بررسی مدل.

· مفروضات یا محدودیت‌های مدل با توجیهات.

17- نظارت

17-

17-1- نهاد یا مؤسسه باید از سیستم‌های مانیتورینگ و برنامه‌های سیستم‌های هوش مصنوعی با ریسک بالا پشتیبانی کند. این به معنای دسترسی سیتم‌های هوش مصنوعی به اطلاعات ارائه‌شده از کلیه فعالیت‌های انجام‌شده توسط ارائه‌دهندگان برای جمع‌آوری و بررسی تجربیات به‌دست‌آمده از استفاده از سیستم است.

17-2- نهاد یا مؤسسه باید از انطباق ارائه‌دهنده به تعهداتش برای ارزیابی انطباق با نتایج مدل پیش‌بینی شده سیستم هوش مصنوعی در طول چرخه عمر خود، اطمینان حاصل کند، سیستم نظارت باید داده‌های مربوطه را که ممکن است توسط کاربران ارائه شود، جمع‌آوری، مستندسازی و تجزیه و تحلیل کند.

17-3- نهاد یا مؤسسه باید سوابق تجربه خود با سیستم هوش مصنوعی را که قابل ممیزی بوده و در صورت لزوم موررد استفاده قرار می‌گیرد، با توجه به نوع سیستم مورد استفاده، نگهداری کند. نهاد یا مؤسسه باید اطلاعات جاری و به روز زیر را داشته باشد:

· ایجاد گزارش حسابرسی و حفظ قابلیت ردیابی تصمیمات و نتایج سیستم هوش مصنوعی.

· توسعه و نگهداری اسناد طراحی.

· نگهداری سوابق نسخه‌های مختلف مدل از جمله کد آن.

· بایگانی مجموعه داده‌های اصلی مورد استفاده برای توسعه، آموزش مجدد یا کالیبره کردن مدل‌ها.

17-4- هنگامی که یک واحد تجاری دارای خطا یا نقص فنی یا خطای مرتبط با مدل یا نمونه پرخطر است، یک واحد باید فرآیندی را برای بررسی خطا و اصلاح آن، پس گرفتن داده‌ها یا فراخوانی به موقع، ایجاد کند.

17-5- در صورت وقوع یک حادثه جدی، نهاد یا مؤسسه باید بلافاصله پس از اینکه ارائه‌دهنده ارتباط علت و معلولی را بین سیستم هوش مصنوعی و حادثه ایجاد کرد، موضوع را به بانک مرکزی گزارش کند.

بخش 4: تعامل با مشتریان

18- اطلاعات و رضایت مشتری

18-

18-1- نهاد یا مؤسسه باید هنگام تعامل و استفاده از یک سیستم AI آنرا به مشتریان اطلاع دهد.

18-2- نهاد یا مؤسسه باید با مشتریان در مورد استفاده آنها از AI از طریق ارائه اطلاعات به زبان ساده و قابل فهم، شفاف باشد.

18-3- نهاد یا مؤسسه باید اطمینان حاصل کند که مشتریان از محصولات و/یا خدماتی که از AI استفاده می‌کنند، خطرات مرتبط و محدودیت‌های فناوری مطلع شده‌اند:

· قبل از ارائه خدمات در ابتدا (برای سیستم‌های بدون خطر مانند ربات‌های گفتگو).

· هر به روزرسانی سیستم AI به عنوان نسخه جدیدی تلقی می‌شود که باید به اطلاع مشتری برسد.

· استفاده از AI را می‌توان در توضیحات کلی محصول یا شرایط استفاده از محصول مطابق با بند (2-15) افشا گردد.

· هر بار که مشتریان (یا کارمندان) با خدمات مرتبط با ریسک بالا مانند اعتبار، بیمه و نظایر آن تعامل برقرار می‌کنند.

18-4- نهاد یا مؤسسه باید اطلاعاتی را در اختیار مشتریان قرار دهد که مشخص می‌کند چگونه از سیستم AI استفاده کنند و اطمینان حاصل کند که مشتریان همیشه دسترسی به دستورالعمل‌ها را در اختیار دارند.

18-5- نهاد یا مؤسسه باید توضیحات روشنی از انواع داده‌ها، انواع متغیرها و عواملی که بر فرآیند تصمیم‌گیری توسط سیستم هوش مصنوعی مورد درخواست مشتریان تأثیر می‌گذارد، ارائه دهد.

18-6- نهاد یا مؤسسه باید روشی را که یک تصمیم هوش مصنوعی ممکن است بر یک مشتری تأثیر بگذارد و اینکه آیا این تصمیم برگشت‌پذیر است را اطلاع‌رسانی کند.

18-7- نهاد یا مؤسسه هنگام ارائه سیستم‌های هوش مصنوعی با ریسک بالا، از مشتری می‌خواهد اطلاعات شخصی خود از جمله داده‌های مالی را بررسی کند.

18-8- نهاد یا مؤسسه یک کانال ارتباطی قابل مشاهده و قابل دسترس برای سؤالات یا نظرات ارائه دهد.

18-9- نهاد یا مؤسسه باید رضایت مشتری را برای پذیرش خطرات مرتبط با استفاده از هوش مصنوعی قبل از ارائه خدمات جمع‌آوری کند. برای سیستم هوش مصنوعی غیر پرخطر این می‌تواند یک فرآیند یکبار اجرا باشد.

18-10- نهاد یا مؤسسه نیازی به افشای مالکیت معنوی، انتشار کد منبع اختصاصی یا جزئیات مربوط به فرآیندهای داخلی نهاد و ارائه‌دهنده به مشتری ندارد.

18-11- استفاده از هوش مصنوعی و جزئیات مدل مورد استفاده برای شناسایی مسائل امنیتی مانند کلاهبرداری و سرقت هویت از الزامات افشا مستثنی هستند.

19- حقوق مشتری

19-

19-1- نهاد یا مؤسسه باید مکانیزمی را برای مشتریان ایجاد کند تا در مورد تصمیمات AI سؤالاتی را مطرح کنند و درخواست بررسی تصمیمات اتخاذ شده توسط سیستم هوش مصنوعی بدون دخالت انسانی را داشته باشند.

19-2- نهاد یا مؤسسه باید یک فرآیند دو گزینه‌ای را به مشتری ارائه دهد که در آن مشتری ممکن است داده‌هایی را برای تغییر سیستم ارائه داده و دوباره به سیستم AI ارسال کند و یا ممکن است درخواست بازبینی یک تصمیم AI توسط یک تصمیم‌گیرنده انسانی واجد شرایط را داشته باشد.

19-3- هر شکایت توسط مشتری آسیب دیده باید از طریق فرآیند شکایت استاندارد رسیدگی شود.

20- گزینه Opt-out

20-

20-1- نهاد یا مؤسسه باید گزینه انصراف از استفاده از محصول یا خدمات AI را به مشتری ارائه دهد و تعیین کند که آیا این گزینه باید به صورت پیش فرض ارائه شود یا فقط در صورت درخواست مشتری. ملاحظات مربوطه عبارتند از:

· درجه خطر یا آسیب برای مشتری.

· برگشت‌پذیری تصمیم گرفته شده.

· در دسترس بودن مکانیسم‌های تصمیم‌گیری جایگزین.

· هزینه یا مبادلات مکانیزم‌های جایگزین.

· پیچیدگی و ناکارآمدی حفظ سیستم‌های موازی.

· امکان‌سنجی فنی.

20-2- در مواردی که سازمانی عوامل فوق را سنجیده و تصمیم گرفته است که گزینه‌ای برای انصراف ارائه نکند، باید روش‌های دیگری مانند ارائه کانالی برای بررسی تصمیم را به مشتری ارائه دهد.

21- معافیت‌ها

21-

21-1- نهاد یا مؤسسه که به دنبال معافیت از هرگونه الزامی که در این دستورالعمل است می‌باشد، باید آن را از بانک مرکزی درخواست کند. همه معافیت‌ها منوط به تأیید بانک مرکزی است.

21-2- نهاد یا مؤسسه باید درخواست معافیت خود را به یک الزام خاص در این دستورالعمل مرتبط کند که به دنبال چشم‌پوشی از آن است.

21-3- نهاد یا مؤسسه باید درخواست معافیت خود را با یک مورد تجاری یا دلیل منطقی روشن و مستند ارائه نماید.

21-4- نهاد یا مؤسسه باید اطمینان حاصل کند که افراد یا سطوح مناسب در داخل واحد تجاری به طور مداوم معافیت را تأیید می‌کنند.

21-5- نهاد یا مؤسسه باید یک تاریخ انقضا برای معافیت‌های درخواست شده تعیین کند تا پس از آن تاریخ، معافیت‌ها کاهش داده شده و یا برداشته شود.

21-6- نهاد یا مؤسسه باید در قبال هرگونه خطر ناشی از معافیت‌های تأیید شده پاسخگو بماند.

بخش 5: انطباق با مقررات ثانویه

22- رعایت مقررات ثانویه

21-7- نهاد یا مؤسسه باید در کنار قانون بانک مرکزی و این دستورالعمل، از موارد ثانویه زیر نیز تبعیت کند:

· مقررات و اصلاحات بعدی در حین فعالیت در کشور قطر.

· مقررات امنیتی بخشی.

· قانون شماره (13) 2016 در مورد حفاظت از حریم خصوصی داده‌های شخصی.

· بخشنامه ریسک‌های فناوری، ژانویه 2018 صادر شده توسط بانک مرکزی قطر.

· مقررات رایانش ابری 2024 صادر شده توسط بانک مرکزی قطر در صورتی که نهاد یا مؤسسه از راه‌حل‌های AI مبتنی بر ابر استفاده کند.

· مقررات یا دستورالعمل‌های صادر شده توسط بانک مرکزی قطر، از جمله موارد مربوط به فناوری‌های نوظهور.