نوشته های ;...z@nko!#

🧤 آسیب پذیری 0.0.0.0 Day مشکل من با 0.0.0.0 ؟ 🧤

;...z@nko!# — Thu, 19 Dec 2024 05:54:49 +0330

0.0.0.0امروز داشتم کدم رو مینوشتم و چون داخل لوکال هاست بود و فعلا برای پروداکشن نبود، داخل فرانت اند ست کردم که ادرس API من باشه 0.0.0.0:8000 و خب بک اند هم روی لوکال در حال اجرا بود... اما شب داشتم تست میکردم، دیدم کلا مروگر ارور ERR_EMPTY_RESPONSE میده بهم و منطقی نیست و برای همین یکم سرچ کردم... و رسیدم به آسیب پذیری 0.0.0.0 Day ( که البته ربطی به مشکل من هم نداشت و مشکل از افزونه proxy switcher بود ولی خب این هم موضع جالبی بود و خواستم راجبش بنویسم).قبل از اینکه بریم سراغ این اسیب پذیری بهتر راجب PNA و CORS سرچ کنید‌( تو پست قبلی راجب CORS حرف زدیم و میتونید اونجا رو هم ببینید)0.0.0.0 Dayاین آسیب پذیری مربوط میشه به خود مروگر ها و شرکت Oligo Security چند ماه پیش گزارشش رو داده، به هکر اجازه میده که روی مروگر های روز مره(مثل فایرفاکس، کروم،‌ سافاری) بتونه از طریق یه وبسایت پابلیک با دور زدن PNA و CORS به سرویس های لوکال سمت کلاینت درخواست بفرسته و حتی بتونه دست رسی بگیره و... البته آسیب پذیری شامل ویندوز نمیشه چون دیفالت 0.0.0.0 ip رو بلاک میکنه و فقط برای لینوکس و مک هستش (‌ آسیب پذیری قرار تو ورژن های جدید مروگر ها به زودی فیکس بشه.)ماجرا از اینجا شروع میشه که اگه یه هکر بیاد و یه وبسایت مخرب( فیشینگ *) رو بیاره بالا و شما برید داخل اون وبسایت، هکر میتونه از طریق مرورگر و جاوااسکریپت یه درخواست بفرسته به یه پورت روی ip 0.0.0.0 ( که اشاره میکنه به همه ip های موجود داخل اون شبکه) و حالا اگه یه سرویسی روی اون پورت در حال اجرا باشه ریکوست رو میتونه دریافت بکنه و درخواست رو هم انجام بده.برای جلوگیری از همچین اتفاقی داخل مروگر ها قابلیت CORS و Private Network Access (PNA) رو داریم که نمیزاره یه سایت پابلیک بیاد ریکوست fetch بفرسته به شبکه داخلی ما و دیتا بگیره یا دست رسی پیدا بکنه و...PNA & CORSتوی این آسیب پذیری درواقع هکر با fetch میاد یه ریکوئست http میفرسته با mode: no-cors و اینشکلی دیگه درخواست Preflight برای CORS ارسال نمیشه و مستقیم ریکوست از سمت وبسایت میره سمت سرویسی که رو سیستم در حال اجرا هستش ( تو مود non-cors ریسپانس سرور رو نمیتونیم ببینیم داخل مروگر ) و اینشکلی هکر میتونه مثلا اسکن بکنه پورت های ما رو و اگه بفهمه مروبط به سرویس خاص هستش و... شاید بتونه یه مشکل امنیتی ازش پیدا بکنه و مثل چیزی که تو مقاله بود دست رسی RCE (Remote Code Execution) بگیره و... که البته سخته..!!علاوه بر CORS گفتیم PNA هم وجود داره، الان اگه اینجا ریکوست بفرستیم به localhost یا 127.0.0.1 و یه سری ip دیگه( تصویر پایین) این PNA جلوش رو میگیره و نمیزاره درخواست بره، اما داخل لیستی که PNA ازش جلوگیری میکنه ایپی 0.0.0.0 نیست و برای همین ترکیبش با mode: non-cors میتونه این باگ امنیتی رو بوجود بیاره .Non-public IP address blocks البته کم کم فیکس میشه این مشکل و سخت هم هستش که همچین تارگتی پیدا کرد ولی در کل مشکلی هست که وجود داره، همونطور که داخل مقاله میگه بهتر به لوکال هاست اعتماد نکنیم چون لوکال !مرسی که تا اینجا خوندید، چاکس ❤️جزئیات کامل همراه با مثال و... اینجا قرار گرفته که میتونید بخونید:https://www.oligo.security/blog/0-0-0-0-day-exploiting-localhost-apis-from-the-browserاینجا هم یه سری نکته برای دولوپر ها گذاشتن که میتونیم داخل لوکال اپلیکیشن مون انجام بدیم تا از این نوع حمله ها جلوگیری کنیم:https://www.oligo.security/blog/0-0-0-0-day-exploiting-localhost-apis-from-the-browser#how-can-i-protect-local-applications-from-0000-day

🎗 برسی CORS Policy سمت سرور و بک اند ❄️

;...z@nko!# — Sat, 30 Dec 2023 20:17:40 +0330

CORS🪽 سلام به همگی! به اون افرادی که لذت میبرن از شکافتن لایه های ابسترکت و عمیق شدن 🦔تو این مقاله میخوایم راجب CORS Policy حرف بزنیم و ببینیم کلا چی هستش، چرا از نظر امنیتی مهمه و اگر با ارور های مربوط به CORS Policy بخورد کردیم چطوری دیباگ کنیم. جنبه های مختلفش رو برسی مکنیم تا درک خیلی بهتری ازش پیدا بکنیم. این مقاله شامل موضوعات زیر میشه:توضیح کوتاهی راجب SOP.برسی اینکه CORS چی هستش و موارد بیسیک.از نظر امنیتی چرا CORS اهمیت داره و برسی flow کلی.برسی هدر هایی مربوط به CORS.نگاهی به CORS داخل جنگو و نحوه دیباگ کردن ارور های مربوط بهش.SOP(Same-origin policy)قبل از CORS بیاید یکم راجب SOP حرف بزنیم، SOP یه مکانیزم امنیتی هستش برای جلوگیری از یه سری اتک مثل CSRF که به صورت دیفالت داخل مروگر ها اعمال شده، وقتی ما سایت x رو باز میکنیم داخل این سایت میتونیم به همین origin فعلی درخواست بفرستیم و مکانیزم SOP مشکلی با این عملکرد نداره، ولی اگر بیایم از origin X درخواست بفرستیم به origin Y اینجا هستش که SOP به ما گیر میده و ارور های مربوط به CORS Policy میده، و اجازه نمیده درخواست مون ارسال بشه و به دیتای origin دیگه دسترسی داشته باشیم.فرض کنید یه هکر بیاد یه سیات مخرب ایجاد بکنه و یه کد js داخل سایت باشه که وقتی کاربر سایت رو باز میکنه این کد js اجرا بشه، حالا اگر کاربر داخل سایت y لایگن باشه اینجا وقتی سایت هکر رو باز میکنه درخواست از سمت اون به سایت y فرستاده میشه(بر فرض اینکه هکر سایت y رو میدونه...) و ریسپانس درخواست برگشت داده میشه به هکر و اون میتونه به دیتا دسترسی داشته باشه که این امن نیست، برای همین SOP بوجود اومد تا دسترسی رو محدود بکنه(تو قسمت مربوط به security بیشتر برسی میکنیم).originنکته: وقتی میگیم origin منظور مون مبدا درخواست هستش، خود origin شامل 3 بخش میشه که داخل تصویر بالا میتونید مشاهد کنید.CORS(Cross-Origin Resource Sharing) Mechanism?بالاتر گفتیم SOP چی هستش و چه کاری انجام میده، ولی بعضی وقتا نیاز هستش که به بعضی از origin ها دسترسی بدیم، مثلا سمت فرانت اند درخواست با یه origin دیگه به backend ارسال میشه، یا اگر از OAuth اتنتیکیشن استفاده کرده باشیم گوگل و... نیاز دارن که یه سری تعاملات با origin ما داشته باشن و سرویس های دیگه...، اینجا هستش که CORS وارد ماجرا میشه و همونطور که از اسمش پیداست یعنی اشتراک گذاشتن دیتای یه origin با origin های دیگه، این هم یه مکانیزم دیگه هستش که بر اساس هدر های http تشخیص میده که یه origin اجازه ارسال درخواست به origin ما رو داره یا نه، مثل SOP دیفالت داخل مروگر ها هستش و اعمال میشه،‌ وقتی از یه origin دیگه درخواست میفرستید اول یه درخواست prefight رو میفرسته تا ببینه origin دیگه اجازه تعامل باهاش رو میده یا نه و بعد اگر داخل header ها تایید کرده بود ادامه درخواست ها رو میفرسته و...نکته: داخل مرورگر وقتی از origin X درخواست رو برای origin Y میفرستیم اول یه ریکوئست از نوع OPTION ارسال میشه که بهش میگن "Preflight request"، این درخواست میره تا بدونه بک اند پالیسی خاصی برای هدر های CORS تایین کرده یا نه، مثلا بک اند شاید یه سری اجازه ها رو داده باشه(در قسمت هدر ها بیشتر میگیم) و اگر بک اند اجازه ای نداده باشه و... اینجا مروگر میاد به کاربر CORS Policy ERR میده.Understanding CORS Securityفرض کنید یه سری کاربر داخل سایت ما(shop.com) لاگین کردن و دربک اند براشون سشن ایجاد شده( درواقع authenticate شدن)، این وسط یه هکر هم وجود داره که یه وبسایت فیک بالا اورده، مثلا test.com و داخل سایتش یه کد js وجود داره که وقتی صفحه وبسایت باز میشه این js ران میشه، داخل عکس میتونید flow کلی رو ببینید:flowداخل تصویر بالا همونطور که میبینید تو استپ 1 و 2 یوزر اول سایت test.com رو باز کرده بعد کد js ران شده و درخواست رو فرستاده به shop.com و چون origin متفاوت هستش میاد اول درخواست prefight میفرسته تا ببینه سرور بهش اجازه ارسال درخواست اصلی رو میده یا نه، تو استپ 3 بک اند اگر درست کانفیگ نشده باشه و.. به همه اجازه میده، اینجا اگر اجازه بده میره مرحله 4 و درغیر اینصورت ریکوئست ارور CORS Policy میگیره.تو استپ 4 میاد درخواست اصلی اجرا میشه که میتونه درخواست به سمت هر endpointی باشه و... اینجا هکر میتونه پارامتر credintial=True رو هم داخل درخواست تو js قرار بده که اینشکلی از قابلیت ارسال اتوماتیک داده های مربوط به اعتبار سنجی از سمت مرورگر استفاده میشه: کاربر داخل سایت shop.com لاگین هستش پس هنوز سشنس داخل لوکال استوریج وجود داره و اینجا هستش که از قابلیت دیفالت مروگر استفاده میشه و زمان درخواست از اینجا سشن رو برمیداره مرورگر و با درخواست میفرسته سمت بک اند، درواقع مثل این میمونه که کاربر درخواست رو فرستاده باشه نه هکر.تو استپ 5 بک اند میاد برای کاربر یه response برمیگردونه که این باز برمیگرده به هکر و اون میتونه به دیتا دسترسی داشته باشه همچنین داخل این ریسپانس تو headers یه set-cookie هستش که مربوط به کاربر و هکر میتونه بهش دسترسی پیدا کنه و با همین به سشن کاربر لاگین کنه و...CORS Headersهمونطور که گفتیم بر اساس هدر هایی که از سمت بک اند درجواب ریکوئست prefight میاد مشخص میشه چه دسترسی های رو داده به origin دیگه، ما یه سری Header میتونیم ست بکنیم سمت بک اند که درجواب درخواست prefight ارسال میشه:Base: Access-Control-Allow-Origin: | * Ex: Access-Control-Allow-Origin: https://google.com, https://virgool.ioداخل این هدر مشخص میکنیم که کدوم origin ها اجازه دسترسی رو دارن، میتونیم از * استفاده کنیم که یعنی همه origin ها و این اصلا پیشنهاد نمیشه(بعضی جاها از regex هم پشتیبانی میکنن یا مینویسین که اون هم پیشنهاد نمیشه مگر اینکه مطمن باشید که چی مینویسید)، بهتر که origin های مورد نیاز رو فقط اضافه کنید..Base: Access-Control-Expose-Headers: [, ]* Ex: Access-Control-Expose-Headers: x,y,zاین هدر مشخص میکنه که کلاینت(مروگر) به چه هدر هایی دسترسی داشته باشه، به صورت پیشفرض وقتی از یه origin دیگه ریسپانس میاد فقط به هدر هایی مثل Cache-Control، Content-Language و Content-Type دسترسی داره کلاینت. اگر ما بخوایم هدر هایی دیگه ای رو هم دسترسی داشته باشه مثل مورد x,y,z تعریف میکنیم..Base: Access-Control-Max-Age: Ex: Access-Control-Max-Age: 30داخل این هدر میتونیم مشخص بکنیم که تا چه مدت مروگر درخواست prefight رو با هر ریکوئست نفرسته، یعنی اولین بار میفرسته و درخواست های بعدی دیگه نمیفرسته تا اون n ثانیه تموم بشه بعدش یه درخواست prefight دیگه میفرسته..Base: Access-Control-Allow-Credentials: true | false Ex: Access-Control-Allow-Credentials: trueاین هدر اجازه میده که اطلاعات اعتبار سنجی همراه با درخواست از سمت کلاینت ارسال بشه، میتونه سشن کاربر و کوکی باشه یا اطلاعات مربوط به سرتیفیکیشن ها و...Base: Access-Control-Allow-Methods: * | post, put, get, patch, delete Ex: Access-Control-Allow-Methods: getاینجا متود هایی که اجازه دارن رو تایین میکنیم مثلا الان گفتیم درخواست get رو فقط از allow origin ها قبول کن و هر متود دیگه ای که بیاد ارور CORS Policy میگیره..Base: Access-Control-Allow-Headers: [, ]* Ex: Access-Control-Allow-Headers: custom_headerبالاتر یه Access-Control-Expose-Headers داشتیم اونجا یه سری هدر ست میکردیم که کلاینت دسترسی داشته باشه بهش از داخل response، ولی اینجا یه سری هدر مشخص میکنیم که کلاینت بتونه بفرسته، یعنی غیر اگر غیر از هدر های که ما گفتیم رو بفرسته کلاینت بهش ارور CORS بده ( اگر هدر کاستومی داشته باشیم باید اینجا اضافه کنیم در غیر اینصورت پیشفرض Deny میشه)‌.نکته : هدر های access-control-request-private-network و access-control-allow-private-networ قبلا برای دست رسی دادن به شبکه پرایویت وجود داشتن که در ورژن جدید مروگر ها غیر فعال شدن، مگر اینکه خودتون فعال کنید.Django CORS & DEBUGداخل جنگو میتونیم همه موارد گفته شده رو با پکیج django-cors-headers هندل بکنیم که خیلی ساده و راحت هستش، کافیه مواردی که داخل لینک بالا گفته رو انجام بدیم تا اعمال بشه. داخل فریمورک های دیگه هم باید ماژول هایی برای این وجود داشته باشه و اگر هم وجود نداشت کافیه داخل هدر ریسپانس برای درخواست prefight اون موارد مورد نیاز رو قرار بدید تا اوکی بشه.برای دیباگ کردن ارور های مربوط به CORS اگر تب مربوط به network مروگر رو چک بکنید اونجا میتونید وضعیت درخواست رو ببینید و اگر ارور دریافت کرده باشید و faield شده باشه میتونید برید داخل تب console اونجا با جزئیات کامل تری ارور هستش، مثلا ممکنه ارور داده باشه که این origin داخل allow origin ها نیستش یا دست رسی لازم برای فلان هدر و متود ها داده نشده از سمت بک اند و... در کل برای حل ارور ها اگر هدر هایی که بالاتر توضیح دادیم رو استفاده کنید میتونید خیلی راحت دیباگ کنید.همچنین اگر زمانی اومدید با پکیج django-cors-headers هدر ها و موارد مورد نیاز تون رو ست کردید ولی همچنان مشکل داشت میتونید ریسپانس اون ریکوئست OPTION که فرستاده میشه رو برسی کنید ببینید واقعا سرور داره اون هدر ها و مواردی که ست کردید رو برمیگردونه یا نه؟ و میتونید وبسرور رو هم چک کنید (اگر مثلا از nginx یا apache و.. استفاده میکنید).خب دوستان امید وارم توضیحات کافی و خوبی رو داده باشم و دید بهتری از CORS Policy پیدا کرده باشید و اگر به ارور های مربوط بهش برخورد کردید بتونید راحت دیباگ کنید و مناسب ترین تصمیم رو بگیرید.مرسی که تا اینجا خوندید، اگر داخل پست مشکلی وجود داشت یا چیزی به اشتباه گفت شده بود و یا می تونست بهتر باشه خوشحال میشم کامنت بزارید، چاکس ❤️Links :https://developer.mozilla.org/en-US/docs/Web/HTTP/CORS#the_http_response_headershttps://portswigger.net/web-security/corshttps://owasp.org/www-community/attacks/CORS_OriginHeaderScrutinyhttps://cheatsheetseries.owasp.org/cheatsheets/HTTP_Headers_Cheat_Sheet.htmlhttps://developer.mozilla.org/en-US/docs/Web/Security/Same-origin_policy

رهایی از مرزها: پیشرفت شبکه‌های اجتماعی غیرمتمرکز و برسی پروتکل ActivityPub

;...z@nko!# — Tue, 15 Aug 2023 15:42:04 +0330

APپیش گفتارخیلی از شبکه های اجتماعی فدرال و اوپن سورس مثل Plume, Peertube, Mastodon PixelFed, Lemmy, Funkwhale و... دارن از پروتکل ActivityPub استفاده میکنن و برای همین این پروتکل برای من جذاب بود و یه مدت سرچ کردم راجبش و... در نهایت خواستم چیز هایی که یاد گرفتم و تجربه کردم رو اینجا به اشتراک بزارم تا برای افرادی که میخوان آشنا بشن باهش منبع خوبی باشه، البته پروتکل های دیگه ای هم غیر از AP هستن مثل: Farcaster, Nostr و... در کل همیشه یه سری مشکلات و چالش ها برای این پروتکل ها هستش که با حمایت جامعه در طی زمان بهتر و بهتر میشن(اینکه کدوم پروتکل، پلتفرم و سرور رو برای استفاده انتخاب کنیم بستگی داره به اینکه چه چیزی برامون اهمیت بیشتری داره).در ادامه یه نگاهی به پروتکل های خوبه گذشته میندازیم و بعد میریم سراغ جزئیات پروتکل اکتیویتی پاب.اصطلاح فدریشن(Federation) : در واقع نمایانگر یه شبکه هستش که داخلش سرور ها به توافق رسیدن که از یه پروتکل استاندارد(مثل ActivityPub) برای تعامل با همدیگه بدونه نیاز به سرور مرکزی استفاده کنن.به پلتفرم های مختلفی که از این پروتکل استاندارد و مشترک استفاده میکنن میگن federated (فدرال)‌ مثل Mastodon ،Pleroma، Plume و...اصطلاح فدیور(Fediverse)‌ : این از ترکیب federated و universe بوجود اومده، در واقع اشاره میکنه به گروهی از این پلتفرم های فدرال که میتونن با هم دیگه تعامل داشته باشن. مثلا ماستودون میتونه روی n تا سرور ران باشه و این سرور ها به عنوان instance در شبکه فعالیت بکنن، حالا ممکنه plume هم n تا سرور داشته باشه و هر دو چون فدرال هستن میتونن با همدیگه تعامل داشته باشن، به این شبکه بزرگ که از ترکیب این پلتفرم های فدرال شکل گرفته میگن فدیور.نکته : ممکنه بعضی جاها به جای واژه سرور از pod، node، relay و یا instance هم استفاده بشه که همشون مفهمون همون سرور رو دارن ولی داخل پلتفرم و پروتکل های مختلف ممکنه اسم های متفاوتی داشته باشه.تفاوت شبکه های اجتماعی متمرکز و غیر متمرکزDecentralized / Centralizeشبکه های اجتماعی متمرکز(Centralize):در این نوع از شبکه های اجتماعی همه کاربرا وصل میشن به یک یا چند سرور و دیتای خصوصی شون داخل سرور های اون شرکت ذخیره میشه: مثل توتیتر، یوتیوب، فیسبوک و... این دیتای خصوصی میتونه به شرکت های دیگه فروخته بشه و یا برای هدف های دیگه استفاده بشه و کاربر کنترلی روی جریان نداره، همه کاربر ها باید از قوانینی که اون شبکه اجتماعی تعیین کرده پیروی بکنن و باز هم کاری از دسته کاربر نمیاد(مثل محدودیت های توییتر که زیاد تر شد و..)، دولت میتونه به شکل ساده تری سانسور بکنه، اکانت کاربر رو ببنده، روی دیتا و فعالیت های کاربر نظارت داشته باشه و... همچنین کاربر ها برای اینکه بتونن با بقیه تعامل داشته باشن، پست هاشون رو بنویسن و یا از پست های جدید بقیه باخبر بشن و... باید از برنامه یا وب سایتی که برای اون شبکه اجتماعی هستش استفاده بکنن و نمیتونن مثلا داخل توییتر نوتیفای بگیر که فلان کاربر تو یوتیوب فیلم جدید اپلود کرد یا لایو داره یا برن کامنت بزارن براش و از این موارد، شرکت هایی اصلی میتونن هر تبلیغاتی رو که میخوان به کاربر ها نشون بدن و این هم آزار دهنده هستش.در کل سانسور، نقض حریم خصوصی، محدودیت ها، تبلیغات و... میتونه هر لحظه ای اتفاق بیفته تو این شبکه ها و کاربر رو چیزی کنترل نداره و همچنین اگر سرور های اصلی مشکلی براشون پیدا بشه کل شبکه down میشه و یا اگر سروری هک بشه اطلاعت همه کاربر ها در دسترس قرار میگیره .شبکه های اجتماعی فدرال(Decentralized) :تو این نوع از شبکه‌های اجتماعی کاربر ها میتونن به سرور های متعددی وصل بشن و محدود به سرور های یه شرکت/شخص خاص نمیشن و میتونن تصمیم بگیرن که دیتاشون روی کدوم سرور ذخیره بشه و هروقت خواستن هم میتونن اطلاعات شون رو از یک سرور به سرور دیگه انتقال بدن و یا حتی سرور خودشون رو بیارن بالا و به عنوان یه instance به شبکه اضافه بشن، هر سرور هم قوانین و موضوع خودش رو میتونه داشته باشه و افرادی که با این موافقن داخلش رجستر میکنن. برای مثال تعداد زیادی instance در mastodon وجود داره و کاربر میتونه داخل هرکدوم از این instance ها که دوست داره عضو بشه و با کاربر های اون instance تعامل داشته باشه و یا اگر خواست میتونه از قسمت تایم لاین با یوزر سرور های دیگه هم در تعامل باشه... و حتی کاربر میتونه با پلتفرم های دیگه هم در تعامل باشه(به شرطی که داخل فدیور باشه (بالاتر گفتیم)) .البته این شبکه های اجتماعی که تو مثال گفتیم هنوز میتونن به شکل کاملی غیر متمرکز نباشن، چون هر سرور یه صاحب داره و اون هستش که اطلاعات ما رو ذخیره میکنه(اگه سرور خودمون نباشه) و زمانی که بخوایم از یه سرور اطلاعات مون رو انتقال بدیم به سرور دیگه ادمین سرور فعلی میتونه این کار رو انجام نده، چون کاربر هاش دارن میرن!! و حتی ممکنه زمان انتقال، دیتا کامل انتقال داده نشه و... که این موضوع داخل پروتکل هایی مثل Nostr بهتر هستش چون کاربر به یه سری relay وصل میشه و بعد یه پست میزاره و این برای همه relay ها ارسال میشه(تو همشون ذخیره میشه) و کل یوزر هایی که وصلن به اون relay ها میتونن پیام رو ببین و...(کاربر ها با پرایویت کی خودشون و الگوریتم Schnorr امضا(sign)‌ میکنن پیام رو و بعد به relay ارسال میشه، اینجوری کسی نمیتونه محتوا رو تغیر بده چون امضا با public key ما چک میشه و اگر تغیر کرده باشه مشخص میشه).A History Lessonقبلا برای ایجاد یه شبکه اجتماعی غیر متمرکز از پروتکل های دیگه ای مثل XMPP یا OStatus یا Diasora و... استفاده میشد ولی خب هرکدوم یک سری مزایا و معایبی داشتن که میخوایم یه نگاهی بهشون بندازیم.اگر علاقه ای به این قسمت ندارید میتونید برید قسمت بعدی.#: XMPP(Extensible Messaging and Presence Protocol)این پروتکل برای ارتباط ریل تایم مثل چت های انلاین به شکل client-to-server ایجاد شد و دیتا در قالب XML ارسال و دریافت میشه. همچنین به کاربر اجازه میده وضعیت خودش رو در شبکه اعالم بکنه(Presence)، مثلا اعلام بکنه انلاین یا افلاین هستش و یا اطلاعات دیگه ای رو ارسال بکنه. این پروتکل برای شبکه های اجتماعی کوچیک و ساده و یا برای ارتباط بین دستگاه های IoT و ارسال پیام فوری خوب بود، مثلا تو IoT میشه برای اعلام وضعیت حسگر های یه دستگاه یا آلارم ها ازش استفاده کرد(Presence). بعضی جا ها هنوز استفاده میشه ولی برای یه شبکه اجتماعی که واقعا کار بکنه یه سری مشکلات داشت: برای ریل تایم بودنش میتونست از websocket استفاده بکنه به جای سوکت tcp،‌ قابلیت های یه شبکه اجتماعی مثل فالو کردن،‌ تایم لاین، ادیت کردن پروفایل، داشتن سطح های مختلف پرایوسی و... رو نداشت، نمیتونست بفهمه که کدوم کاربر برای کدوم سرور هستش و چطوری باید پیداش بکنه و...البته همه این مشکلات رو میشه با نوشتن Extension های مختلف حل کرد(XMPP پروتکل XEP رو برای نوشتن اکستنشن هاش ارئه که با فرمت استانداردش باعث اینجاد همکاری بین پیاده سازی های مختلف و کلاینت های مختلف میشه) ولی خب در مقایسه با پروتکل های جدید تر که به صورت پیشفرض خودشون موراد مورد نیاز یه شبکه اجتماعی رو هندل کردن کم کم این پروتکل کم رنگ تر شد و... همچنین تو سطح بالا تر منیج کردن چندین میلیون یوزر با این پروتکل سخت بود.#: OStatusاین پروتکل بوجود اومد تا شبکه های اجتماعی غیر متمرکز ایجاد بشن و بتونن با هم دیگه در قالب استاندارد تری تعامل و همکاری داشته باشن( برای ایجاد شبکه هایی مثل توییتر و..). از این پروتکل در پلتفرم هایی مثل Mastodon, GNU Social, Pleroma استفاده میشد که البته الان از بین این موارد فقط در GNU Social استفاده میشه، این پروتکل خودش از چندین پروتکل دیگه مثل :‌ ActivityStream 1.0, Salmon, Atom, WebSub, Webfinger, Portable Contacts استفاده میکنه تا بتونه سازگار تر باشه با سایر سرویس های وب و بتونه یه حالت استاندارد تری رو داشته باشه.این پروتکل به ما اجازه میده که بتونیم یک سری تغیرات رو ایجاد بکنیم و مورادی که نیاز داریم رو اضافه بکنیم تا در کل دستمون باز تر باشه، بعضی جاها نیاز بود که اون instance یه سری ویژگی ها رو خودش اضافه بکنه مثلا:فلیتر کردن محتوا : هر instance باید بتونه قوانین خودش رو داشته باشه مثلا بتونه بگه که اگر کلمات توهین آمیز وجود داشت فیلتر بشن و در کل بر روی محتوا بتونه عملیات فیلتر کردن رو انجام بده.پرایوسی دقیق تر :‌ مثلا پست من فقط برای یه گروه یا افراد خاص ارسال بشه یا فقط افرادی که معیار های گفته شده من رو دارن بتونن پست و... رو ببینن.ردیابی دقیق تر فعالیت ها و علایق کاربر:‌ این موارد بیشتر برای سیستم های توصیه گر استفاده میشن که این پروتکل ویژگیی رو برای پیاده سازی این قابلیت ارائه نمیده.ناهماهنگی بین instance ها :‌ چند مورد بالا و بقیه قابلیت هایی که وجود ندارن رو باید ایجاد کرد و خب ممکنه یه instance یه قابلیتی رو ایجاد بکنه ولی بقیه instance ها از این عمل خبر نداشته باشن و باعث تداخل میشه بین instance ها، مثل زمانی که mastodon یه فیلد برای پرایویت کردن پست اضافه کرد ولی اینستنس های دیگه از این فیلد خبر نداشتن و خب اونجا پست پرایویت نبود و پابلیک می شد...#: Diasporaاین پروتکل و وب اپلیکیشنش که همین اسم رو داره با این هدف ایجاد شد که بتونه پراویسی و مدیریت دیتای خوبی رو به کاربر هاش بده، کاربر ها میتونن پروایسی رو تا سطح های خیلی خوبی تعیین بکنن، مثلا چه افراد یا گروه هایی بتونن یه پست رو بیینن و یا چه قسمت هایی از پروفایل رو بتونن همه ببینن و... همچنین به کاربر اجازه میده که کل دیتاش که داخل pod(سرور) هستش رو export بکنه تا خیلی راحت بتونه بره داخل یه pod دیگه عضو بشه و کوچ بکنه، همچنین کاربر ها میتونن شخص دیگه ای رو بلاک بکنن یا پست های یه کاربر دیگه رو ignore بکنن تا براشون نمایش داده نشه. برخلاف OStatus که از پروتکل های مختلف استفاده میکرد اینجا Diaspora(دیاسپورا)‌ پروتکل خودش رو داره و خیلی از چیز ها داخل core خودش هندل شده.ActivityPub (AP)اکتیویتی پاب یه پروتکل هستش که یه سری قوانین و قرارداد ها رو تعیین میکنه تا همه بتونن به شکل استانداردی با همدیگه صحبت بکنن، AP بعداً توسط w3c تایید شد و به یه پروتکل استاندارد و قوی برای شبکه های اجتماعی فدرال تبدیل شد. داخل AP دیپندنسی ها نسب به OStatus و... خیلی کمتر شد‌ و دیگه نیازی به پروتکل هایی مثل Salmon, WebSub, Atom و... نیست چون اکتیویتی پاب به شکل built-in کاری که این پروتکل ها انجام میدادن رو انجام میده و با داکیومنت خوبی هم که ارئه میده کار رو برای دولوپر ها خیلی راحت تر کرد(نسبت به قبل).اکتیویتی پاب رو میشه به دو شکل Client To Server و Server To Server استفاده کرد که بیشتر همون حالت سرور به سرور هستش و یوزر ها به api اون وب اپلیکیشن وصل میشن و تعامل دارن.نکته: ممکنه وقتی راجب این پروتکل سرچ میکنیم به inbox و outbox برخورد کرده باشیم، inbox میشه endpoint که ما داخل backend با همین اسم مینویسم و از این به بعد بقیه سرور ها درخواست های POST شون رو به اینجا میفرستن مثلا : ایجاد یک پیام - فالو کردن - لایک و... outbox هم مثل قبلی هستش ولی برای درخواست های GET یعنی سرور های دیگه درخواست میدن مثلا برای دریافت پست های فلان یوزر یا تعداد لایک های فلان یوزر و...برای کار کردن با پروتکل AP و ساختن وب اپلیکیشن خودمون باید این 4 تا پروتکل پایین رو درک کنیم:ActivityStreams 2.0Activity VocabularyJson-LDWebFingerActivityStreams 2.0:اکتیویتی استریم از Activity Vocabulary و JSON-LD تشکیل شده و هدف اصلیش سریالایز کردن دیتا هستش(در ادامه وقتی این دو مورد رو توضیح دادیم این هم قابل لمس تر میشه). اکتیویتی استریم تو ورژن 1 از فرمت xml برای سریالایز کردن دیتا استفاده میکرد و همچنین تایپ و پراپرتی های کمتری رو هم پشتیبانی میکرد. تو ورژن 2 توسط w3c تأیید و به یه پروتکل استاندارد تبدیل شد، تو این ورژن تغیر های زیادی بوجود اومد، مثلا استفاده از Json-LD برای سریالایز کردن دیتا و یا اضافه شدن تایپ و پراپرتی های بیشتر برای پوشش دادن متا دیتا های مربوط به یه اکشن(همین Vocabulary).Activity Vocabulary:این پروتکل یه سری Type و Property رو برای Activity Stream تعریف میکنه، در حالت واقعی ما میایم با استفاده از این تایپ و پراپرتی ها متا دیتای مربوط به یه activity رو تعریف میکنیم و بعد در قالب Json-LD برای یه instance دیگه ارسالش میکنیم، فعلا باید یه درک اولیه از تایپ ها داشته باشیم و بدونیم به چه شکل هستن در ادامه قابل لمس تر میشه قضیه... ‌:(خود Type ها به دو دسته بندی کلی تقسیم میشن :Core TypesExtended Typesمورد اول خودش شامل یه سری تایپ بیسیک میشه مثل:‌Object, Link, Activity، IntransitiveActivity, Collection, CollectionPage, OrderCollection, OrderCollectionPageدر کل 8 تایپ بیسیک داریم و همه این ها به عنوان تایپ های بیس برای Extended ها عمل میکنن، هرکدوم از این تایپ ها یه سری پراپرتی دارن، مثلا تو extended type ها Follow رو داریم که خود این از Activity ارث بری میکنه و خود Activity از Object، یعنی میتونیم از پراپرتی های اکتیوتی و ابجکت استفاده کنیم موقع استفاده از Follow(در حالت واقعی وقتی کسی رو فالو میکنیم میتونید این پراپرتی ها رو ست بکنیم داخل درخواست) .Extended Typesاین دسته شامل 3 نوع تایپ مختلف میشه :تایپ Actor : این تایپ میتونه نمایانگر کاربر(ربات) - گروه - اپلیکیشن - سرویس - شرکت و یا سازمان باشه، این بیسش همون تایپ Object داخل Core Type هستش.تایپ Activity :‌ اینجا میتونیم چندین نوع اکتیویتی داشته باشیم مثل لایک - فالو - کامنت - انفالو - ساختن پست - ریپلی و.... همه این موارد شامل این دسته بندی میشن و بیس این هم میشه همون Activity داخل Core Type.تایپ Object یا تایپ لینک : خود Object میتونه شامل: Note, Document, Video, Voice و ... باشه یعنی این تایپ ها رو شامل میشه‌(‌Note درواقع برای تکست های کوتاه هستش مثل تویت)‌ و Link type هم برای منشن هستش مثلا زمانی که کسی رو داخل یه پست منشن میکنیم ، اینجا همونطور که از اسمش پیداست داخل Core Type بیسش همون Object.Properties:علاوه بر تایپ ها یه سری property خیلی خوب داریم که تعدادشون هم زیاده، زمانی که ما یه Activity رو ایجاد میکنیم میتونیم از این پراپرتی ها داخلش استفاده بکنیم تا متا دیتای اون activity مون کامل بشه، اینجا 3 تا پراپرتی جالب رو مثال میزنیم:پراپرتی to, cc, bcc, bto :‌ این پراپرتی ها برای هدف گذاری کاربر ها استفاده میشن، هر اکتیویتی(فالو، منشن، لایک و..)میتونه هم یوزر درجه اول داشته باشه هم درجه دوم، مثلا کاربر a یه پیام میفرسته به b، اینجا این دو نفر مستقیم داخل اون activity شرکت کردن و برای همین میشن Primary audience و یوزر x که b رو دنبال میکنه میشه Secondary audience که حالا زمان ارسال این اکتیوتی میتونیم یوزر b رو داخل این فیلد cc مشخص کنیم). جزئیات بیشتر...پراپرتی icon: میتونیم از این پراپرتی برای تعریف کردن یه عکس کوچیک استفاده کنیم مثل عکس پروفایل.پراپرتی next, prev:‌ برای pagination(صفحه بندی) استفاده میشه مثلا از تایپ Collection استفاده کردیم و یه لیست از پست ها رو نشون دادیم(لیست میشه همون پراپرتی items ) و حالا میتونیم از این prev, next برای دیدن پست های قبلی و بعدی استفاده کنیم .Json-LD(Link Data)جیسان لینک دیتا مثل همون JSON هستش با این تفاوت که داخلش میتونیم دیتا ها رو لینک بکنیم مثلا داخل یه صفحه html ما میتونیم یه لینک بسازیم و وقتی کاربری روی اون کلیک کرد میره به صفحه مربوطه،‌ داخل json-LD هم ما میتونیم برای کلید هامون یه ولیو تعیین بکنیم و این ولیو میتونه لینک باشه همچنین به ما قابلیت های دیگه ای رو هم میده.خود Json-LD یه سری keywords داره که برای تعریف بعضی قسمت ها ازش استفاده میشه مثلا برای تعیین کردن type@ یا id@ یا context@ و...(همشون با @ شروع میشن)، بعضی از این keywords ها داخل پراپرتی های Activity Vocabulary وجود دارن و از اون ها استفاده میکنیم(بعضی از کی ها هم وجود ندارن چون ربطی به هدف شبکه اجتماعی ندرن) این مورادی که وجود دارن همه map شدن یعنی نیازی به اون @ اولشون نیست.ما از این پراپرتی ها خیلی جاها استفاده میکنیم مثلا برای هر ابجکت تایپی که داخل Vocabulary داشتیم یه context هم باید ست بکنیم زمان سریالایز کردن.این context، تایپ و پراپرتی هایی که در ادامه مینویسم رو مشخص میکنه یعنی اگر سرور یا فرد دیگه ای بیاد این json ما رو ببینه از روی این context میتونه بفهمه که این keywords هامون چه معنی میدن و value شون قرار چه چیزی باشه، درواقع schema دیتای ما رو مشخص میکنه مثلا:{ "@context": "https://www.w3.org/ns/activitystreams", "type": "Like", "id": "http://example.com/activity/1", "actor": "http://example.com/users/harold_finch", "object": "http://example.com/notes/1", "published": "2023-08-10T17:30:06Z" }اینجا ما یه activity با تایپ Like تعریف کردیم که مشخص میکنه یوزر harold اومده پست 1 رو لایک کرده(اینجا پست و یوزر داخل یه سرور هستن) .چند تا نکته وجود داره،‌ اولین قسمت برای این activity اومدیم تعیین کردیم که contextش چیه و رفرنس دادیم به داکیومنتAcitvity Stream تا کاربر یا سرور مقصد متوجه بشه.مورد بعدی اومدیم id رو ست کردیم، این هم یه keyword(پراپرتی) دیگه هستش که داخل json-ld تعریف شده و میاد شناسه یکتا برای این activity رو مشخص میکنه، اینجا مقدارش میشه url خود instance + یه عدد رندم که داخل دیتابیس ذخیره میشه و بعد ارسال(تایپ این فیلد میتونید URN یا URL باشه).WebFingerاین پروتکل جالبی هستش که قبل تر هم استفاده میشد، هدف این پروتکل این هستش که بتونیم باهاش اطلاعات یه URI رو بدست بیاریم که URI میتونه URL باشه یا URN که در اکثر حالت ها ما با URL سرو کار داریم.داخل شبکه های مثل Mastodon, GnuSocial, Diaspora و.. از این پروتکل استفاده میشه تا اطلاعات یوزر رو به دست بیاریم، داخل این شبکه های اجتماعی چون غیرمتمرکز هستن ممکنه مثلا داخل سرور x یه یوزنیم وجود داشته باشه و داخل سرور y هم همین یوزرنیم وجود داشته باشه‌، درواقعی چون سرور ها جدا هستن ممکنه این موارد تکراری پیش بیاد برای همین میان از domain مربوط به اون instance استفاده میکنن داخل username کاربر یعنی یوزنیم کاربر میشه:@username@domainبیاید یه مثلا عملی تر بزنیم که بهتر درک بشه، مثلا داخل ماستودون شما در سرور mastodon.social اکانت ساختید و الان میخواید یوزر harold_finch که داخل سرور pinkorange.red هست رو فالو بکنید یا پست هاش رو لایک بکنید یا منشن کنید و... اینجا قبل از اینکه درخواست فالو فرستاده بشه میاد یه درخواست میده به endpoint مربوط به webfinger تا اطلاعات یوزر harold_finch رو به دست بیار از اون سرور دوم.همونطور که گفتیم یوزنیم کاربر از دامین و یوزنیم ایجاد شده و همه وب اپلیکیشن ها در سمت بک اند یه endpoint ایجاد میکنن برای webfinger :‌https://domain/.well-known/webfingerو اینجا وقتی یه instance نیاز داره اطلاعات یه یوزر رو بگیره و یوز داخل سرور خودش نیست میاد این endpoint درخواست میده:https://pinkorange.red/.well-known/webfinger?resource=acct:harold_finch@pinkorange.redو داخل خروجی این هم یه سری دیتا برگشت داده میشه که اینجا یه نمونه هستش و داخل سیستم خودتون هم میتونید همین درخواست رو بزنید و ببینید.نکته : instance ها همیشه دیتا رو cache میکن و مثلا اگر اطلاعات یوزر داخل دیتابیس مربوط به کشش وجود داشته باشه میاد از همون استفاده میکنه...In Summary...تا الان یه سری اصطلاح یاد گرفتیم و راجب اینکه شبکه های متمرکز و غیر متمرکز چی هستن و چه تفاوت هایی به هم دارن تا حدودی صحبت کردیم و بعد رفتیم سراغ پروتکل های محبوبی که قبلا برای شبکه های اجتماعی استفاده میشد و بعد رفتیم سراغ ActivityPub و یه دید کلی راجبشون پیدا کردیم، پروتکل های جالب دیگه ای هم هستن که بعد از AP بوجود اومدن و دارن رشد میکنن و همیشه یه سری مشکلات رو حل میکنن و یه سری مشکلات جدید رو بوجود میارن و یه سری از ادم ها هم دنبالشون میکنن و میره جلو... ولی فعلا AP محبوب تر بوده و داخل پلتفرم های مختلفی مورد استفاده قرار گرفته و جامعه بیشتری دارن ازش استفاده میکنن(ن ب شکل مستقیم) و فعلا اوکیه..الان انتظار میره که یه درک کلی نسبت به موارد گفته شده داشته باشیم و کانسپت کلی ماجرا تو ذهن مون شکل گرفته باشه، بعد از این میشه رفت سراغ داکیومنت AP و مطالعش کرد تا مورادی که اینجا گفته نشده رو خوند، مثل جزئیات نحوه ارتباط سرور ها با هم، sharedInbox، Security، احراز هویت و... تا بعدش بتونیم وبسایت خودمون رو بیاریم بالا و یا تو پروژه های اوپن سورس مشارکت کنیم و یا حتی اصلا برای کنجنکاوی یه سری موراد رو تست بکنیم و...داخل این مقاله جا نمیشد که مثال های واقعی بزنیم و داخل کد مرحله به مرحله بریم جلوو به instance های دیگه درخواست بدیم و تعامل داشته باشیم و... برای همین شاید داخل یه مقاله دیگه با پایتون و فریم ورک های سمت بک اندش یه چیزایی نوشتیم...! (البته یه سری لینک مفید و خوب اخر صفحه گذاشتم که این موراد رو پوشش میده)میتونید از لینک زیر هم استفاده کنید، یه حساب کاربری ماستودون برای 1 روز بهتون میده و درواقع یه instance ماستودون هستش مثل بقیه فقط یه قابلیت های بیشتری داره مثلا وقتی کسی رو فالو میکنید میتونید درخواست هایی که از سمت این سرور ارسال میشه و ریسپانس ها رو ببینید یا خودتون درخواست بزنید به یه url خاص و ریسپانسی که یه سرور دیگه بهتون میده رو ببینید و... در کل کار کردن باهش خوبه و درک خیلی بهتری پیدا میکنید از پروتکل Activitypub و...https://activitypub.academy/auth/sign_upمرسی که تا اینجا خوندید و همراهی کردید، امید وارم که مفید بوده باشه و چیز جدید بهتون اضافه شده باشه و... اگر داخل پست مشکلی وجود داشت یا چیزی به اشتباه گفت شده بود و یا می تونست بهتر باشه خوشحال میشم کامنت بزارید، چاکس ❤️Links :Sebastian Jambor: Part-1 - Part-2 - Part-3 new..Tiny-Subversions: https://tinysubversions.com/notes/reading-activitypub/Pleroma: https://blog.soykaf.com/post/pleroma-encyclical-activity-pub/Dennis Schubert | Diaspora: Part-1 - Part-2Libre Lounge(podcast): Part-1 - Part-2 - Part-3Christine Lemmer: https://gitlab.com/spritely/ocappub/blob/master/README.orghttps://flak.tedunangst.com/post/what-happens-when-you-honkhttps://flak.tedunangst.com/post/the-activity-person-examinedhttps://flak.tedunangst.com/post/activity-noteshttps://flak.tedunangst.com/post/AP-networkinghttps://www.hughrundle.net/how-to-implement-remote-following-for-your-activitypub-project/

پروسه Validation و Deserialization در DRF

;...z@nko!# — Sun, 30 Apr 2023 15:19:25 +0330

responseامروز داشتم یه endpoint مینوشتم و قرار بود مثلا یه رکورد x ایجاد بشه که فیلد productش فارنکی بود، وقتی برای سریالایزر از ModelSerializer استفاده کرده باشیم و تو مدل یه فیلد فارنکی هم داشته باشیم DRF براش یه فیلد دیفالت رو در نظر میگیره و اگر زمان POST کردن دیتا ایدی رو اشتباه بدیم، این ارور بالا رو تو response برمیگردونه. اینجا یه مشکلی برام پیش اومد چون نمیتونستم با فیلد ولیدیتور یا get-object تو ویو و... بیام فرمت error رو بهتر بکنم و اون چیزی که میخوام رو تو response برگردونم برای همین یکم سرچ کردم و کد هاش رو دیدم و... در نهایت خواستم تجربم رو اینجا به اشتراک بزارم.# ModelSerializerداخل DRF میتونیم دیتا رو Serialize یا Deserialize بکنیم که این پروسه اتوماتیک هستش و وقتی دیکشنری میدیم به serializer میفهمه و deserialize میکنه و وقتی ابجکت پایتونی میدیم بهش میاد سریالایزش میکنه، مثلا وقتی ریکوئست POST رو ارسال میکنیم میاد deserialize میکنه:serializer(ممکنه از جنریک ویو ،ویو ست و... استفاده کنیم که و این قسمت رو نبینیم.)اینجا اگر MySerializer از ModelSerizlier و یا HyperlinkedModelSerializer ارث بری کرده باشه یه سری ویژگی رو دریافت میکنه، که اینجا ما با ویژگی فیلد های ریلیشنال کار داریم که باعث میشد اون ارور تو Response برای من نمایش داده باشه و با مواردی که گفتم نتونم هندلش بکنم.وقتی از ModelSerializer استفاده میکنیم اگر داخل مدل مون یه فیلد فارنکی داشته باشیم، اینجا داخل مدل سریلایزر به صورت دیفالت میاد از فیلد PrimaryKeyRelatedField استفاده میکنه که برای OnToOne یا ForeignKey ریلیشن استفاده میشه و این خودش یه class هستش که شامل یه سری متود میشه، متودی که ما باهاش کار داریم to_internal_value هستش اما قبل از اینکه بریم راجب این حرف بزنیم باید یه مورد دیگه رو هم بگیم.# Method: is_valid - Processزمانی که کاربر ریکوئست POST رو ارسال میکنه، دیتاش به شکل دیکشنری(json) هستش و باید این دیکشنری تبدیل بشه به ابجکت پایتونی و اینجا ما درواقع با صدا زدن متود is_valid اون اینستنسی که بالاتر ساختیم این پروسه رو انجام میدیم، وقتی این متود صدا زده میشه درواقع flow زیر شکل میگیره:validation and deserialization processاینجا اولین بار اون مواردی که داخل متود to_internal_value هست چک میشه (البته اولین متود نیست در ادامه میگیم).بعد از این میاد validators ها رو چک میکنه: این ولیدیتور ها رو زمان ایجاد فیلد تو کانستراکتور میدیم بهش، همون پارامتر validators که میتونه مثلا MaxLengthValidator ،UniqueValidator ProhibitNullCharactersValidator و... باشه)فیلدولیدیتور ها هم شامل متود هایی میشن که داخل سریالایزر تعریف میکنیم مثل validate_age, validate_email و...ابجکت ولیدیشن یا cross-validation هم شامل مواردی میشه که ما نیاز داریم چند مورد رو با هم ولیدیت بکنیم مثلا بگیم اگر کاربر پرمیوم بود و پروداکت x از کتگوری y رو میخواست بیا براش یه تخفیف بده...(این مورد 3-4 شبیه clean وclean_field داخل form ها هستن).# Method: is_valid - Process Detailsبالاتر یه توضیح کلی دادیم و اما بریم داخل جزئیات :‌در مرحله اول داخل is_valid با متود validate_empty_values چک میشه و اگر فیلد های که داریم مقدارشون خالی باشه(استرینگ "" یا Null یا...) و همچنین required نباشن میگه برای این فیلد نیازی به ولیدیشن نیست.اما اگر validate_empty_values ما False باشه یعنی فیلد empty نداشته باشیم میاد متود to_internal_value ابجکت فعلی رو ران میکنه، اینجا ابجکت فعلی میشه همون فیلد هامون که تو پروسه Deserialization ایجاد شده، یعنی مثلا PrimaryKeyRelatedField یا CharField و هر چیزی که داخلی مدل سریالیزر تعریف کردیم.نکته: این فیلد هایی که داخل سریلایزر تعریف میکنیم همشون متود to_internal_value رو دیفالت دارن چون از کلس Field ارث بری میکنن.اگر داخل سریلایزر مون یه فیلد فارنکی داشته باشیم، همونطور که بالاتر گفتم میشه PrimaryKeyRelatedField و اینجا زمانی که متود to_internal_value صدا زده میشه این فیلد یه عمکلرد متفاوتی رو داره و میاد این کوئری رو میزنه:queryاین data میشه همون ایدی فیلد فارنکی که تو ریکوئست POST میفرستیم و خود فیلد هم در زمان Deserialization یه کوئری ست تایین میشه براش(دیفالت yyy.objects.all()i) و الان اینجا وقتی get میکنه اگر ایدی وجود نداشت باشه میاد تو excpetion و اون ارور رو با فرمت عکس اول برمیگردونه!.# Overwrite to_internal_valueمیتونیم بیایم داخل متود post یا initial یا handle_exception این رو هندل بکنیم ولی من متود to_internal_value رو overwrite کردم چون نمی یه سری سریالایزر داشتم که از سریالایز فعلی ارث بری کرده بودن و به نظرم اینجا بهتر بود براش(اگه نظر شما چیز دیگه ای کامنت بزارید ). البته متود post میتونه بهتر باشه چون در این مثال overhead کمتری داره و نیازی به deserialize کردن نیست و همون اول میتونیم کوئری بزنیم و چک کنیم این مورد رو.to_internal_value method اگر به نظرتون به شکل دیگه ای میشد بهتر نوشت یا هر چیز دیگه ای میتونید کامنت بزارید، مرسی که وقت گذاشتید❤️!

نوشتن یه ربات تلگرام با Pyromod در Pyrogram

;...z@nko!# — Wed, 11 May 2022 15:35:49 +0430

Pyromod + pyrogramخب سلام دوستان امید وارم حال دلتون خوب باشه یا اگه نیست بهتر بشه +)وقتی میخواید شروع کنید به کار کردن با ربات های تلگرامی با پایروگرام یکم اذیت میشید که چطوری دیتا رو از کاربر بگیرید و چطوری جوابش رو بدید، در واقع step گذاری کنیدو... امروز میخوایم از Pyromod برای هندل کردن ای مورد استفاده کنیم، در کل چیز زیادی نداره Pyromod و یه سری مانکی پچ هستش و زیاد هم سخت نیست، بریم جلو یادش بگیریم :)نکته: وقتی دارید از Pyromod استفاده میکنید باید از نسخه async پایروگرام استفاده کنید(هرچند ورژن 2 async هستش)نکته: در این آموزش موارد بیسیک و پایه ای رو توضیح نمیدم مثلا فیلتر چیه، هندلر چیه و... این موارد داخل آموزش های قبلی به صورت کامل توضیح داده شده!نکته :‌ تو این آموزش چند تا از متود های خوب لایبرری pyromod رو نگاه میکنیم و... ولی همش رو نمیگیم برای هیمن میتونید سورس کدش رو ببینید و خیلی درک بهتری پیدا بکنید ازش ... https://github.com/usernein/pyromod/tree/master/pyromod خب اولین کار نصب لایبرری ها هستش:pip install pyromod pip install pyrogram بعد از اینکه نصب شدن یه فایل باز میکنیم و کدمون رو داخلش مینویسیم، چون قرار نیست ربات پیچیده ای باشه و پلاگین و... داشته باشه داخل یه فایل مینویسیم...Step1-initializefrom pyrogram import Client, filters, enums from pyromod.helpers import ikb, kb, array_chunk from pyromod import listen api_id = your_api_id api_hash = "your_api_hash" bot = Client( name="my_bot", api_id=api_id, api_hash=api_hash, bot_token="your_token", proxy=dict(scheme="socks5", hostname="your_ip", port=your_port))اول اومدیم مواردی که نیاز داشتیم رو import کردیم، بعد یه اینستنس از کلاس کلاینت ایجاد کردیم به اسم bot.اینجا از pyromod اون listen رو هم ایمپورت کردیم که مانکی پچ اعمال بشه و یه سری متود رو به ما بده مثل ask و clear_listener, cancel_listener و... در غیر اینصورت به ما ارور میده چون مانکی پچ pyromod اعمال نشده، پس این رو یادتون نره که import کنید.Step2-First Handlerbase_msg = "لطفا یکی از دکمه های زیر را انتخاب نمایید ??" ask_phone_msg = "? شماره تلفن خورد را ارسال نمایید" timeout_err_msg = "❌ کاربر گرامی، زمان پاسخگویی شما به اتمام رسیده است" keys = [["? راهنمایی", "? افزودن اکانت"] keyboard = kb(keys, resize_keyboard=True) @bot.on_message(filters.private & filters.command("start")) async def start_bot(client, message): chat_id = message.chat.id await client.send_chat_action(chat_id=chat_id, action=enums.ChatAction.TYPING) await message.reply(text=base_msg, reply_markup=keyboard)خب در کد بالا اومدیم یه سری پیام که قرار به کاربر نشون بدیم رو اول کدمون قرار دادیم و داخل متغیر های مربوطه ریختیم(میتونید یه فایل json بسازید داخل اون پیام های ربات رو بزارید به نظرم اینجوری تمیز تره)، اینجا یه متغیر به اسم keyboard ایجاد کریدم که مقدارش دوتا دکمه افزودن اکانت و راهنمایی هستش، بعد یه هندلر نوشتیم و داخلش اومدیم یه send_action فرستادیم + یه پیام که به کاربر بگه یکی از دکمه ها رو انتخاب کن. داخل ربات api ما دو نوع دکمه داریم یکیش ReplayKeyboardMarkup هستش و اون یکی InlineKeyboardButton، اولی دکمه عادی و دومی دکمه شیشه ای هستش، لایبرری pyromod به ما این قابلیت رو میده که یکم ساده تر دکمه هامون رو بسازیم، برای دکمه های عادی از kb و برای دکمه های شیشه ای از ikb استفاده میکنیم که بالا تر ایمپورتشون کردیم.در pyromod برای اینکه کیبورد های عادی بسازیم کافیه یه لیست بدیم به متود kb دقیقا مثل همونی که بالاتر نوشتیم، حالا داخل این لیست ما میتونیم شکل نمایش دکمه هامون رو مشخص کنیم مثلا دکمه ها در یک row قرار بگیرن یا در n تا row جدا قرار بگیرن و اینکه چند دکمه در هر row قرار بگیره(column)، مثلا تو چیزی که بالا نوشتیم بهش گفتیم دکمه ها داخل 2 تا row جدا قرار نمایش داده بشه(هر لیست تو در تو به عنوان یک row در نظر گرفته میشه و item های هر لیست هم به عنوان بگیم column های اون row نمایش داده میشن).الان دکمه های که نوشتیم اینشکلی هستن:reply keyboard markupحالا اگه بخوایم این دوتا دکمه داخل یه row قرار بگیرن میایم اینشکلی مینویسیم:keyboard = kb([ ["? راهنمایی" , "? افزودن اکانت"]], resize_keyboard=True)reply keyboard markupStep3-Second Handlerاینجا یه موردی هستش که باید بگم، قبلا step رو دستی مینوشتیم و میرفتیم جلو و هندلر های مختلفی مینوشتیم و داخل هرکدوم میومدیم مثلا فیلتر های تسکت میزاشتیم و با gorup جدا میکردیم، ولی اینجا دیگه نیازی به این کار نیست میتونیم داخل همین فانکشن بریم جلو و کدمون رو ادامه بدیم...@bot.on_message(filters.private & filters.command(prefixes="", commands=keys[1])) async def get_account(client, message): chat_id = message.chat.id try: phone_number = await client.ask( chat_id=chat_id, text=ask_phone_msg, reply_markup=keyboard, timeout=10) print(phone_number.text) except listen.ListenerTimeout: await message.reply(text=timeout_err_msg, reply_markup=keyboard) bot.run()خب تو کد بالا اومدیم یه هندلر دیگه اضافه کردیم، مثلا اگه الان قرار ربات دریافت اکانت بنویسیم اینجا میتوینم داخل همین فانکشن کل عملیات رو خیلی راحت بنویسیم(قبلا هم میتونستیم با شرط گذاشتن و... پیش ببریم قضیه رو ولی الان با pyarmod خیلی راحت تر هستش) البته برای اینکه کدمون تمیز تر باشه میتونیم برای هر دکمه که داخل رباتمون هست یه هندلر جدا بنویسیم.الان ما میخوایم به کاربر بگیم که شمارش رو بفرسته و بعد چیزی که میفرسته رو دریفات کنیم و مثلا اگه تو 30 ثانیه هر چند دقیقه که ما میگیم نفرستاده بگه وقتش تموم شده.در کد بالا از متود ask لایبرری pyromod استفاده کردیم این یکی از اون مانکی پچ هایی هستش که pyromod اضافه کرده، اینجا دقیقا مثل متود send_message میتونیم پارامتر هایی که میخوایم رو بهش بدیدم همچنین میتونیم دوتا پارامتر اضافه filter و timeout رو هم ست بکنیم براش(اپشنال هستش اجباری نیست) این timeout تعیین میکنه که چقدر متود ask منتظر ورودی کاربر باشه، مهم ترین نکته این هستش که وقتی پیام فرستاده میشه ما چیزی که کاربر در جوابش میفرسته رو میتونیم داخل phone_number ذخیره کنیم بعد از اینکه کاربر یه چیزی بفرسته این عمل ask خود به خود کنسل میشه و دیگه هرچیزی که کاربر بفرسته برای این ask ذخیره نمیشه.اینجا داخل اکسپشن هم هندل کردیم که اگر تو تایم تایین شده جواب نداد به کاربر بگه دوباره دکمه رو بزنه(این اکسپشن برای ورژن جدید pyromod هستش و تو ورژن های قبل تر باید از اکسپشن asyncio.exceptions.TimeoutError استفاده کنیم).Step3-4-Method array_chunk/Paginationیه مورد هستش که اینجا خواستم اضافه بکنم اون هم متود array_chunk هستش که قبلا ایمپورتش کرده بودیم، اگه تعداد دکمه هامون زیاد باشه میتونیم از این متود برای ساختن راحت تره این column هامون استفاده بکنیم، با این متود میتونیم بگیم column هامون چند تا چندتا باشه مثلا :k=[("Test 1", "test_1"), ("Test 2", "test_2"), ("Test 3", "test_3"), ("Test 4", "test_4")]])الان ما همچین چیزی داریم اگه بیایم از این متود استفاده کنیم میتوینم بگیم بهش برامون هر row که میشه بساز (یعنی تعداد row داینامیک میشه) ولی داخل هر کدوم فقط n تا کالمنی که ما میگیم رو قرار بده:b= array_chunk(k, 2) keyboard = ikb(b)الان برای ما دوتا row میسازه و داخل هرکدوم 2 تا column قرار میده که خیلی ساده تر میکنه کار ما رو، برای کیبورد عادی هم میتونید استفاده کنید.همچنین یه متود Pagination هم داره این لایبرری pyromod که میتونید برای ساختن پیجینیشن دکمه ها ازش استفاده کنیم، برای زمانی خوبه که تعداد دکمه ها زیاد باشه و نخوایم در یک پیام نشونشون بدیم.Step4-KeyboardButtonبرای نوشتن دکمه های شیشه دو مورد هستش که اول باید توضیح بدم. مورد اول : در دکمه های شیشه ای ما باید 2 مورد رو حتما ست بکنیم یکش text هستش همون متنی که روی دکمه نمایش داده میشه و دومین مورد هم callback_data یا url هستش(یکی از این دو مورد اخر حتما باید ست بشه).مورد دوم : وقتی روی دکمه عادی کلیک میکنید یه تکست میفرسته داخل چت و در کل ما از اپدیت عادی؛ درواقع تو هندلر message میتوینم اون رو دریافت کنیم ولی برای دکمه های شیشه ای فرق میکنه و وقی کلیک میشه رو دکمه یه دیتایی رو برمیگیردونه دقیقا همون callback_data که ست میکنیم، و ما برای دریافت اون و تشخیص اینکه رو کدوم دکمه کلیک شده باید بیایم از هندلر on_callback_query استفاده بکینم.@bot.on_message(filters.private & filters.command("start")) async def start_bot(client, message): keyboard = ikb([[ ("? راهنمایی", "help"), ("? افزودن اکانت", "add_account")]]) await message.reply(text=base_msg, reply_markup=keyboard) bot.run()خب این همون کدی هستش که قبلا با کیبورد عادی نوشتیم و الان با کیبورد شیشه ای، اینجا هم مثل قبل هر لیست تو در تو یک row هستش و هر row میتونه شامل یه سری column باشه.هر دکمه رو داخل یه تاپل قرار میدیم که شامل تکست و callback_data یا url میشه. چیزی که الان نوشتیم خروجیش اینشکلی میشه:Inline Keyboard Button الان اگه رو یکی از این دکمه ها کلیک بشه یه اپدیتی میفرسته و همونطور که قبلا گفتیم داخل هندلر callback_qurey باید بگیریمش.@bot.on_callback_query() def get_callback(client, query): chat_id = query.message.chat.id if query.data == "add_account": phone_number = await client.ask(chat_id=chat_id, text=ask_phone_msg) print(phone_number.text)الان رو هر دکمه ای که کلیک بشه اپدیتش میاد اینجا و ما باید یه جوری تشخیص بدیم که اپدیت برای کدوم دکمست برای همین میایم از اون callback_data که قبلا ست کرده بویدم استفاده میکنیم، اینجا به جای message مینویسیم query که منطقی تر باشه هرچند هر چیزی که بخوایم میتونیم بنویسیم... و پیشنهاد میکنم این query رو پرینت بکنید و چیزی که داخلش هست رو ببینید که درک بهتری از اپدیتش داشته باشید و...تو کد بالا اومدیم شرط گذاشتیم اگر dataش برابر add_acount بود به کاربر بگه شمارش رو وارد کنه اینجا باز هم اومدیم خیلی ساده از متود ask برای گرفتن شماره کاربر استفاده کردیم.یه مورد دیگه هستش، وقتی الان کاربر رو دکمه کلیک میکنه درسته که بهش میگه شمارش رو بفرسته ولی اگه دقت کنید روی دکمه یه ساعت سفید رنگ میاد که این به این دلیل هستش که داخل callbacK_query ما باید بیایم یه answer_callback_query رو بفرستیم یا مثلا دکمه رو پاک کنیم یا دکمه رو چینج بکنیم مثلا یه سری دکمه دیگه نمایش بدیم ولی اینجا چون ما ask کریدم و در واقع send_message میشه برای همین اون علامت باقی میمونه، اگه بخوایم بعد از اینکه جواب میدیم پاک بشه میتونیم از متود answer استفاده کنیم (یه شورت کات هستش به جای اسم بالا که یکم طولانیه)به این شکل مینویسیم :await query.answer("")البته اینشکلی هیچ اتفاقی نمیفته(در واقع میفته ولی کاربر چیزی نمیبینه صرفا اون علامت ساعت میره)اگه بخوایم میتونیم از این برای نمایش یه سری متن هم استفاده بکنیم مثلا زمانی که کاربر روی یه دکمه کلیک میکنه ولی دکمه برای اون کاربر نیستش مثلا فقط ادمین حق داره از اون استفاده بکنه تو این شرایط میتونیم این رو بزاریم و وقتی کاربر کلیک میکنه بهش اخطار بده و... کافیه داخل اون استرینگ متنی که میخوایم رو بنویسیم.answer callback query همونطور که میبینید بالای صفحه نمایش داده میشه و اون ساعت هم روی دکمه شیشه ای دیگه نمیمونه. داخل کد های بالا ما مینوشتیم client.ask شما میتونید روی ابجکت user و chat هم از متود ask استفاده کنید. همچنین وقتی ask میکنید منتظر میمونه تا اپدیت جدید دریافت بشه و همینجوری منظتر میمونه، مگر اینکه پروسس کدمون kill بشه(البته اگه timeout ست نکرده باشیم براش) برای هیمن میتونیم از متود cancel_listener استفاده کنیم و فقط یه پارامتر chat_id باید بدیم بهش البته میتونیم رو ابجکت مثلا User و Chat هم صداش بزنیم مثلا :bot.cancel_listener(chat_id) # OR message.chat.cancel_listener() # OR message.from_user.cancel_listener()البته این عمل یه اکسپشنی رو هم برمیگردونه، یه مانکی پچ دیگه هم برای این Exception ایجاد شده که میتونید زمانی که ask میکنید اون ask رو داخل یه try قرار بدید و ارور رو هندل کنیدexcept pyrogram.errors.ListenerCanceled:درواقع این متود cancel_listener میاد future که پشت صحنه ایجاد شده رو پاک میکنه. نکته: وقتی میگید app.ask اینجا دیگه منتظره که یه پیامی بیاد و اون رو دریفات بکنه، تو این حالت خط بعدش اجرا نمیشه و تو این حالت ها نمیتونید کنسل بکنید چون این هر اپدیت مسیجی که بیاد رو دریافت میکنه، اگر مثلا اپدیت هایی غیر از مسیج داشته باشیم مثلا اینلاین کوئری یا کالبک دکمه شیشه ای و.. میتونیم از این کنسل استفاده کنیم، بیشتر مواقع هم همون تایم اوت ست کردن جواب میده...میتونید به یه شکل دیگه هم منطق کنسل کردن رو پیاده کنید، مثلا یه حالت دارید که میگید به کاربر ورودی رو بده و یه دکمه عادی به اسم کنسل هم نشون دادید بهش، داخل کد میتونید شرط بزارید مثلاuser_input = await app.ask(.......) if user_input in cancel_key: do something...به این شکل میتونید چک کنید اگر اینپوت کلید کنسل بود یه کاری رو انجام بده.... اینجوری هم میشه! غیر از این حالت ها تایم اوت جواب میده.خب دوستان آموزش تا همینجا بود امید وارم براتون مفید بوده باشه، پیشنهاد میکنیم لینک های مربوطه که براتون گذاشتم رو یه نگاهی بندازید، اونجا کامل تر هستش چون داخل یه مقاله نمیشه همه چیز رو گفت و خسته کننده و طولانی میشه و بهتر که همیشه یه نگاهی به داکیومنت بندازیم...مثل همیشه میتونید لایک کنید کامنت بزارید و اگه دوست داشتید با بقیه هم شیر بکنید، اگه مشکلی، حرفی چیزی هم بود میتونید کامنت بزارید ❤️

اضافه کردن قابلیت اپلود عکس و فیلم به ادیتور TinyMCE در Django

;...z@nko!# — Fri, 24 Dec 2021 02:40:30 +0330

جاده فرعی :))خب سلام دوستان، تو این قسمت میخوایم به ادیتور TinyMCE یه اپشن اضافه کنیم که بتونیم عکس ها رو با استفاده از file browser دیفالت سیستم اپلود کنیم چون در حالت دیفالت همچین اپشنی نیست و مجبوریم url رو دستی بدیم بهش یا بریم از پکیج های دیگه کمک بگیریم مثلا بیایم از پکیج filebrowser استفاده کنیم که باز خود این باز دیپندنسی داره به grappelli (django-grappelli) که اون هم تمپلیت پنل ادمین جنگو رو تغیر میده و خب این برای من زیاد جالب نبود که این همه دیپندنسی نصب کنم صرفا برای یه اپلود عکس؟؟! زیاد بود واقعا برای همین بیاید بدونه نصب کردن این دیپندنسی ها مشکل رو حل کنیم ...- اضافه کردن قسمت اپلود به ادیتور TinyMCEمرحله اول میایم یه فایل داخل دایرکتوری static مون ایجاد میکنیم :ساختار دایرکتوری مون فرض کنیم اینشکلیه. ├── core │ ├── urls.py │ ├── settings.py │ └── ... ├── post │ ├── admin.py │ ├── models.py │ └── ... └── static └── js └── uploader.js خب الان ما یه دایرکتوری به اسم static داریم که فایل های static مون داخلش قرار میگین(اطلاعات بیشتر راجب static فایل ها...)، اینجا ما میایم یه دایرکتوری برای فایل های js مون ایجاد میکنیم و داخل دایرکتوری یه فایل به اسم uploader.js یا هر اسم دیگه که میخواید ایجاد میکنیم، بعد داخل این فایل میایم کد زیر رو قرار میدیم:- Uploader.jstinymce.init({ selector: "textarea#id_body", height: "700", width: "1300", plugins: "insertdatetime media image preview", toolbar: "undo redo | bold italic | alignleft alignright aligncenter alignjustify | image media | preview", image_title: true, image_caption: true, automatic_uploads: true, image_advtab: true, file_picker_types: "image media", file_picker_callback: function (cb, value, meta) { var input = document.createElement("input"); input.setAttribute("type", "file"); if (meta.filetype == "image") { input.setAttribute("accept", "image/*");} if (meta.filetype == "media") { input.setAttribute("accept", "video/*");} input. = function () { var file = this.files[0]; var reader = new FileReader(); reader. = function () { var id = "blobid" + (new Date()).getTime(); var blobCache = tinymce.activeEditor.editorUpload.blobCache; var base64 = reader.result.split(",")[1]; var blobInfo = blobCache.create(id, file, base64); blobCache.add(blobInfo); cb(blobInfo.blobUri(), { title: file.name }); }; reader.readAsDataURL(file); }; input.click(); }, content_style: "body { font-family:Helvetica,Arial,sans-serif; font-size:14px }" });این چند خط کد برای اپلود کرد فیلم و عکس کافیه و چیز دیگه ای نیاز نیست ولی خب این رو در نظر داشته باشید کانفیگ هایی که داخل settings برای TinyMCE ست کردیم(البته اگه ست کردید!) دیگه الان با این تغیر اینجا بدرد نمیخوره و اعمال نمیشه پس اگر اپشنی چیزی میخواید نمایش داده بشه اینجا اعمال کنید مثلا چیز های بیشتری داخل toolbar میتونید قرار بدید(کلی اپشن دیگه داره که داخل داکیومنتش میتونید بخونید...)برای کانفیگ قسمت مربوط به image دوتا لینک زیر رو میتونید بخونید: https://www.tiny.cloud/docs/configure/file-image-upload/#automatic_uploads https://www.tiny.cloud/docs/plugins/opensource/image/#options - Edit Admin Panelمهم ترین قسمت ماجرا این هستش که چطوری داخل ادمین پنل بتونیم گذینه اپلود رو اضافه کنیم(این رو هم بگم هرجا نیاز داشتید به اپلود از همین کدی که نوشتیم میتونید استفاده کنید و...)، برای این کار ما باید فایل زیر رو پیدا و ادیت کنیم :/django/contrib/admin/templates/admin/change_form.html ته این فایل قبل از خط {% endblock %} باید بیایم و این خط زیر رو بهش اضافه کنیم که فایل js مون لود بشه :