نوشته های امیر محمدی

حل مساله اول اویلر با اسمبلی و gdb

امیر محمدی — Tue, 23 Apr 2024 18:53:36 +0330

مدتی قبل با «مرحله ۳» آشنا شدم که ترجمه‌ای فارسی از Project Euler بود. بهانه خوبی به نظرم اومد تا دوباره نگاهی به سوالاتش بندازم.در قدم اول سعی می‌کنم یک برنامه کوچک اسمبلی بنویسم.section .text section .data section .bssدر حال حاضر نیازی به دیتا ندارم پس می‌شه از .data و .bss چشم‌پوشی کرد. فایل بالا رو می‌تونم به این شکل اسمبل کنم:$ nasm -felf64 problem1.asm -o problem1.oنگاهی به فایل خروجی بندازیم:$ file problem1.o problem1.o: ELF 64-bit LSB relocatable, x86-64, version 1 (SYSV), not strippedبرای اجرای برنامه لازمه فایل بالا لینک بشه. از gnu linker استفاده می‌کنم:$ ld -m elf_x86_64 problem1.o -o problem1 ld: warning: cannot find entry symbol _start; defaulting to 0000000000401000لینکرها برای پیدا کردن آدرس instructionها و اجراشون از لیبل‌های مشخص کمک می‌گیرند (یا بطور پیش‌فرض از آدرسی خاص شروع به اجرا می‌کنند). پس به این شکل:section .text global _start _start: nopیا بطور مشابه می‌تونستیم با gcc هم خروجی اسمبلر رو لینک کنیم. gcc بطور پیش‌فرض دستورات رو از لیبل main شروع به خوندن می‌کنه. پس به این شکل هم می‌تونستیم فایل زیر رو داشته باشیم:section .text global main main: nopیک Makefile ساده می‌نویسم تا فرایند اسمبل و لینک کردن رو راحت‌تر کنم:problem1: problem1.o ld -m elf_x86_64 problem1.o -o problem1 problem1.o: problem1.asm nasm -felf64 problem1.asm -o problem1.oاجرای برنامه منجر به خطای زیر می‌شه:$ make && ./problem1 [1] 365385 segmentation fault (core dumped) ./problem1هممم! منطقیه که ما می‌دونیم دستورات‌مون کجا تمام شدن؛ سی‌پی‌یو اما بعد از اجرای خط اول، به روند اجرا ادامه می‌ده و رجیستر instruction pointer (ip) رو جلو می‌بره. پس لازمه در نقطه‌ای از برنامه خارج بشیم.بیایین نگاهی بندازیم به لیست syscallهای لینوکس (اینجا)linux syscalls tableهر syscall با یک عدد مشخص شده که با رجیستر rax بهش اشاره می‌کنیم و آرگومان‌های اون به ترتیب روی rdi، rsi و rdx نوشته می‌شه. سخت شد؟ مثال پایین رو ببینیم:mov rax, 3 mov rdi, 666 syscallبه این شکل sys_close رو صدا زدیم (rax = 3) و فایلی با شناسه ۶۶۶ (rdi = 666) رو بستیم.با ایده‌ای مشابه می‌تونم sys_exit رو صدا بزنم و از برنامه خارج بشم:section .text global _start _start: mov rax, 60 mov rdi, 69 syscallکه اگه اجراش کنیم:$ make && ./problem1اینطوری می‌تونم exit code دستور قبلی رو چک کنم:$ echo $? 69خب! نگاهی به سوال اول بندازیم:marhale3.github.ioبرای شروع سعی می‌کنم از ۱ تا ۱۰ بشمارم. قبلش ساختار کلی یک رجیستر رو در یک سیستم ۶۴ بیتی x86 ببینیم:برای شمارش از ۱ تا ۱۰ یک رجیستر ۸ بیتی هم کافیه. برای شمارش اعداد کمتر از ۱۰۰۰ چطور؟ نه!پس می‌تونم از ۱۶ بیت رجیستر استفاده کنم:section .text global _start _start: + mov bx, 1 + loop: + inc bx + cmp bx, 10 + jne loop mov rax, 60 mov rdi, 69 syscallحالا کافیه ببینیم کدوم اعداد به ۳ یا ۵ بخش‌پذیرن.با نگاهی به instruction setهای x86 متوجه می‌شیم که باقی‌مانده تقسیم جفت‌رجیستر DX:AX به یک رجیستر ۱۶ بیتی داخل DX ذخیره می‌شه. می‌تونیم چنین ماکرویی برای محاسبه باقی‌مانده بنویسیم:%macro mod 2 mov ax, %1 mov cx, %2 mov dx, 0 div cx %endmacroو اینطوری استفاده‌ش کنیم:section .text global _start _start: mov bx, 1 loop: + mov cx, 3 + mod bx, cx + cmp dx, 0 + je _divisible + + mov cx, 5 + mod bx, cx + cmp dx, 0 + jne _after + + _divisible: + _after: inc bx cmp bx, 10 jne loop + _exit: mov rax, 60 mov rdi, 69 syscallحالا می‌تونیم اعدادی که بخش‌پذیر بودن رو داخل یک بافر جمع بزنیم و روی exit code خروجی بدیم:section .text global _start _start: mov bx, 1 loop: mov cx, 3 mod bx, cx cmp dx, 0 je _divisible mov cx, 5 mov bx, cx cmp dx, 0 jne _after _divisible: + add [result], ebx _after: inc bx cmp bx, 10 jne loop _exit: mov rax, 60 + mov rdi, [result] syscall + section .data + result dd 0با اجرای برنامه به عدد ۲۳ می‌رسیم که خروجی درستیه. روال مشابهی رو برای اعداد ۱ تا ۱۰۰۰ انجام می‌دیم:$ make && ./problem1 $ echo $? 208به عدد ۲۰۸ می‌رسیم که به نظر خروجی درستی نیست. با کمی جستجو متوجه می‌شیم که exit codeهای استاندارد لینوکس همیشه بین ۰ تا ۲۵۵ هستن.می‌تونیم نتیجه رو مستقیم از مموری بخونیم. با gdb برنامه رو اجرا می‌کنم و روی لِیبل _exit متوقف می‌شم:$ gdb ./problem1 (gdb) break _exit (gdb) runلِیبل _divisible رو دیس‌اسمبل می‌کنم تا آدرس بافر رو به دست بیارم:(gdb) disass _divisible Dump of assembler code for function _divisible: 0x0000000000401032 <+0>: add DWORD PTR ds:0x402000,ebxو مقدار داخل بافر رو دامپ می‌کنیم:(gdb) print *0x402000 $1 = 233168

چگونه با حذف حافظه مشترک، صدها هزار درخواست در ثانیه را پردازش کردیم

امیر محمدی — Wed, 03 May 2023 15:37:47 +0330

محصول CDN ابر آروان در هر ثانیه صدها هزار درخواستِ متعلق به ده‌ها هزار دامنه مختلف را دریافت می‌کند و هر کدام از این درخواست‌ها براساس تنظیماتِ دامنه توسط یک یا چند ماژول مختلف پردازش می‌شوند (برای مثال ماژول فایروال، Rate Limit و ...). پردازش این حجم بالا از اطلاعات نیازمند معماری مناسب و راهکارهایی برای بهبود کارایی است.معماری فعلیدر معماری کنونی به تعداد هسته‌های منطقی CPU در سیستم، Nginx Worker داریم که برای استفاده بهینه از منابع و دستیابی به بیشترین بهره‌وری سعی می‌کنیم تا حد امکان مستقل از یکدیگر عمل کنند. متناسب با هر worker یک accept queue مستقل داریم و پردازش هر درخواست از ابتدای برقراری کانکشن تا ارسال جواب به درخواست‌دهنده و بسته شدن، در یک worker صورت می‌گیرد.مکانیزم فعلی nginx به گونه‌ای است که workerها سوکت‌های جداگانه‌ای در حالت SO_REUSEPORT باز می‌کنند؛ به صورت پیش‌فرض در کرنل لینوکس برای هر چهارتایی از IP و Port مبدا و مقصد مقدار Hash محاسبه شده و بر اساس آن پکت‌ها به یکی از این workerها هدایت می‌شوند.چالشماژول‌ها برای پردازش هر درخواست به داده‌هایی نیاز دارند که باید بین تمام یا بخشی از workerها به اشتراک گذاشته شوند. بخش زیادی از این داده‌ها (مانند تنظیمات دامنه‌ها) read-intensive هستند و می‌توان با مکانیزم RCU (Read - Copy - Update) آن‌ها را به‌صورت non-blocking به اشتراک گذاشت. بخش دیگر، داده‌های تغییر پذیرند (مثل شمارنده‌ی ماژول Rate Limit) که در زمان کوتاه بارها و بارها ممکن است مقدارشان تغییر پیدا کند.حافظه مشترک و داده‌های تغییرپذیربرای مثال، فرض کنید کلاینتی با آدرس 192.51.100.1 درخواستی ارسال کند؛ درخواست‌هایی با پورت‌های مختلف (رفتار مرورگر) منجر به تولید hashهای متفاوت و درنتیجه هدایت آن درخواست به worker جداگانه‌ای می‌شود. از طرف دیگر، همانطور که بالاتر اشاره شد هر worker یک پراسس جداگانه و شامل تمام ماژول‌ها ست. از آنجایی که هر درخواست به worker جداگانه‌ای هدایت شده نیاز به مکانیزمی برای به اشتراک گذاشتن داده‌های آن‌ها داشتیم (برای مثال در ماژول Rate Limit شمارنده‌هایی بر اساس IP هر درخواست را به اشتراک بگذاریم).تلاش اول؛ اشتراک گذاریِ داده‌هادر ابتدا استفاده از Redis و ابزارهای مشابه برای نگهداری این داده‌ها بررسی شد که با کارایی مورد نظر خیلی فاصله داشت. در واقع نیاز بود تا متناسب با هر درخواست، از Redis سوال بپرسیم و داده مناسب را بگیریم؛ در بهترین حالت با فرض اینکه هر کانکشن تنها یک درخواست داشته باشد، با توجه به ترافیک بالای CDN (۱۰۰ تا ۲۰۰ هزار کانکشن هم‌زمان)، درخواست به نودِ Redis تاخیری در حدود ده‌ها تا صد میلی‌ثانیه به وجود می‌آورد.در قدم بعدی این مساله را با استفاده از یک حافظه مشترک (Shared Memory) حل کردیم؛ نتیجه بسیار بهتر شد اما به اندازه‌ی کافی بهینه نبود. درواقع در لحظات اولیه یک حمله DDoS این داده‌های تغییر پذیر با نرخ بسیار بالایی تغییر می‌کنند، استفاده از lock روی بخشی از مموری در این زمان درخواست‌های سالم را هم تحت تاثیر قرار می‌دهد، که مستقل از شیوه طراحیِ حافظه مشترک (blocking / lock-free) باعث افت کارایی می‌شد.تلاش دوم؛ تغییر معماریاستراتژی کرنل برای توزیع بار (محاسبه hash از چهارتایی IP و Port مبدا و مقصد) باعث می‌شد در حملات، درخواست‌های مخرب به workerهای مختلف هدایت شوند و lock شدن حافظه مشترک اتفاق بیفتد. پس ایده بعدی تغییر نحوه توزیع بار بود به صورتی که نیاز به هرگونه حافظه مشترک از بین برود و از سخت‌افزار حداکثر بهره را ببریم. امکان تغییر شیوه این توزیع بار با نوشتن یک برنامه eBPF از ورژن ۴.۵ کرنل برای UDP و ۴.۶ برای TCP ارائه شده.تصمیم گرفتیم پکت‌ها را بر اساس fingerprint دیگری بین workerها توزیع کنیم تا هر کلاینت مشخص همیشه به یکی از آن‌ها متصل شود. حافظه مشترک را در تمام ماژول‌های امنیتی که باید با حملات مقابله کنند حذف و همینطور برای اینکه از سخت‌افزار بیشترین بهره را ببریم، تسک‌های پردازشی را از تسک‌های منطقی جدا کردیم.در nginx تغییراتی انجام دادیم تا برنامه eBPF که برای این کار نوشته بودیم را به سوکت‌های با آپشن SO_REUSEPORT متصل کند.بخشی از برنامه eBPF برای تغییر رفتار پیشفرض کرنل در توزیع ترافیک بین سوکت‌هایک آرایه از سوکت‌های listen شده در reuse_sockmap نگهداری می‌کنیم که هنگام بالا آمدن nginx مقداردهی می‌شود؛ هر درخواست در مرحله socket lookup به این برنامه eBPF می‌رسد و به کمک یک تابع hash به یکی از سوکت‌های آرایه هدایت می‌شود.مقایسه بنچمارک: ۱.داشتن حافظه مشترک ۲.استفاده از لودبالانسر eBPFبا توجه به نمودار بالا که مقایسه‌ای از بنچمارک در دو حالت: ۱. استفاده از لودبالانسر پیش‌فرض کرنل و داشتن حافظه مشترک و ۲. استفاده از لودبالانسر eBPF و تغییر شیوه توزیع بار است، در حالت دوم با افزایش تعداد درخواست‌ها تفاوت محسوسی در Response Time رخ نمی‌دهد.جمع‌بندیبه‌طور کلی اگر سرویس‌دهنده‌ای در ابعاد یک CDN هستید باید در حالت عادی هم استراتژی‌هایی برای توزیع یکنواختِ load روی هسته‌های CPU داشته باشید و موضوع را به طور دائم مونیتور کنید. به این دلیل که سشن‌های درازمدتِ TCP ممکن است بار را از حالت تعادل بسیار دور کنند یا اگر لودبالانسرِ socket یا مدل polling کرنل را patch می‌کنید به شکل مضاعف باید نگران یکنواختی این توزیع باشید و برای سناریوهای مختلف راه‌حل داشته باشید. همچنان که هر کدام از این تغییرات نباید سشن‌های TCP یا پروتکلی مثل QUIC را در آینده مختل کنند.

مهندسی معکوس ویروس کرونا (SARS-COV2) | تلاش اول

امیر محمدی — Sun, 29 Mar 2020 17:38:41 +0430

نکته اولیه:مرکز ملی اطلاعات زیست‌فناوری (NCBI) شروع کرده به منتشر کردن دیتابیس‌هایی مربوط به ژنوم ویروس SARS-COV-2 (مثلا این) و این مطلب فقط مجموعه مطالعاتم برای شناخت بهتر این ویروس در این روزها ست؛ یک جور مستندسازی از مجموعه فعالیت‌هایی که برای شناختش دارم انجام می‌دم؛نه داده کاوی بلدم و نه شناخت قبلی از ساختار ویروس‌ها دارم؛ به پیروی از این پروژه جورج هاتز که کار مشابهی کرده با داده‌ها ور می‌ریم.داده‌های ژنومی:بالاتر گفتم سایت NCBI دیتابیس‌های اطلاعاتی کرونا رو منتشر کرده؛ بذارین یه نمونه از اون‌ها رو ببینیم:https://www.ncbi.nlm.nih.gov/nuccore/MN908947اطلاعات بالا، ژنوم یک نمونه در ووهان چین رو نشون می‌ده.ما توی تئوری اطلاعات، مفهومی داریم به اسم پیچیدگی کولموگروف؛ پیچیدگی کولموگروفِ یک متن، طول کوتاه‌ترین برنامه کامپیوتری هست که اون رو به عنوان خروجی تولید می‌کنه؛ به عبارت ساده‌تر: یک متن، چقدر اطلاعات داره!یک روش ساده برای به دست آوردن تقریبی این مقدار، استفاده از الگوریتم‌های فشرده‌سازیه؛ مثلا اینکه متن رو zip کنیم که حجم نهایی می‌شه میزان اطلاعات خالص.قبل از هر چیزی لازمه که اطلاعاتی که داریم رو به فرم معقول‌تری دربیاریم؛ مثلا یک رشته‌ی کاراکتریِ پشت سر هم (بدون عدد و رقم). من از پایتون استفاده می‌کنم:import re corona = ''' 1 attaaaggtt tataccttcc caggtaacaa accaaccaac tttcgatctc ttgtagatct 61 gttctctaaa cgaactttaa aatctgtgtg gctgtcactc ggctgcatgc ttagtgcact 121 cacgcagtat aattaataac taattactgt cgttgacagg acacgagtaa ctcgtctatc 181 ttctgcaggc tgcttacggt ttcgtccgtg ttgcagccga tcatcagcac atctaggttt 241 cgtccgggtg tgaccgaaag gtaagatgga gagccttgtc cctggtttca acgagaaaac 301 acacgtccaa ctcagtttgc ctgttttaca ggttcgcgac gtgctcgtac gtggctttgg 361 agactccgtg gaggaggtct tatcagaggc acgtcaacat cttaaagatg gcacttgtgg 421 cttagtagaa gttgaaaaag gcgttttgcc tcaacttgaa cagccctatg tgttcatcaa .... ''' corona = ''.join(re.findall('[a-zA-Z]+', corona))خروجی درسته:attaaaggtttataccttcccaggtaacaaaccaaccaactttcgatctcttgtagatctgttctctaaacgaactttaaaatctgtgtggctgtcactcggctgcatgcttagtgcactcacgcagtataattaataactaattactgtcgttgacaggacacgagtaactcgtctatcttctgcaggctgcttacggtttcgtccgtgttgcagccgatcatcagcacatctaggtttcgtccgggtgtgaccgaaaggtaag...بیایید سایزش رو با چیزی که ویکیپدیا گفته مقایسه کنیم:۲۹۹۰۳۲۹۹۰۳پس ادامه بدیم؛ پیچیدگی کولموگروف رو حساب کنیم:import zlib comp = zlib.compress(corona) print(len(comp))اررررررور!یه بار دیگه؛ اطلاعات قبل از فشرده‌سازی باید encode می‌شدن:comp = zlib.compress(corona.encode('utf-8')) print(len(comp))خروجی می‌گه: 8858یعنی ویروس کرونا حدود ۸ کیلوبایت اطلاعات داره؛ نکته بامزه اینکه sql slammer (کرم کامپیوتری) فقط حدود ۳۷۶ بایت حجم داشت!یک مقایسه:ظاهرا می‌تونستیم دیتای مرتب شده رو هم از NCBI دانلود کنیم؛ بهرحال!اینجا نوشته که شباهت زیادی بین Bat Coronavirus و SARS-COV-2 وجود داره؛ از این لینک می‌شه رشته‌های ژنومی مختلف رو سرچ کرد.https://www.ncbi.nlm.nih.gov/labs/virusدنبال اطلاعات کرونا ویروس‌هایی که بین خفاش، مرغ، سگ و شتر دیده شده بگردیم و با نمونه‌ای که داریم مقایسه کنیم.لازمه یک سری اطلاعات (virus و host) رو به سایت بالاییه بدیم تا دیتا رو پیدا کنه و دانلودش کنیم؛ کرونا ویروس‌ها عضو خانواده Coronaviridae حساب می‌شند. فیلد Virus رو Coronaviridae می‌ذاریم و Host رو bat، chicken، dog و camel.چجوری مقایسه‌شون کنیم؟! |:فاصله لون‌اشتاین:بله بله! روش‌های بهتری هم برای مقایسه رشته‌های ژنتیکی وجود داره، بذارین فعلا از همین استفاده کنم.فرض کنید دوتا رشته داشته باشیم؛ مثلاs1 = 'amir' s2 = 'mina'کمترین تعداد تغییراتی که می‌تونه s1 رو به s2 تبدیل کنه، فاصله لون‌اشتاین اونهاست. می‌شه گفت: اندازه‌گیری فرق بین دو تا رشته؛فاصله لون‌اشتاین، با حضور خودم در پس‌زمینه D:من چهار تا فایل دارم با یک عالمه رشته ژنتیکی از یک سری جونوَر؛ یه نگاه به این فایل بندازیم:هر فایل، یک سری رشته داره که خط اولِ هر کدوم اینجوری شروع شده:> blah blah blah |blah blah blah blah blah| blah blah blahتوی قدم اول، فایل رو باز می‌کنیم و نمونه‌ها رو توی لیست نگه می‌داریم:file = open('bat.fasta', 'r') lines = file.read().split('\n') current_sequence = '' genomes = [] for line in lines[1:]: # ignore first lines if line[0] == '>': genomes.append(current_sequence.lower()) current_sequence = '' continue # append lines to current sequence until end of the sequence current_sequence += lineحالا هر کدوم از اونها رو با رشته‌ای که داشتیم مقایسه می‌کنیم و میانگین می‌گیریم:from editdistance import distance # install with pip install editdistance avg = 0 for genome in genomes: avg += distance(corona, genome) print(avg / len(genomes))همین روند رو برای هر چهار تا فایلی که داریم انجام می‌دیم و نتیجه:ظاهرا شبیه‌ترین کرونا ویروسی که بین این حیوون‌ها وجود داشته نسبت به نمونه‌ای که داریم، bat coronavirus هست؛ همین مقایسه با انفولانزای A و B هم نشون می‌ده نمونه‌ای که داریم از نظر ساختاری با آنفولانزا کلی تفاوت داره؛ کرونا، آنفولانزا نیست.کمی عمیق‌تر:ویکی‌پدیا می‌گه: بیان ژن (gene expression) فرایندی است که در آن اطلاعات درون ژن استفاده می‌شود تا یک محصول کاربردی از آن بدست آید. محصول ژن‌ها عمدتاً آمینو اسیدی هستند.مراحل مختلفی را می‌توان برای فرایند بیان ژن در نظر گرفت که عموماً شامل رونویسی، اتصال RNA، ترجمه و تغییرات بعد از ترجمه یک پروتئین می‌باشد.از آنجا که تمام سلول‌های بدن ما از یک سلول مشتق شده‌اند تفاوت‌ها و تمایزات بین سلول‌ها حاصل از بیان شدن یا نشدن قسمت‌هایی از ژن است.تا جایی که متوجه شدم یک رشته DNA توی دو مرحله به پروتئین تبدیل می‌شه:۱- رونویسی‌ (transcription): اطلاعات خاصی از DNA یک ژن به RNA کپی میشه۲- ترجمه (translation): که دنباله نوکلئیدهای mRNA به دنباله amino acid پروتئین تبدیل می‌شهtaken from www.khanacademy.orgاینجا گفته که:و ظاهرا فقط لازمه که مرحله ۲ (ترجمه یا translation) رو انجام بدیم.بذارین یه خورده دقیق‌تر ببینیم که ترجمه چجوری انجام می‌شه:در واقع یک سری ساختار به اسم ریبوزوم مسئول ساخت پروتئین هستند که mRNA ها رو چک می‌کنه، کدونِ (codon) شروع رو پیدا می‌کنه و کل اون mRNA رو چک می‌کنه (یک کدون در هر لحظه چک می‌شه).یادم رفت بگم! mRNA ساختارش این شکلیه:taken from www.khanacademy.org اگه یک رشته mRNA رو به بخش‌های سه تایی تقسیم کنیم، به هر کدوم از این بخش‌ها می‌گن یک کدون (codon)؛ یک کدون شروعِ رشته رو مشخص می‌کنه و یکی هم آخر رشته رو.ریبوزوم از کدون اول شروع می‌کنه به ترجمه کردن؛ از کجا می‌دونه که هر کُدون رو به چه آمینو اسیدی ترجمه کنه؟! اطراف سلول، یک سری tRNA وجود داره و هر tRNA یک نوع آمینو اسید رو مشخص می‌کنه؛ ریبوزوم کدون‌هایی که می‌خونه رو با هر کدوم از این tRNAها مقایسه می‌کنه و اگه match بود انتخابش می‌کنه؛ دقیقا مثل اینکه دستورات سه بایتیِ زبان ماشین داشته باشیم!taken from www.khanacademy.org جدول کدون‌ها رو داریم:https://en.wikipedia.org/wiki/DNA_codon_tableبیایید یک جور دیس‌اسمبلر کوچیک بنویسیم:import re # genetic code codon_table = { 'ttt': 'F', 'ttc': 'F', 'tta': 'L', 'ttg': 'L', 'ctt': 'L', 'ctc': 'L', 'cta': 'L', 'ctg': 'L', 'att': 'I', 'atc': 'I', 'ata': 'I', 'atg': 'M', 'gtt': 'V', 'gtc': 'V', 'gta': 'V', 'gtg': 'V', 'tct': 'S', 'tcc': 'S', 'tca': 'S', 'tcg': 'S', 'cct': 'P', 'ccc': 'P', 'cca': 'P', 'ccg': 'P', 'act': 'T', 'acc': 'T', 'aca': 'T', 'acg': 'T', 'gct': 'A', 'gcc': 'A', 'gca': 'A', 'gcg': 'A', 'tat': 'Y', 'tac': 'Y', 'taa': '$', 'tag': '$', 'cat': 'H', 'cac': 'H', 'caa': 'Q', 'cag': 'Q', 'aat': 'N', 'aac': 'N', 'aaa': 'K', 'aag': 'K', 'gat': 'D', 'gac': 'D', 'gaa': 'E', 'gag': 'E', 'tgt': 'C', 'tgc': 'C', 'tga': '$', 'tgg': 'W', 'cgt': 'R', 'cgc': 'R', 'cga': 'R', 'cgg': 'R', 'agt': 'S', 'agc': 'S', 'aga': 'R', 'agg': 'R', 'ggt': 'G', 'ggc': 'G', 'gga': 'G', 'ggg': 'G', } def disassemble(genome): global codon_table codons = re.findall('.{1,3}', genome) # split genome to triplets (codons) pteins = ''.join(map(lambda x: codon_table[x], codons)) return pteinsبعدا این باید بهش اضافه بشه؛ فعلا کار راه اندازه.یه نگاه به این بندازین:اینجا هم اطلاعات کامل‌تر نمونه‌ای که داریم اومده؛ بیایید مثل یک سری فانکشن مدلش کنیم:sars_cov_2 = {} sars_cov_2['5utr'] = corona[0:265] sars_cov_2['orf1a'] = disassemble(corona[265:13483]) sars_cov_2['orf1b'] = disassemble(corona[13467:21555]) sars_cov_2['S'] = disassemble(corona[21562:25384]) sars_cov_2['orf3a'] = disassemble(corona[25392:26220]) sars_cov_2['E'] = disassemble(corona[26244:26472]) sars_cov_2['M'] = disassemble(corona[26522:27191]) sars_cov_2['orf6'] = disassemble(corona[27201:27387]) sars_cov_2['orf7a'] = disassemble(corona[27393:27759]) sars_cov_2['orf7b'] = disassemble(corona[27755:27887]) sars_cov_2['orf8'] = disassemble(corona[27893:28259]) sars_cov_2['nucleocapsid_phosphoprotein'] = disassemble(corona[28273:29533]) sars_cov_2['orf10'] = disassemble(corona[29557:29674])خوبه! حالا ببینیم هر کدوم چیکار می‌کنند.هممم.. طولانی شد... نفس بگیرید، ادامه بدیم D:relax, relax, relaxاگه کرونا رو مثل یک ویروس کامپیوتری تصور کنیم:دوتا orf اول یعنی orf1a و orf1b مثل ماشین کپی یا quine عمل می‌کنندپروتئین S همون چیزی هست که کرونا برای چسبیدن به غشای سلول و نفوذ بهش استفاده می‌کنه؛ مثل اکسپلویتِ کامپیوتری! می‌گن ACE2، نقطه ورود بعضی از ویروس‌های کرونا به سلول‌ و همون چیزیه که S بهش می‌چسبه؛ علت اینکه می‌گفتن داروهای قلبی یا فشار خون روی ویروس تاثیر داره هم ظاهرا کم و زیاد شدن همین ACE2 هست.پوشش ویروسی (M و E) هم یک لایه بیرونی هست که وقتی ویروس وارد سلول شده، اون رو پوشش می‌ده؛ تا جایی که متوجه شدم هم باعث می‌شه که ویروس از دید دستگاه ایمنی بدن مخفی بمونه و هم وظیفه شناسایی و چسبیدن به گیرنده‌های اون سلول رو دارهبا این شرایط، بد نیست به این دو موضوع فکر کنیم:چجوری اکسپلویت رو از کار بندازیم؛ یا اینکه سلول رو در برابرش ایمن کنیمچجوری ماشین کپی رو متوقف کنیمقدم‌های بعدی:لازمه درک بهتر این ویروس، شناخت دقیقتر اجزای تشکیل دهنده‌ اونه؛ تلاش بعدی می‌تونه شناخت ساختار و عملکرد پروتئین‌های سازنده، استفاده از فانکشن‌هایی که نوشتیم و رسم نمودارهاشون باشه.همونطور که گفتم، این‌ها صرفا تلاشم برای درک بهتر ویروس کرونا ست و هدف دیگه‌ای نداره؛ اگه حس کنم چیزی که نوشتم مفید بوده ادامه‌ اون رو هم اینجا منتشر می‌کنم (:مرتبط:https://en.wikipedia.org/wiki/Severe_acute_respiratory_syndrome_coronavirus_2https://siasky.net/bACLKGmcmX4NCp47WwOOJf0lU666VLeT5HRWpWVtqZPjEAhttps://www.chaibio.com/coronavirushttps://en.wikipedia.org/wiki/Angiotensin-converting_enzyme_2https://en.wikipedia.org/wiki/Protein_structure_prediction#Secondary_structurehttps://www.ncbi.nlm.nih.gov/pmc/articles/PMC2095096/pdf/JIDMM17330.pdfhttp://www.cmi.ustc.edu.cn/1/3/193.pdf

دور زدن کپچای سایت سایپا بدون پردازش تصویر

امیر محمدی — Mon, 02 Dec 2019 23:12:25 +0330

‌‌دور زدن کپچای saipa.irancar.comپیامی داشتم که دوستی می‌گفت دنبال یک اسکریپت ساده هست تا بتونه فیلدهای یک سری فرم، مثل فرم سامانه فروش سایپا رو اتوماتیک پر کنه.خب! راه حل، سرراست و ساده به نظر می‌رسه، به جز کپچای پایین صفحه که همیشه دردسر ساز بوده!توی این پست قصد دارم قدم به قدم، مراحلی که برای دور زدن کپچای سایت https://saipa.iranecar.com انجام دادم رو توضیح بدم.DON'T TRY THIS AT HOME!!! :))تلاش اولبرای شروع کنجکاوی روی کپچا راست کلیک میکنم و inspect element رو میزنم تا ببینم اون پشت چه خبره.You can use Inspect Element to have fun!اتفاق عجیب و شوک کننده اینکه دیتاهای کپچا به صورت inline svg داخل متن html ذخیره شدند!! با کمی دقت متوجه می‌شیم که کل تصویر کپچا به صورت یک سری داده داخل تگهای path هستند.The Path Is Everywhereدر قدم اول، همه داده های مربوط به کد کپچا رو با چند خط کد استخراج می‌کنم. انتخاب من برای این‌کار، پایتون و سلنیوم:from selenium import webdriver driver = webdriver.Chrome('/path/to/your/webdriver') driver.get('https://saipa.iranecar.com/registration') paths = driver.find_elements_by_tag_name('path')مشخصه که در خط دوم، سایت سایپا رو باز می‌کنم و بعد تمام elementهایی که تگ path دارند رو داخل یک لیست نگه می‌دارم.یک مشکل! با رفتن به لینک https://saipa.iranecar.com، مستقیماً صفحه ای که کپچا وجود داره باز نمی‌شه و نیازه تا یک سری کلیک و انتخاب داشته باشیم تا به صفحه مورد نظرمون برسیم.برای جلوگیری از مشکل ساز شدنش، یک ورودی به کد بالا اضافه می‌کنم تا بعد از اینکه به کد کپچا رسیدم و داخل کنسول ENTER زدم برنامه ادامه پیدا کنه:from selenium import webdriver driver = webdriver.Chrome('/path/to/your/webdriver') driver.get('https://saipa.iranecar.com/registration') # wait for input -> after captcha loaded we press enter to continue input('press "ENTER" to see the result') paths = driver.find_elements_by_tag_name('path')یک نگاه به مقادیر attribute d از هر عنصر paths بندازیم:from selenium import webdriver driver = webdriver.Chrome('/path/to/your/webdriver') driver.get('https://saipa.iranecar.com/registration') # wait for input -> after captcha loaded we press enter to continue input('press "ENTER" to see the result') paths = driver.find_elements_by_tag_name('path') for path in paths: print(path.get_attribute('d')) اوه اوه! شد این:WoOwاین عددهای عجیب و غریب، تصویر svg که به عنوان کپچا میبینیم رو می‌سازند.هنوز بهم ریخته و بدرد نخوره و لیستی که داریم خط خطی های اضافی روی کد کپچا رو هم شامل میشه؛ قدم بعدی اینه که اونها رو هم حذف کنم تا فقط لیستی از چهار رقم اصلی رو داشته باشم. برای اینکار کافیه element هایی که fill=none است رو پردازش نکنم!from selenium import webdriver driver = webdriver.Chrome('/path/to/your/webdriver') driver.get('https://saipa.iranecar.com/registration') # wait for input -> after captcha loaded we press enter to continue input('press "ENTER" to see the result') paths = driver.find_elements_by_tag_name('path') for path in paths: if path.get_attribute('fill') != 'none': print(path.get_attribute('d'))ظاهرا همه چیز روبراهه و فقط باید از لیستی که به دست آوردیم، رقم ها رو یکی یکی تشخیص بدیم؛ ایده من اینه که ظاهرا تمام ۵ ها داده های مشابه دارند، تمام ۲ ها داده های مشابه دارند و …یعنی اگه اطلاعات attribute d از هر رقم (از ۰ تا ۹) رو یک جا ذخیر داشته باشم، با مقایسه attribute d عنصرهای داخل لیستم می‌تونم عدد مربوط بهش رو تشخیص بدم.برای اینکه مطمئن بشم، دریافت تصویر جدید رو اونقدر می‌زنم تا به تصویری برسم که رقم تکراری داشته باشه:7317اینجا دو تا هفت داریم و انتظار من اینه که داده های attribute d شون یکسان باشه؛ دیتای مربوط به اولین هفت:و دیتای مربوط به دومین هفت:با یک مقایسه چشمی متوجه می‌شیم که دو مقدار بالا با هم فرق دارند و مقادیرشون یکسان نیست؛ شکست خوردیم!!!!تلاش دومبعد از کمی وَر رفتن با اعداد، نکته عجیبی خودنمایی میکنه! با کد زیر، attribute d از تمام رقم های کپچایی که واسم اومده رو میخونم، اعدادش رو بر اساس اسپیس از هم جدا میکنم، داخل یک لیست می‌ریزم و طول هر لیست رو محاسبه میکنم ( خودم هم نفهمیدم چی گفتم! (: )from selenium import webdriver driver = webdriver.Chrome('/path/to/your/webdriver') driver.get('https://saipa.iranecar.com/registration') # wait for input -> after captcha loaded we press enter to continue input('press "ENTER" to see the result') paths = driver.find_elements_by_tag_name('path') for path in paths: if path.get_attribute('fill') != 'none': data = path.get_attribute('d').split(' ') print(len(data))برای کپچای بالا (7317) نتیجه میشه:210 401 104 210حله (: ظاهرا با وجود اینکه داده های ۱ ها، ۲ ها یا ۳ های مختلف با هم فرق دارند اما همه رقم های مشابه طول یکسان دارند. (توی خروجی بالا برای هر دو تا ۷ طولِ ۲۱۰ به دست اومد)با چند خط کد مشابه و آزمون و خطا یک دیکشنری از ارقام ۰ تا ۹ میسازم که بر اساس len(data) بهم رقم مربوط رو بده:digit = { 246: 0, 104: 1, 264: 2, 401: 3, 221: 4, 269: 5, 273: 6, 210: 7, 352: 8, 290: 9 }حالا کافیه لیست paths رو پیمایش کنم، attribute d رو براساس اسپیس از هم جدا کنم و سایزش رو به دست بیارم؛ سایز رو به دیکشنری بالا می‌دم و تمام!برای تصویر پایین نتیجه میشه:8927290 352 210 264خب خب خب (: رقم ها رو درست تشخیص دادیم ولی ترتیب‌شون رو نه! (ترتیب اعداد بالا می‌شه: ۹۸۷۲)تلاش سومعبارت اول داخل attribute d از هر رقم، شامل یک M هست به اضافه یک عدد اعشاری! (مثلا: M89.65)M10نکته بامزه اینه که هر چی عدد کوچکتر باشه نشون دهنده این هست که اون رقم زودتر توی کپچا ظاهر شده! به عبارت دیگه اگه لیست رو بر اساس این عدد مرتب کنم، ترتیب رقم های کپچا درست می‌شه:from selenium import webdriver digit = { 246: 0, 104: 1, 264: 2, 401: 3, 221: 4, 269: 5, 273: 6, 210: 7, 352: 8, 290: 9 } driver = webdriver.Chrome('/path/to/your/webdriver') driver.get('https://saipa.iranecar.com/registration') # wait for input -> after captcha loaded we press enter to continue input('press "ENTER" to see the result') paths = driver.find_elements_by_tag_name('path') code = [] for path in paths: if path.get_attribute('fill') != 'none': data = path.get_attribute('d').split(' ') location = float(data[0][1:]) # get the number after M d = digit[len(data)] code.append([d, location]) real_code = sorted(code, key=lambda x: x[1]) real_code = ''.join(str(x[0]) for x in real_code) print(real_code)و نتیجه کد با کمی تغییر: https://aparat.com/v/J2v8T هدف از این مطلب، نشون دادن یک مشکل در کپچای سایت سایپا ست که انتظار می‌ره بتونند با یک روش بهتر جایگزینش کنند.