گوگل برت Google BERT (Bidirectional Encoder Representations from Transformers) یک مدل زبانی پیش‌آموزش دیده برای پردازش زبان طبیعی (NLP) است که توسط گوگل تحت معماری ترانسفورمرها توسعه داده شده است. BERT در سال 2018 معرفی شد و در زمینه‌هایی مانند تشخیص انطباق جملات (sentence classification)، گسترش جمله (sentence completion)، دسته‌بندی موضوع (topic classification) و بسیاری از وظایف دیگر در NLP عملکرد بسیار برتری دارد.
بزرگترین ویژگی BERT قابلیت درک متن به صورت دوطرفه است، یعنی به جای این که به صورت تک جهت به متن نگاه کند، سعی می‌کند علاوه بر کلمات قبلی، کلمات بعدی را نیز در روند پیش‌بینی در نظر بگیرد. این ویژگی باعث شده است که مدل BERT قدرتمندتر از مدل‌های قبلی در درک معنا و زبان طبیعی باشد.
به عنوان یکی از مدل‌های پیش‌آموزش دیده، می‌توان BERT را به همراه یک لایه دسته‌بندی خطی برای انجام وظایف خاص NLP مورد استفاده قرار داد و آن را برای تمامی تسک‌های مدل‌سازی زبانی منطبق کرد. ???
لینک‌های مفید
https://www.techtarget.com/searchenterpriseai/definition/BERT-language-model
https://medium.com/@skillcate/bert-for-dummies-state-of-the-art-model-from-google-42639953e769
https://www.codemotion.com/magazine/ai-ml/bert-how-google-changed-nlp-and-how-to-benefit-from-this/
https://en.wikipedia.org/wiki/BERT_(language_model)
https://www.analyticsvidhya.com/blog/2021/12/manual-for-the-first-time-users-google-bert-for-text-classification/
https://mizfa.tools/article/google-bert/
https://blog.google/products/search/search-language-understanding-bert/
منبع.
theb.ai
