الگوریتم BERT چیست؟

در مورد به روزرسانی جدید الگوریتم گوگل تبلیغات غلط زیادی وجود دارد. در واقع BERT چیست، چگونه کار می کند و چرا برای کار ما به عنوان سئو مهم است؟

BERT از کجا آمده است؟

من می خواهم به همه زمینه گسترده تری بدهم که BERT از کجا آمده و به کجا می رود.

من فکر می کنم بسیاری از اوقات این اعلامیه ها نوعی بمب به صنعت سئو ریخته می شود.

پردازش زبان طبیعی

به طور سنتی کامپیوترها برای درک زبان وقت غیرممکن داشته اند. آنها می توانند متن را ذخیره کنند، ما می توانیم متن را وارد کنیم، اما درک زبان همیشه برای کامپیوترها بسیار دشوار بوده است.

 پردازش زبان طبیعی NLP زمینه ای که در آن محققان مدل های منحصر به فردی را برای حل انواع خاصی از درک زبان ایجاد می کنند ، همراه است.

چند نمونه از این موارد است: به رسمیت شناختن، طبقه بندی، تجزیه و تحلیل احساسات، و پرسش و پاسخ موجودیت.

به مدلهای NLP منفرد مانند ظروفی که در آشپزخانه خود دارید فکر کنید ، همه آنها یک وظیفه بسیار خاص دارند که بسیار خوب انجام می دهند.

اکنون یک وسایل آشپزخانه تمام عیار را در نظر بگیرید که 11 وسیله پرکاربرد شما در یک ظرف است.

این BERT ، یک وسیله آشپزخانه است که پس از تنظیم دقیق ، یازده مورد از بهترین راه حل های پردازش زبان طبیعی را انجام می دهد.

 

یک تمایز هیجان انگیز در فضای NLP به همین دلیل مردم واقعاً از این موضوع هیجان زده شده اند زیرا دیگر به همه مدل های جداگانه نیازی ندارند. - آنها می توانند برای حل اکثر وظایف NLP از BERT استفاده کنند ، این منطقی است که گوگل BERT را در الگوریتم های گوگل قرار می دهد.

BERT به کجا می رود؟

من فکر می کنم که برای مدتی در یک مسیر مشابه قرار خواهیم گرفت و انواع بزرگتر و بهتری از BERT را خواهیم ساخت که از نظر قوی بودن BERT قوی تر و احتمالاً با همان محدودیت های اساسی قوی تر هستند.

در حال حاضر چندین نسخه مختلف از BERT وجود دارد و ما ادامه خواهیم داد تا بیشتر و بیشتر از آن را ببینیم. جالب است که ببینید این فضا به کجا می رود.

چگونه BERT اینقدر باهوش شد؟

گوگل متن ویکی پدیا و پول زیادی را برای توان محاسباتی TPU هایی که در آنها با هم در یک غلاف V3 قرار داده اند) صرف کرده است که می تواند این مدل های بزرگ را تأمین کند.

سپس آنها از یک شبکه عصبی بدون نظارت برای آموزش بهتر از متن ویکی پدیا برای درک بهتر زبان و زمینه استفاده کردند.

آنچه در مورد نحوه یادگیری جالب است این است که متن را به هر دلخواه طول می کشد (که خوب است زیرا زبان به طرز صحبت کردن ما کاملاً خودسرانه است) و آن را به صورت بردار رونویسی می کند.

بردار یک رشته ثابت از اعداد است. این کمک می کند تا زبان برای ماشین قابل ترجمه باشد.

این اتفاق در یک فضای n بعدی واقعاً وحشی رخ می دهد که حتی نمی توانیم تصور کنیم. قرار دادن زبان متنی مشابه در همان مناطق.

برای به دست آوردن دقیق و دقیق تر BERT ، مشابه Word2vec ، از تاکتیکی به نام masking استفاده می کند.

ماسک زدن وقتی رخ می دهد که یک کلمه تصادفی در یک جمله پنهان باشد.

BERT به عنوان یک مدل دو جهته به کلمات قبل و بعد از کلمه پنهان نگاه می کند تا به پیش بینی کلمه کمک کند.

این کار را بارها و بارها انجام می دهد تا زمانی که در پیش بینی کلمات نقاب دار قدرتمند باشد.

سپس می توان برای انجام 11 مورد از رایج ترین وظایف پردازش زبان طبیعی ، دقیق سازی کرد. واقعاً بسیار هیجان انگیز و سرگرم کننده برای حضور در این فضا.

BERT چیست؟

BERT یک مدل پردازش زبان طبیعی بدون نظارت است که از قبل آموزش دیده است.

BERT پس از تنظیم دقیق می تواند از 11 مورد از رایج ترین وظایف NLP پیشی بگیرد و اساساً به یک تقویت کننده موشک برای پردازش و درک زبان طبیعی تبدیل شود.

BERT عمیقاً دو جهته است ، به این معنی که کلمات قبل و بعد از موجودیت ها و زمینه هایی را که از قبل در ویکی پدیا آموزش دیده اند ، مشاهده می کند تا درک غنی تری از زبان داشته باشد.

برخی از کارهایی که BERT نمی تواند انجام دهد چیست؟

آلیسون اتینگر این مقاله تحقیقی واقعاً عالی را به نام What BERT Cann't Do نوشت.

شگفت آورترین برداشت از تحقیقات وی، این زمینه تشخیص نفی بود، به این معنی که BERT در درک نفی یا مواردی که دارد خیلی خوب نیست.

به عنوان مثال ، هنگامی که با یک رابین وارد می شود یک پرنده را پیش بینی می کند ، که درست است ، این عالی است.

اما هنگامی که وارد یک رابین نمی شود ... همچنین یک پرنده را پیش بینی می کند.

بنابراین در مواردی که BERT نمونه های منفی یا زمینه ای را ندیده است ، درک آن در مورد آن مشکل خواهد بود.

در تحقیقات آلیسون یک عالمه عکس جالب و جالب وجود دارد که به شما پیشنهاد می کند آن را بررسی کنید.

چگونه برای BERT بهینه سازی می کنید؟ (شما نمی توانید!)

سرانجام ، چگونه برای BERT بهینه سازی می کنید؟

باز هم نمی توانید تنها راه برای بهبود وب سایت خود با این به روز رسانی ، نوشتن محتوای بسیار عالی برای کاربران خود و تحقق نیت مورد نظر آنها است.

برای نوشتن محتوای بسیار عالی به صفحه آموزش تولید محتوا در سئو روز مراجعه کنید.