کامپیوتر که "درک" زبان: برت توضیح داد

• نام نهاد تعیین.
• Coreference قطعنامه.
• پرسش و پاسخ.
• کلمه حس ابهامزدایی.
• خودکار خلاصه سازی.
• Polysemy قطعنامه

برت ترکیبی از سه عامل در یک راه قدرتمند. آن است که بسیار بزرگ توجه مبتنی بر شبکه عصبی معماری شناخته شده به عنوان "ترانسفورماتور Encoder" (ترانسفورماتور شبکه های ما بر اساس NMT 2.0 جفت زبان). یکی با استفاده از یک "پر از خالی" روش برای آموزش شبکه که در آن شما حذف کلمات به صورت تصادفی از یک پاراگراف و سپس سیستم تلاش می کند تا پیش بینی آنها. سوم آن است که آموزش در مقادیر عظیم زبانه متن معمولا به زبان انگلیسی. نیز وجود دارد انواع آموزش با فرانسه آلمانی چینی و حتی یکی از آموزش دیده با 104 زبان های مختلف (اما نه با موازی داده ها).

نتیجه قدرتمند نمایندگی از زبان در زمینه است که می توان به "نظریه" (سرعت اقتباس شده) برای انجام بسیاری از کارهای چالش برانگیز قبلا در نظر گرفته شده برای رایانه یعنی نیاز به جهان دانش و یا حس مشترک.

2. برخی احساس می کنید که برت خوب است برای هر چیزی مربوط به ان اما آنچه خاص ان مشکلاتی که برت را حل کرده است ؟

برت و سایر مدل های مشابه (RoBERTa, OpenAI GPT XL-Net) هستند دولت از هنر در بسیاری از ان کارهایی است که نیاز به طبقه بندی و توالی برچسب زدن و یا مشابه موجب از متن به عنوان مثال نام نهاد به رسمیت شناختن, سوال, پاسخ, تجزیه و تحلیل احساسات. برت یک انکودر پس از آن هضم داده اما خود به خود آن را تولید نمی کند و داده ها. بسیاری از ان وظایف همچنین شامل داده های ایجاد کار (به عنوان مثال abstractive summarization ترجمه) و این نیاز به اضافی شبکه و آموزش بیشتر.

3. من آگاه هستم که چندین برت الهام گرفته از طرح های در حال ضرب و شتم بشر خطوط بر چسب (به طور کلی درک زبان ارزیابی) آنلاین. آیا این به این معنی است که کامپیوتر ما را درک زبان است ؟

شبکه های عصبی یادگیری نقشه برداری از ورودی به خروجی با پیدا کردن الگوهای خود را آموزش داده است. عمیق شبکه های میلیون ها نفر از پارامترها و در نتیجه می توانند یاد بگیرند (یا "مناسب") کاملا الگوهای پیچیده. این است که واقعا آنچه را قادر می سازد برت به انجام به خوبی در این وظایف است. در نظر من این است که معادل آن به درک درستی از زبان است. وجود دارد چند مقاله و نظر قطعات که تجزیه و تحلیل این مدل رفتار در یک سطح عمیق تر, به طور خاص در تلاش برای ارزیابی نحوه اداره آنها پیچیده تر زبانی موقعیت و آنها نیز نتیجه گرفت که ما هنوز هم به دور از درک واقعی. صحبت از SDL تجربه آموزش و ارزیابی برت مبتنی بر مدل برای انجام وظایف مانند تمایلات تجزیه و تحلیل و یا پاسخ به پرسش ما تشخیص این مدل انجام تحت. با این حال آنها هنوز هم بسیاری از اشتباهات است که بسیاری از افراد هرگز را.

4. اگر خلاصه سازی است و یک قدرت کلیدی از برت – آیا شما آن را ببینید ساخت راه خود را به محتوای دستیار قابلیت های که SDL به عنوان CA مقیاس برای حل سازمانی بزرگتر مشکلات مربوط به درک زبان?

خلاصه سازی یکی از قابلیت های حیاتی در کالیفرنیا و یکی از مفید ترین, در, را قادر می سازد مطالب درک است که ما هدف فراگیر. ما در حال حاضر انجام استخراجی summarization که در آن ما را انتخاب مرتبط ترین بخش از سند است. در به رسمیت شناختن این واقعیت است که افراد مختلف در مورد مراقبت از جنبه های مختلف مطالب ما اجرا تطبیقی استخراجی خلاصه سازی قابلیت. کاربران ما می توانید انتخاب کنید بحرانی عبارات مورد علاقه خاص به آنها و خلاصه تغییر خواهد کرد را انتخاب کنید بخش که بیشتر مربوط به آن دسته از عبارات.

روش دیگر این است که abstractive summarization که در آن الگوریتم تولید زبان جدید وجود نداشت در سند بودن خلاصه شده است. داده های قدرتمند خود نمایندگی ترانسفورماتور شبکه مانند برت هستند در یک موقعیت خوب برای تولید متن است که هر دو روان و مربوط به سند معنی است. در آزمایش های ما تا کنون ما را دیده اند و نه شواهد قانع کننده که abstractive خلاصه تسهیل مطالب بهتر درک.

5. من را خوانده ام که در حالی که وجود دارد برخی از مزایای به تلاش برای ترکیب برت زبان مبتنی بر مدل به NMT سیستم; با این حال این فرایند به انجام این کار به نظر می رسید و نه پیچیده و گران قیمت در منابع از نظر. آیا شما می بینید برت تحت تاثیر قابلیت های آینده به NMT در نزدیکی و یا در آینده دور?

Pretrained برت مدل را می توان در راه های مختلفی برای بهبود عملکرد سیستم های NMT, اگر چه مختلف وجود دارد مشکلات فنی. برت مدل های ساخته شده در همان ترانسفورماتور معماری مورد استفاده در زمان دولت از هنر سیستم های NMT. بنابراین در اصل یک برت مدل می تواند مورد استفاده قرار گیرد یا به جای انکودر بخشی از NMT سیستم و یا برای کمک به مقداردهی اولیه NMT مدل پارامترهای. یکی از مشکلات این است که همانطور که اشاره کردید با استفاده از یک برت مدل را افزایش می دهد پیچیدگی محاسباتی. و سود برای MT هستند بنابراین دور نیست که قابل توجه; ابدا این نوع از مزایای که برت به ارمغان می آورد بر چسب سبک وظایف. با این حال ما همچنان به نگاه به شیوه های مختلف بهره برداری از دانش های زبانی رمزی در برت مدل های ما را MT سیستم های بهتر و قوی تر.

6. دیگران می گویند که برت می تواند کمک به در حال توسعه NMT سیستم برای کم منابع زبان. هستند که قابلیت انتقال یادگیری از زبانه داده به احتمال زیاد به تحت تاثیر قرار توانایی ما برای دیدن بیشتر کم منابع زبان ترکیبات در مدت کوتاهی?

یکی از جنبه های برت است که مرتبط ترین در اینجا این است که ایده آموزش تضمینی است که می تواند به سرعت خوب تنظیم برای انجام وظایف مختلف است. اگر شما ترکیب این با مفهوم چند زبانه مدل شما می توانید تصور کنید که یک معماری/آموزش روش است که می آموزد و می سازد و مدل های مربوط به زبان های مختلف (شاید از همان خانواده) که پس از آن می توان تنظیم برای هر زبان در خانواده با مقدار کمی از موازی داده است.

7. چه هستند برخی از قابلیت های خاص منابع و شایستگی که SDL است که شرکت را قادر به اتخاذ این نوع از فن آوری دستیابی به موفقیت سریع تر است ؟

گروه ما دارای تخصص در تمام مناطق درگیر در حال توسعه, بهینه سازی و استقرار ان فن آوری های تجاری برای استفاده از موارد. ما باید در سطح جهان محققان که به رسمیت شناخته شده در زمینه های مربوطه خود را و به طور منظم انتشار مقالات در کارشناسی کنفرانس.

ما در حال حاضر ساخته شده است یک تنوع از ان قابلیت استفاده از دولت از هنر و تکنولوژی: summarization نام نهاد به رسمیت شناختن, سوال, نسل, سوال, پاسخ, تمایلات تجزیه و تحلیل جمله تکمیل خودکار. آنها در مراحل مختلف در این تحقیقات به تولید طیف و ما همچنان به توسعه امکانات جدید.

ما همچنین تخصص در استقرار بزرگ و پیچیده یادگیری عمیق ، ما فن آوری طراحی شده است برای بهینه استفاده کنید یا Cpu یا gpu ها در هر دو 32 بیتی یا 16 بیتی حالت و ما درک می کنیم چگونه می توان کیفیت-سرعت تجارت آف برای تحقق موارد استفاده گوناگون از مشتریان ما.

تاریخ و زمان آخرین اما نه کم ما پرورش همکاری نزدیک بین تحقیقات مهندسی و مدیریت محصول. توسعه قابلیت های ان را که بتن ارزش تجاری به عنوان یک هنر آن را به عنوان یک علم و موفقیت تنها می تواند به دست آمده از طریق وسعت تخصص و همکاری.