Главная страница
qrcode

Реферат Більшість попередніх методів у навчанні гетерогенного перенесення вивчають відображення міждоменних функцій між різними доменами на основі деяких міждоменних екземплярів-відповідностей.


НазваниеРеферат Більшість попередніх методів у навчанні гетерогенного перенесення вивчають відображення міждоменних функцій між різними доменами на основі деяких міждоменних екземплярів-відповідностей.
Дата25.07.2020
Размер0.72 Mb.
Формат файлаdocx
Имя файла1_ukr_[AIJ19]A Deep Learning Framework for Hybrid Heterogeneous
ТипРеферат
#70306
страница1 из 11
Каталог
  1   2   3   4   5   6   7   8   9   10   11

Штучний інтелект 275 (2019) 310–328


Список вмісту доступний на ScienceDirect


Штучний інтелект
www.elsevier.com/locate/artint


Глибока основа навчання для гібридного гетерогенного трансферного навчання


Джої Тіані Чжоу а, Сіно Джалін Пан б,, Івор В. Цанг c

Інститут високоефективних обчислень, Сінгапур б Наньянський технологічний університет, Сінгапур
c CAI, Університет технологій Сідней, Австралія




article info


Історія статті:
Надійшов 8 грудня 2018 року
Отримано в переглянутій формі 25 березня 2019 р. Прийнято 4 червня 2019 р. Доступно в мережі 6 червня 2019 року


Ключові слова:
Гетерогенне навчання трансферу Глибоке навчання

Класифікація багатомовної тексту

реферат


Більшість попередніх методів у навчанні гетерогенного перенесення вивчають відображення міждоменних функцій між різними доменами на основі деяких міждоменних екземплярів-відповідностей. Такі примірники відповідності вважаються репрезентативними відповідно до вихідного домену та цільового домену відповідно. Однак у багатьох реальних сценаріях це припущення може не дотримуватися. Як результат, побудоване відображення функції може бути не заздалегідь зафіксовано, і, отже, трансформовані дані, позначені джерелом домену, використовуючи відображення функції, не корисні для побудови точного класифікатора для цільового домену. У цьому документі ми пропонуємо нову гетерогенну структуру навчання з передачею під назвою Hybrid Heterogeneous Transfer Learning (HHTL), яка дозволяє вибирати відповідні екземпляри між доменами, зміщуватися до вихідного або цільового домену. Наша основна ідея полягає в тому, що хоча відповідні екземпляри є упередженими в оригінальному просторі функцій, можуть існувати й інші простори функцій, на яких проектується, відповідні екземпляри можуть стати об'єктивними або репрезентативними відповідно до вихідного домену та цільового домену відповідно . При такому поданні можна отримати більш точне відображення особливостей у неоднорідних просторах функцій для передачі знань. Ми розробляємо декілька архітектур та алгоритмів, заснованих на глибокому навчанні, які дозволяють вивчити узгоджені уявлення. Обширні експерименти над двома багатомовними наборами класифікаційних даних підтверджують ефективність запропонованих нами HHTL-рамок та альго-ритмів порівняно з деякими сучасними методами.

 2019 Elsevier BV Усі права захищені.



1. Введення
Трансферне навчання або адаптація домену - важлива і перспективна парадигма машинного навчання, яка спрямована на передачу знань, витягнутих із допоміжного домену, тобто вихідного домену, де доступні достатньо мічені дані, для вирішення проблем навчання в новому домені, тобто , цільовий домен, з невеликим або відсутнім додатковим наглядом людини [1]. Знову все більше уваги переноситься від передачі знань через однорідні домени до передачі знань через гетерогенні домени, де вихідний домен і цільовий домен мають неоднорідні типи особливостей [2,3]. На відміну від однорідного вивчення передачі, яке передбачає, що дані вихідного домену та цільові дані домену представлені в одному просторі функцій однакової розмірності [4,5], і, отже, різниця в домені викликається лише упередженням у функціях чи розподілах даних, гетерогенне навчання передачі дозволяє вихідні дані домену та


Відповідний автор.

Адреси електронної пошти: joey.tianyi.zhou@gmail.com(Дж. Чжоу),sinnopan@ntu.edu.sg(SJ Pan),ivor.tsang@gmail.com(І. В. Цанг).
https://doi.org/10.1016/j.artint.2019.06.001
Дж. Чжоу та ін. / Штучний інтелект 275 (2019) 310–328
311

























































































































































































































































































































































































































































Рис.1. Випадок HHTL I: Перебіг міжмовних перекладів. Розглянемо задачу бінарної класифікації, коли кола одного класу, а квадрати - другого класу. Точки з сірим фоном у вихідному домені (англійською мовою) є вибраними представниками, тоді як ті, які мають сірий фон у цільовому домені (німецька), - це їх відповідність за допомогою перекладу чи карта зображень, вивчена з відповідних документів англійською та німецькою мовами. У цьому випадку представники вихідного домену повинні бути вибрані випадковим чином, але їх відповідність у цільовому домені упереджена до загальної сукупності цільового домену.

Дані цільового домену мають бути представлені просторами функцій, що не перетинаються. Гетерогенне навчання передачі виявилося вирішальним у багатьох реальних програмах. Наприклад, багато завдань з обробки природних мов (НЛП), такі як розпізнавання сутності, роздільна здатність основної корені тощо, сильно покладаються на достатню анотовану корпорацію та лінгвістичні / семантичні бази знань для створення точного класифікатора. Для англійської мови анотовані корпорації та бази знань широко доступні, тоді як для інших мов, таких як тайська, в'єтнамська тощо, мало ресурсів. У цьому випадку неоднорідне навчання трансферу бажано передати знання, витягнуті з багатих англійських ресурсів, для вирішення завдань НЛП іншими мовами з поганими ресурсами.
Більшість існуючих підходів до навчання неоднорідного трансферного навчання мають на меті вивчити відображення особливостей у гетерогенних просторах функціонування на основі деяких міждоменних відповідностей, побудованих або мітками як вихідного, так і цільового домену [6] або перекладач між доменами [7]. За допомогою відображення вивченої функції, екземпляри можуть бути відображені з цільового домену у вихідний домен або навпаки. Таким чином, якщо відображення функції ознайомлюється точно, то дані з мітками вихідного домену все ще можуть бути використані для вивчення точного класифікатора для цільового домену. Загальне припущення цих методів полягає в тому, що вибрані екземпляри відповідності є репрезентативними для вихідного доменного і цільового домену, таким чином, щоб можна було дізнатися «ідеальне» перехресне відображення функцій між доменами. Однак у багатьох реальних сценаріях це припущення може не дотримуватися, що означає, що вибрані відповідні екземпляри можуть бути упередженими для отримання загальної сукупності (-ів) вихідного домену або / та цільового домену, і, таким чином, не в змозі представляють або вихідні дані домену, або дані цільового домену. Як результат,

Розглянемо класифікацію міжмовних документів як мотивуючий приклад, як це проілюстровано на рис. 1. Завдання полягає у вивченні текстового класифікатора, мета якого - автоматично класифікувати документи німецькою мовою (тобто цільовий домен) лише за допомогою набору анотованих англійських документів (тобто доменного джерела). Для застосування неоднорідних методів навчання передачі для вирішення цього завдання спочатку можна випадковим чином вибрати деякі німецькі документи, які можна розглядати як представників у німецькій (або вихідній) області, а потім просто побудувати німецько-англійські документи-відповідники шляхом перекладу вибраного Гер -видача документів англійською мовою за допомогою перекладача Google. Однак, підручник з перекладеними англійськими документами може сильно відрізнятися від того, який він має в англійській мові. Наприклад, німецьке слово “betonen” перекладається перекладачем Google на англійське слово “наголосити”. Однак в англійському документі, написаному носієм англійської мови, його відповідне слово може бути замість цього «виділення» або «наголос». Це називається проблемою «упередженості ознак» у слові, що існують між перекладеними документами та оригіналами. Тому перекладені англійські документи можуть бути упередженими або не представити в англійській (тобто джерелі) домені. У цьому випадку відображення функції, засвоєне на основі таких упереджених міждоменних відповідностей, може бути неефективним для передачі знань.

  1   2   3   4   5   6   7   8   9   10   11

перейти в каталог файлов


связь с админом