- 「HRED」について学びたいけど理解できるか不安･･･
- 「HRED」についてどこから学んでいいか分からない？
- 「HRED」を体系的に教えて！
「HRED（the hierarchical recurrent encoder-decoder）」は、前の単語の流れに即して応答されるためより人間らしい文章が生成される自然言語処理モデルです。ここで興味があっても難しそうで何から学んだらよいか分からず、勉強のやる気を失うケースは非常に多いです。
私は過去に基本情報技術者試験（旧：第二種情報処理技術者試験）に合格し、また2年程前に「一般社団法人 日本ディープラーニング協会」が主催の「G検定試験」に合格しました。現在、「E資格」にチャレンジ中ですが３回不合格になり、この経験から学習の要点について学ぶ機会がありました。
そこでこの記事では、「HRED」を学習する際のポイントについて解説します。
この記事を参考に「HRED」が理解できれば、E資格に合格できるはずです。
目次
1.Seq2seqの課題
Seq2seqの課題
- Seq2seqでは、人工知能における自然言語処理の手法である「Seq2Seq（Sequence To Sequence）」は機械対話や、機械翻訳などに使用されている
- 一問一答しかできない
→ 問に対して文脈も何もなく、ただ応答が行われ続ける。
↓解決策
HRED
2.HREDとは？
HREDとは？
- 過去 n-1 個の発話から次の発話を生成する。
→ Seq2seqでは、会話の文脈無視で、応答がなされたが、HREDでは、前の単語の流れに即して応答されるため、より人間らしい文章が生成される。 - 応答の例
システム：インコかわいいよね。
ユーザー：うん
システム：インコかわいいのわかる。 - Seq2seq ＋ Context RNN
Context RNN：Encoderのまとめた各文章の系列をまとめて、これまでの会話コンテキスト全体を表すベクトルに変換する構造。
→ 過去の発話の履歴を加味した返答ができる
3.HREDの課題
HREDの課題
- HREDは確率的な多様性が字面にしかなく、会話の「流れ」のような多様性が無い。→ 同じコンテキスト（発話リスト）が与えられても、答えの内容が毎回会話の流れとしては同じものしか出せない。
- HREDは短く情報量に乏しい答えをしがちである。→ 短いよくある答えを学ぶ傾向がある。例) 「うん」 「そうだね」 「・・・」 など。
4.まとめ
最後まで読んで頂きありがとうございます。
皆様のキャリアアップを応援しています!!
コメント