OpenAIのアレック・ラドフォードらが、Amazonレビューの次の文字を予測するだけの教師なし学習で感情表現の優れた特徴が獲得されることを示す研究を発表した。学習したモデル内には感情の情報をほぼ一手に担う「sentiment neuron」が見つかり、Stanford Sentiment Treebankで当時最高の精度91.8%を達成した。教師なしの次トークン予測が事前学習として使えるのではないか、という見方を後押しする結果だった。