170億パラメータのTuring-NLGとDeepSpeedを公開
MicrosoftがTuring Natural Language Generation（T-NLG）を公表した。170億パラメータで、当時公開されたものとして最大の言語モデルであり、複数の言語モデリングのベンチマークで最高値を出したとされた。対話エージェント、質問応答、文書要約といった実用を想定した生成モデルである。これを可能にしたのが同時に公開されたライブラリDeepSpeedとメモリ最適化手法ZeROで、モデル並列の度合いを16から4に下げ、ノードあたりのバッチサイズを4倍にし、訓練時間を3分の1に短縮した。Megatron-LM単独では1,024基必要だった規模の訓練をNVIDIA GPU 256基で回せるようになった。モデル自体は広く使われなかったが、DeepSpeedはオープンソースとして定着し、大規模訓練の標準的な道具の一つとなった。OpenAIのGPT-3公開（同年5月）の3か月前という時期でもある。