享受日光浴

天气总无常

人工知能モデルは、このリストの人間を上回っています

最近、テクノロジー企業であ自然言語理解の信頼できるリストで人間のパフォーマンスを上回っています。マイクロソフトは、これが「一般的な人工知能に向けた重要なマイルストーンを示している」と主張しています。

自然言語理解(NLU)タスクは、人工知能の分野で長い歴史があり、「人工知能の真珠」として知られています。自然言語の曖昧さや曖昧さのために、質の高い自然言語の理解を達成することは困難です。

人工知能モデルの自然言語理解能力を測定するために、ニューヨーク大学、ワシントン大学、フェイスブックとディープマインドは、2019年にスーパーグルーと呼ばれる人工知能ベンチマークを共同で提案しました。 SuperGLUEは、2018年にGLUEから進化しました。質問への回答、自然な言語の推論、アナフォラの解決、単語の意味の明確化など、その言語理解タスクはより困難です。

最近更新されたSuperGLUEでは、MicrosoftのDeBERTaモデルとGoogleのT5 + Meenaモデルが、人間のベースラインを超えて1位と2位にランクされました。人工知能がスーパーグルーで人間を上回ったのはこれが初めてです。

SuperGLUEテストでは満足のいく結果が得られましたが、Microsoftは、DeBERTaモデルが人間の知性の自然な言語理解のレベルにまだ達していないことを認めています。人間は、さまざまなタスクから学んだ知識を使用して新しいタスクを解決するのが非常に得意です。ここで、人工知能モデルが登場します。

MicrosoftのナンバーワンモデルであるDeBERTAには、15億のパラメーターがあります。 SuperGLUEテストでは、単一のDeBERTaモデルのマクロ平均スコア(89.9ポイント)が人間のパフォーマンス(89.8ポイント)を上回り、モデルの全体的なスコア(90.3ポイント)も人間のベースライン(89.8ポイント)を上回り、SuperGLUEで1位になりました。 2番目にランク付けされたT5 + Meenaモデルのスコアは90.2で、これも人間のベースライン(89.8ポイント)を上回りました。

SuperGLUEテストでは、人工インテリジェントシステムモデルに中国のような質問に答えるように依頼しました:

「ご存知のとおり、子供はこの病気に免疫があります」と尋ね、「この状態の原因は何ですか?」を選択してください:A。 「彼はこの病気の予防接種を受けましたmicrobit iot

これは私たちにとって比較的単純な因果推論タスクです。人間が正しい答えを選択するのは簡単です。しかし、人工知能モデルの場合、これは課題です。正しい答えを得るには、モデルは既知の条件とオプションの間の因果関係を理解する必要があります。

2021年1月6日、Microsoftはブログに詳細な分析を投稿して、私たちの調査が企業で1位にランク付けしたDeBERTaモデルを紹介します。

DeBERTaは、Decoding-enhanced-BERT-with-disentangled Attentionのフルネームであり、Transformerアーキテクチャに基づくニューラル言語モデルであり、自己監視学習方法を使用して、多数の元のテキストコーパスを事前トレーニングします。 De Betaの目標は、さまざまな自然言語理解タスクに適した一般的な言語表現を学習することです。 DeBERTaは、3つの新しいテクノロジーを使用します。個別のアテンションメカニズム、強化されたマスクデコーダー、および微調整のための仮想対決トレーニング方法です。

世界で2番目にランク付けされているT5 + Meenaテクノロジーは、主に米国のGoogleから提供されています。 Googleチームは、そのモデルがスーパーグルーの記録を樹立した理由を詳細に説明していません。ただし、Microsoftはブログ記事で、GoogleのT5モデルは110億のパラメータで構成できるとコメントしています。開発と比較して、15億のパラメータDeBERTaはトレーニングとメンテナンスでエネルギー効率が高く、圧縮の生成と展開が簡単です。さまざまなアプリケーション。

Microsoftは、DeBERTaモデルを次世代のTuringNLRv4に統合しています。次に、15億パラメータのDeBERTAモデルとそのソースコードを公開する予定です。

0 Comments >

0 Like

Scroll
to Top