自然言語処理２～感情分析～

前回はワードクラウドと共起ネットワークを使って、ツイート「加賀市」を見てみました。

今回はBERTを使って、ツイート「加賀市」の環状分析（ネガ・ポジ判定）を行ってみます。

トークナイザーはおなじみの「cl-tohoku/bert-base-japanese-whole-word-masking」、ネガポジ判定モデルは「koheiduck/bert-japanese-finetuned-sentiment」を使っています。

結果は、

判定モデルは、各ツイートに対してポジティブ、ニュートラル、ネガティブのそれぞれについて、その確率（確信度）を返してくれるので、最も確率が高いもので判定する仕組みになっています。

それぞれのカテゴリーだと判定した確率の平均は、

となりました。これはあくまでも平均。

0.80以上の確率で、つまり80％以上の自信をもって判定できたものの比率は、

となりました。

ここ半年間のキーワード加賀市のツイートは、ポジティブが５５４件（59.7％）、ニュートラルが３４０件（36.6％）、ネガティブが３４件（約3.7％）で、`ポジティブなものが多く、ネガティブなものはほとんどありませんでした。このうち高確率でポジティブを判定したものの比率は62％、ニュートラルが25％、ネガティブが38％でした。