本記事は 2023年3月11日時点のChatGPTを使用したものです。

 

---

システム運用開発のKIです。

今日は今話題のChatGPTで遊んでみようと思います。

「AIによる回答は正しいとは限らない」問題、確認してみましょう。

 

ChatGPTはブラウザ上で動作します。

画面上の見た目はSlackやTeams等のチャットアプリのイメージそのままですね。

画面下部に入力欄、上部に会話のやり取りが表示される、あの形式です。

 

では早速、ChatGPTって何？なので、ちょっと自己紹介してもらいましょう。

「k」アイコン、白背景が私の入力内容

風車（なのか？）のようなアイコン、背景グレーがChatGPTによる回答です。

 

こんな感じで、こちらの質問に対して自然な日本語で回答してもらえます。

画像では全文表示された状態ですが、実際には１文字ずつ順に表示されていきます。

処理待ちを誤魔化すための演出かもしれませんが、それがまたいい感じに「今入力しています」感を出しています。

 

ちょっと変な事を聞いてみましょう。

ほう。

意図的に嘘をつくようなことはなくても、回答が間違っていて結果的に嘘になる、という事はありそうですね。

 

トマトを見せて「これは何？」と聞いたとして

ChatGPT「（赤い、丸い、うーん、これは）リンゴです」

という間違いはあっても

ChatGPT「（赤い、丸い、どう見てもトマト、でもちょっとボケたろか）リンゴです」

ってことはしない、という事なんでしょう。

 

では手始めに簡単な計算でもしてもらいましょう。

さすがにこの程度は間違いようがないですね。

 

次はちょっと桁の多い計算でもしてもらいましょうか。

うん。

 

…うん？

3,847,653 * 5,437,845 =

ChatGPTの回答：20,900,320,666,585

正しい計算結果：20,922,940,627,785

 

間違ってますね。

ChatGPTの回答：20,910,212,474,885

正しい計算結果：20,922,940,627,785

 

ごめんなさい、からの再計算で、もう一度間違うGhatGPT君。

どうしてこんな計算結果になったんでしょう。

聞いてみます。

ふーん、なるほど（よくわからない）

 

なんかもっとほかの計算方法はないんでしょうか。

じゃあ次は別の方法で計算してもらいましょう。

 

ここが一番びっくりしたんですが、ChatGPT君がおもむろにPythonのコードを書き始めました。

そんなことまでできるのか！？と。

 

ChatGPTの回答：20,910,212,474,885

正しい計算結果：20,922,940,627,785

 

で、やっぱり数が合わない。

先ほどの驚きを返してほしい。

 

最後の計算方法を試してみます。

ChatGPTの回答：20,910,212,474,885

正しい計算結果：20,922,940,627,785

 

これも合わない。

「違うよ」の後に再計算した結果から変わっていないですね。

こうなると1回目の計算結果は何だったんだ、ってところも気になります。

 

正しい計算結果：20,922,940,627,785

1回目ChatGPTの回答：20,900,320,666,585

2回目ChatGPTの回答：20,910,212,474,885　←　「違うよ」に対する再計算結果（カラツバ法）

3回目ChatGPTの回答：20,910,212,474,885　←　シュトレーセン法を指定

4回目ChatGPTの回答：20,910,212,474,885　←　一般的な掛け算法を指定

 

ChatGPT君はそもそも大きな数の計算がダメなんでしょうか？

「嘘はつかない」と言っている以上、なんらかの理由でChatGPT君はこの結果が正しいと思っているようです。

ちょっと割り算をやってもらいましょう。

……あれっ、割り算結果はあってますね。

 

じゃあ掛け算もできるのでは？

ChatGPTの回答：20,922,940,627,785

正しい計算結果：20,922,940,627,785

 

おお！ここにきてついに正しい計算結果が！

じゃあなんで今まで数が合わなかったのか？

もしかして　a * b = c　と　b * a = c　は別物として認識しているのでしょうか？

 

改めて最初の計算をもう一度試してみます。

ChatGPTの回答：20,922,940,627,785

正しい計算結果：20,922,940,627,785

 

若干キレ気味感のあるChatGPT君ですが、ここにきてようやく正しい回答をしてくれました。

「さっき答えたやろが」のような反応だけど君はずっと間違ってたんだよ……

 

なぜ計算結果が違うのかも聞いてみます。

 

うーん……。

求めていた回答ではないですね。

「なんかプログラムが間違っていたかも」といった感じなんでしょうか。

 

目的の「AIによる回答は正しいとは限らない」問題、思わぬ形で確認ができました。

 

非常に有用で面白い技術ですが、同時に恐怖感もありますね。

計算結果自体は怪しい回答でしたが、会話内容や日本語表現にはおかしな点は感じられませんでした。

ここが非常に怖いです。

今までは「怪しいメール」「怪しいサイト」を見分けるポイントの一つとして

「変な日本語」

というものがありました。

自動生成でここまで自然な文章が書きだされるとなれば、

「変な日本語」を正しく校正させることもそう難しいことではないでしょう。

 

あとは切実なのはこれですね。

こんなことされてしまうとブログ上での私のやることがなくなってしまいます。

ChatGPT君に負けない記事づくり、これからも頑張っていきます。