公開日：2023.06.02
- 仕事
- インターネット
ChatGPTとアンケートの回答比較調査
アンケート調査とChatGPT（GPT4）では異なる回答が出る
＜ TOPICS ＞
- ChatGPTとアンケートで結果が大きく異なるものが多くみられる
- ECサイトで購入したことがあるもの（よく購入されるもの）、ランキングに大きく差がある
- ECサイトで購入する理由、ChatGPTでは時事ネタに関するワードが考慮されていない
- 一部、アンケートとランキングが一致する回答もある
調査概要
| 調査名 | ChatGPTとアンケートの回答比較調査 |
|---|---|
| 対象者条件 | 【性別】男女 【年齢】20～59歳 【地域】全国 【その他条件】 1ヵ月に1回以上ECサイトで買い物をする |
| 調査項目 | ・ECサイトで購入したことがあるもの（よく購入されるもの） ・ECサイトで最も購入したことがあるもの（最もよく購入されるもの） ・ECサイトで買い物をする理由 ・「配送」に関する満足度 ・「サポート対応」に関する満足度 ・「送料」に関する満足度 ・「商品」に関する満足度 ・「使用感」に関する満足度 ・「信頼性」に関する満足度 |
| サンプルサイズ | 800サンプル |
| 割付 | 性年代均等回収 |
| 調査期間 | 2023年4月11日(火)～4月13日(木) |
| 調査方法 | Webアンケート |
| 調査機関 | 株式会社アスマーク |
ECサイトで最も購入したことがあるもの（最もよく購入されるもの）
アンケート設問：Q1-2. あなたが、ECサイトで最も多く購入したことがあるものを、1つだけお知らせください。（単一回答）
ChatGPT設問 ：Q1-2. 以下の中から一般的にECサイトで最も多く購入されているものを、1つだけお知らせください。
ECサイトで購入したことがあるもの（よく購入されるもの）、ランキングに差はある？
ECサイトで購入したことがあるもののランキングで、【アンケート】と【ChatGPT】で最も順位に差があったのは「キッズ・ベビー・玩具」で、【アンケート】では15位、【ChatGPT】では3位とかけ離れている。次いで「コスメ・健康・医薬品」「スポーツ・アウトドア」と続いている。
ECサイトで買い物をする理由
アンケート設問：Q2. あなたが、ECサイトで買い物をする理由をお答えください。（自由記述）
ChatGPT設問 ：Q2. ECサイトで買い物をする理由をお答えください(できるだけ具体的に。)
ECサイトで買い物をする理由、テキストマイニングの結果に違いは？
ECサイトで買い物をする理由は【アンケート】と【ChatGPT】共に、「ポイント還元」「実店舗(販売店)」「商品」などのワードが多くあげられており、「お得であること」「利便性」「使い勝手の良さ」などを重視されていることがわかる。一方で、【アンケート】では「コロナ」などの時事ネタに関するワードがあげられているが、 【ChatGPT】の方ではあげられていない。
「配送」に関する満足度
アンケート設問：Q3. あなたが最も多く利用するECサイトの「配送」に関する満足度を、項目別にお知らせください。（MTSA）
ChatGPT設問 ：Q3. 一般的に最も多く利用するECサイトの「配送」に関する満足度を、以下の項目別に順位付けしてお知らせください。
「配送」に関する満足度、ランキングに違いは？
「配送」に関する項目別満足度ランキングは【アンケート】では、1位「配送の正確さ」2位「配送スピード」3位「商品の到着状態の良さ」となっている。【ChatGPT】では、1位 「商品の到着状態の良さ」2位「配送料金の妥当性」3位「追跡サービスの有無」となっているが、2位の「配送料金の妥当性」は、【アンケート】では9位となっており、大きな順位の違いが見られた。
「送料」に関する満足度
アンケート設問：Q5. あなたが最も多く利用するECサイトの「送料」に関する満足度を、項目別にお知らせください。（MTSA）
ChatGPT設問 ：Q5. 一般的に最も多く利用するECサイトの「送料」に関する満足度を、以下の項目別に順位付けしてお知らせください。
「送料」に関する満足度、ランキングに違いは？
「送料」に関する項目別満足度ランキングは【アンケート】では、1位「送料の明確さ」2位「送料の無料条件の明確さ」3位「送料の支払方法の簡便性」となっている。【ChatGPT】では、1位 「送料の明確さ」2位「送料の妥当性」3位「送料の無料条件の明確さ」となっている。大きく差がある項目は少ないが、【アンケート】で3位の「送料の支払方法の簡便性」は、【ChatGPT】では6位と若干の違いが見られた。
調査結果の引用・転載について
- 本レポートの著作権は、株式会社アスマークが保有します。
- 引用・転載される際は、必ず「アスマーク調べ」と出典を明記してご利用いただくようお願いします。
- その際、引用・転載される旨を当社までご一報ください。
- 調査の内容の一部または全部を改変して引用・転載することは禁止いたします。
- 自社商品の宣伝・広告・販促を目的とした使用を検討されている場合は、必ず事前に当社までご相談ください。
- 引用・転載されたことにより利用者または第三者に損害その他トラブルが発生した場合、当社は一切その責任を負いません。
対話型AIの利用を始める際、多くの人が「検索」のような基本的な使い方から試みることでしょう。AIが一見、合理的な回答を提供するため、ビジネスの信頼性を高めるツールとして活用することもあります。しかし、対話型AIの回答がどの程度適切なのかについては疑問が残ります。例えば、アンケート調査の結果と比較した場合、どの程度の差異が生じるのでしょうか？
この度、対話型AIがアンケート調査の代替となり得るかを検証するため、アンケート調査とChatGPTの回答を比較することにしました。
※今回使用したAIはChatGPT（GPT4）で、特別なプロンプトは使用せず、レポートに記載された指示と選択肢だけを提示し、回答を出力させています。また、Q2（自由記述回答）については、ChatGPTが生成した文章（568文字）をテキストマイニングにかけています。