活用が進む生成AIサービス

現在、様々な分野で生成AIの活用が進んでおり、IT大手が次々と生成AIを自社のサービスに組み入れることをカンファレンス(※1～3)の場などで発表しています。生成AIは2023度から注目が高く、これから私たちも年齢や職業などを問わず、身近な場で利用する人が徐々に増えてくると考えられます。

図1：生成AI利用の一例

生成AIサービスの進化に伴って現れたセキュリティ課題

上記の生成AIの進化には、大規模言語モデル（LLM：Large Language Model）と呼ばれる、大規模なテキストデータを事前に学習し、少数の作業指示を与えることで多岐にわたる言語処理を実行できる言語モデルの開発が進んだことと、これらの言語モデルを用いたサービスが登場したことにあります。
これらの技術革新により、生成AIのチャットボット活用や、業務支援、開発プログラムのサンプル提供といった分野で作業効率の向上が期待されています。しかし、便利になる反面、セキュリティを脅かす攻撃に利用される可能性や、生成AIを過信することによるリスクも発生しているため、今後これらの対策も検討が必要です。下記は生成AIサービスを悪用することで高まるリスクの一例です。

• 利用者側に専門的な知識がなくとも公開サービスの脆弱性を突く方法を実施できるようになる
• 単純なパスワードをかけた圧縮ファイルのパスワードが解除される
• 生成AIに用いる大規模言語モデルをトレーニングして準備する際に、誤ったデータを多量に登録し、本来求めている答えを出さないようにする攻撃を受ける
• チャット関連の機能を用いて、外部に公開すべきでない情報（個人情報など）を返すような質問を行い取得される
• 開発者側の立場では、開発に用いるプログラムの生成をAIに任せた結果、既知の脆弱性を含んだ問題のあるプログラムが作成される

上記で挙げたように新たに発生するセキュリティリスクの可能性も出てきており、生成AIを活用する上での注意点・問題点も把握した上で対策を行い利用する必要があります。

生成AIに対するセキュリティリスクと対応の把握

前述したように、生成AIにより利用者のセキュリティを脅かされるリスクが上がってきていることは事実ですが、リスクとして挙げている内容の中には、既存のセキュリティ対策などを改めて徹底することで回避できるものも多くあります。
以下が対策例です。

表1：既存のセキュリティ対策で回避できるリスクの一部

生成AIを利用する立場	生成AIのセキュリティリスク対応例
一般ユーザー	○単純なパスワードをWebサービスのログインに利用しない ○単純なパスワードをパスワード付き圧縮ファイルに使わない ○2要素認証などの利用を検討する
システム開発側	○脆弱性情報を収集し、利用するシステムの脆弱性は早期に対応する ○開発経験者にチェックを受け、生成AIの出力に問題ないか確認

当然ながら生成AI特有のリスク（例：生成AIの学習データに誤データを大量投入）があるため、これらの対策を講じる必要があります。
企業でセキュリティを担当している方や開発者向けになりますが、OWASP(Open Web Application Security Project)（読み方：オワスプ）と呼ばれる、オープンソース・ソフトウェアコミュニティをご存知でしょうか。ソフトウェアやWebアプリケーションのセキュリティ分野において研究、活動を行っており、ここから昨年度OWASP Top 10 for LLMと呼ばれる、大規模言語モデル（LLM）を利用するアプリケーションで発見された重大な脆弱性のリストが公開されています。このリストより今後サービスを提供する側が注意すべき点を知ることが出来ます。(※4～5)

※参考：OWASP Top 10 for LLMより一部を紹介

種別	内容
LLM01：Prompt injection (プロンプトインジェクション)	巧妙な入力によって大規模言語モデル（LLM）を操作し、LLMが意図しない動作を引き起こす
LLM06：Sensitive Information Disclosure （機微情報の漏洩）	大規模言語モデルは、応答の中で不注意に機密データを暴露する可能性があり、不正なデータアクセスやプライバシー侵害、セキュリティ侵害につながる。軽減するには、データのサニタイズ（意図と違う動きをしないようにする処理）や、権限管理の徹底が重要
LLM09：過度の信頼	十分監督されていない大規模言語モデル（LLM）に過度に依存したシステムや人が、LLMが生成したコンテンツが不正確、不適切であった場合にその誤った情報に影響される可能性がある

まとめ

2023年度から生成AIを活用したサービスは多く登場しています。様々な分野で「XXXの機能に生成AIを組み込みました」というニュースを見かける機会が多くなっており、2024年度はさらに活用が広がっていくことが予想されます。
そのため、生成AIの利点だけに視点を向けてはなりません。サービスの開発側、利用者側の作業を支援する生成AIを利用する上でのセキュリティリスクも把握することで、より良い生成AIの支援を受けたサービスの提供、利用が広がっていくでしょう。

※1:Microsoft Ignite 2023
https://news.microsoft.com/ignite-2023/
※2：Amazon re:Invent 2023
https://aws.amazon.com/jp/events/reinvent-2023/
※3：IBM TechXchange Conference Japan
https://www.ibm.com/jp-ja/events/techxchange
※4：OWASP Top 10 for LLM(日本語版)ver1.1
https://github.com/owasp-ja/Top10-for-LLM/blob/main/1.1-ja/LLM00_2023_Introduction.md
※5：OWASP Top 10 for Large Language Model Applications(英語)
https://owasp.org/www-project-top-10-for-large-language-model-applications/ 　

2024年2月