生成AIを業務に導入する企業が増える一方で、情報漏洩や不正利用といったセキュリティ上のトラブルも現実に発生しています。
この記事では、生成AIの業務利用で実際に起きた事故や、起こりうるリスクを6つの領域に分けて整理し、それぞれ「何が危険なのか」「やってはいけないことは何か」を具体的に解説します。
まつ読み終える頃には、どこまでAIに任せて良いかの明確な線引きができるようになり、漠然とした不安が管理されたリスクへと変わるはずです。
生成AIセキュリティ対策① 個人情報・機密情報の漏洩
生成AIのセキュリティ問題の中で、最も件数が多く、かつ当事者に自覚が生まれにくいのがAIへの情報入力による漏洩です。便利だからこそ起きる、日常業務の延長線上にあるリスクを理解しておく必要があります。
ChatGPTに社外秘を入力して情報が学習データに取り込まれた事例
2023年3月、Samsungの半導体部門でChatGPTの社内利用が許可された直後、約20日間で3件の機密情報漏洩が発生しました。エンジニアが半導体設備の測定用プログラムのソースコードをChatGPTに入力してバグ修正を依頼したケース、歩留まり計算用プログラムのコードをすべて入力してコードの最適化を試みたケース、さらに会議の録音内容をAIに入力して議事録を作成しようとしたケースが報告されています。
いずれも業務効率化が目的でしたが、入力された情報はOpenAIのサーバーに送信・保存され、モデルの学習に利用される可能性がありました。Samsungは緊急措置としてChatGPTへのアップロード容量を1,024バイトに制限し、その後社内専用AIの構築を検討する事態に至りました。
なぜ「入力した情報」が漏洩リスクになるのか
生成AIサービスの多くは、ユーザーが入力したデータをモデルの改善・学習に利用する場合があります。これは利用規約に明記されていることが多いものの、実際に規約を読んでから使い始める社員はごく一部です。
学習に取り込まれたデータは、別のユーザーへの回答の中に断片的に含まれる可能性があります。たとえば、ある企業が入力した技術的なノウハウが、競合企業の質問への回答に影響を与えるといった事態が理論上起こりえます。
さらに見落とされがちなのが、学習への利用だけでなく「サーバーへのデータ送信」そのもののリスクです。社内ネットワークの外にあるサーバーに機密情報を送信している時点で、データの管理権限が自社から離れています。サーバー側でのセキュリティインシデントやアクセス権限の不備があった場合、自社の管理が及ばない場所で情報が漏洩する可能性があります。
情報漏洩を防ぐためにやってはいけないこと・確認すべきこと
やってはいけないこと
- 顧客の個人情報（氏名、連絡先、契約内容など）をAIに入力する
- 社内の未公開財務データ、経営戦略資料、M&A関連情報をプロンプトに含める
- 自社または顧客のソースコード、設計図、技術仕様書をそのまま貼り付ける
- 従業員の人事評価、給与情報、健康情報をAIで処理する
確認すべきこと
- 利用するAIサービスの「データ利用ポリシー」で、入力データが学習に使われるかどうかを確認する
- ChatGPTであればオプトアウト設定（学習への利用を拒否）が可能かどうかを確認し、必要に応じてAPI版やEnterprise版の導入を検討する
- 社内で「AIに入力してよい情報」と「入力してはいけない情報」の基準を明文化し、全社員に共有する
- 入力前に「この情報が社外の第三者に見られても問題ないか」を判断基準とするルールを設ける
生成AIセキュリティ対策② APIキー流出による高額請求
生成AIをAPI経由で利用する場合、認証に使うAPIキーの管理が極めて重要です。
キーが外部に流出すれば、第三者による不正利用で高額な請求が発生するだけでなく、業務データの漏洩にもつながります。
API連携で開発用キーが外部に流出し高額請求が発生した事例
2025年8月、あるOpenAI API利用者の組織で、開発者に配布していたAPIキーが外部に流出し、不正利用による高額請求が発生しました。月額2,500ドルの利用上限を設定していたにもかかわらず、実際には6,200ドル以上の請求が発生。OpenAIの利用上限は「ハードストップ」ではなく「ソフトリミット（警告）」として機能する仕様であったため、上限を超えても課金が続いたことが被害を拡大させました。
また、AI企業の非公開APIキーがGitHubに流出するケースも相次いでいます。セキュリティ企業Wizの調査によると、米Forbes誌の「AI 50」に選ばれた企業の65%で、GitHubリポジトリからAPIキーやトークンの流出が確認されています。
APIキー管理が甘いと何が起きるのか
APIキーはAIサービスへの「合鍵」です。キーを入手した人間は、所有者のアカウントでAPIを自由に利用できます。発生する被害は大きく3つあります。
金銭的被害
API利用は従量課金が一般的なため、悪用されると短時間で高額な請求が発生します。利用上限の設定がソフトリミットの場合、気づくまで課金が続きます。自動トップアップ（残高がなくなったら自動でクレジットを追加する設定）が有効になっていると、被害額がさらに膨らみます。
情報漏洩
APIキー経由で過去のリクエスト履歴やファインチューニングに使ったデータセットにアクセスできる場合があります。つまり、キーの流出は金銭だけでなく業務データの流出にもつながります。
レピュテーションリスク
流出したキーを使って不適切なコンテンツが生成された場合、そのキーに紐づくアカウント（つまり自社）が利用規約違反としてサービスを停止される可能性があります。
APIキーの管理で守るべきルール
絶対にやってはいけないこと
- ソースコード内にAPIキーを直接書く（ハードコーディング）
- APIキーをSlack、メール、Notion、Google Docsなどで共有する
- テスト用であっても本番環境と同じキーを使い回す
必ず実施すべきこと
- APIキーは環境変数またはシークレットマネージャー（AWS Secrets Manager、HashiCorp Vaultなど）で管理する
- APIの利用上限（月額・日額の課金上限）を必ず設定し、自動トップアップは無効にする
- .gitignoreファイルに.envやシークレットファイルを追加し、リポジトリへのコミットを防止する
- APIキーを定期的にローテーション（再発行・旧キー無効化）する
- git-secretsやGitHub Secret Scanningなどのツールでリポジトリ内のシークレット検知を自動化する
生成AIセキュリティ対策③ 会社が把握していないAI利用(シャドーAI)
正式にAIを導入している企業でもそうでない企業でも、社員が個人アカウントで勝手にAIを使っている可能性は高いです。会社が把握できないAI利用は、インシデント発生時の調査すら困難にします。
社員が個人アカウントで業務データをAIに入力している
会社として正式にAIツールを導入していないにもかかわらず、現場ではすでに生成AIが使われている。個人のGoogleアカウントでGeminiにアクセスし、会議の議事録を要約させている。個人のOpenAIアカウントでChatGPTに営業メールの下書きを頼んでいる。こうした「会社が認知・管理していないAI利用」がシャドーAIです。
シャドーITの概念は以前からありましたが、生成AIはテキストを入力するだけで使えるため、特別なソフトウェアのインストールや設定が不要です。ブラウザさえあれば使えるという手軽さが、シャドーAIを従来のシャドーIT以上に検知しにくいものにしています。
なぜシャドーAIは情報漏洩より厄介なのか
シャドーAIの問題は単なる情報漏洩リスクにとどまりません。最大の問題は、会社として「何の情報が、いつ、どのAIサービスに、誰によって入力されたか」を一切把握できない点にあります。
個人アカウントでの利用は、当然ながら企業向けの管理機能やログ監視の対象外です。万が一インシデントが発生しても、どの情報がどこに流出したかを調査する手がかりすら残りません。企業の情報セキュリティの前提は「何がどこにあるかを把握していること」ですが、シャドーAIはこの前提そのものを崩します。
加えて、個人アカウントで利用した場合、AIサービスのデータ利用ポリシーは企業向けではなく個人向けの条件が適用されます。企業向けプランでは「入力データを学習に使わない」と規定されていても、無料の個人アカウントでは学習に使われるのがデフォルトである場合が多く、社員が知らないうちにより不利な条件で機密情報を渡していることになります。
シャドーAIを防ぐために組織がやるべきこと
禁止だけでは解決しない理由
「業務でのAI利用を禁止する」というルールだけでは、シャドーAIは防げません。禁止しても業務上の便利さから使い続ける社員が出るのは避けられず、結果として「使っていることを隠す」インセンティブを生み、状況をさらに悪化させます。
組織として取るべき対策
- 会社として利用を許可するAIツールとプラン（Enterprise版など）を選定し、全社員に提供する
- 「利用していいAI」と「利用してはいけないAI」を明確にしたガイドラインを策定する
- AI利用状況を可視化する仕組み（CASBやSWGなど）の導入を検討する
- 「AIを使うこと自体は推奨するが、会社が指定したツールで使うこと」というメッセージを経営層から発信する
- 定期的なAIセキュリティ教育・研修を実施し、なぜルールがあるのかの背景を説明する
生成AIセキュリティ対策④ AI生成物の著作権・知財リスク
生成AIで作ったコンテンツは「自社のオリジナル」のように見えますが、学習元データとの類似性や、そもそも著作権が成立するのかといった法的リスクを伴います。知らずに公開すれば権利侵害や保護の空白を生むことになります。
AIが生成した文章や画像をそのまま公開すると何が起きうるか
AI画像生成ツールでビジュアルを作成し、SNS広告や製品ページにそのまま使用した場合、そのビジュアルが既存のイラストレーターや写真家の作品と酷似していれば、権利者から削除要請や損害賠償を求められる可能性があります。AIは学習データを「参考」にして出力を生成するため、既存の著作物と表現が重複するリスクは構造的に存在します。
同様に、AIが生成した文章をコーポレートサイトやプレスリリースにそのまま掲載した場合、他社の公開資料との類似性を後から指摘されるケースも想定されます。
AI生成物の著作権は誰のものか？現時点のルール
AI生成物の著作権に関する法的整理は、日本を含む各国でまだ発展途上です。日本の著作権法では、著作物は「思想又は感情を創作的に表現したもの」と定義されており、AIが自律的に生成したコンテンツが著作物に該当するかは明確に定まっていません。
文化庁の「AIと著作権に関する考え方について」（2024年公表）では、いくつかの方向性が示されています。AIに対する指示（プロンプト）に創作的寄与が認められる場合は、指示した人間に著作権が発生する余地がある一方、単にAIに「○○の画像を作って」と指示しただけでは創作的寄与が認められにくいとされています。
企業にとって実務上重要なのは、AI生成物に著作権が「ない」場合のリスクです。著作権が認められなければ、その成果物は第三者に自由に利用されても法的に保護できません。競合他社に自社のマーケティング素材を模倣されても、著作権に基づく差止めが困難になる可能性があります。
著作権トラブルを避けるためのチェックポイント
AI生成物を公開・利用する前に確認すべきこと
- 生成されたコンテンツが既存の著作物と類似していないか、画像であればGoogle画像検索やTinEyeなどで逆検索して確認する
- AI画像生成ツールの利用規約で、生成物の商用利用が許可されているか確認する
- 重要な商用利用（広告、製品パッケージ、公式サイトのメインビジュアルなど）にはAI生成物のみに依存せず、人間によるオリジナル制作またはライセンス素材を併用する
社内ルールとして整備すべきこと
- AI生成物を外部公開する場合の社内承認フローを設ける
- AI生成物であることを社内で管理・記録する仕組みを作る（後日の権利問題発生時に経緯を追跡できるようにするため）
- 契約書や提案書など法的効力を持つ文書にAI生成文をそのまま転記しない
生成AIセキュリティ対策⑤ ハルシネーションによる誤判断・誤用リスク
生成AIの出力は文法的に正しく、自信に満ちた文体で書かれているため、内容が正確かどうかを判断しにくいのが特徴です。これを検証せずに業務で使えば、誤情報に基づいた意思決定が行われるリスクがあります。
AIが生成した存在しない判例を弁護士が裁判所に提出した事例
2023年、米ニューヨーク州の弁護士がChatGPTを使って訴訟資料を作成したところ、実在しない6件の判例が引用された準備書面を裁判所に提出してしまいました。相手側弁護士が判例データベースで該当する判例が見つからないと指摘し、問題が発覚。担当弁護士は「ChatGPTが虚偽の情報を出力するとは知らなかった」と証言しました。裁判所は弁護士2名に5,000ドルの制裁金を科しました。
2025年2月には、別の特許訴訟でも同様の事案が発生しています。弁護士がChatGPTで判例調査を行い、存在しない判例への引用や実在する判例からの架空の引用文など11項目の重大な誤りを含む書面を提出し、制裁を受けました。米国では現在までに、AIによる架空判例の引用事案が全米で数百件報告されています。
ハルシネーションはなぜ起きるのか
生成AIは「次に来る確率が最も高い単語を順番に出力する」という仕組みで動いています。知識をデータベースのように正確に検索しているわけではなく、学習したパターンに基づいて「もっともらしい文章」を生成しています。そのため、学習データに含まれない情報や曖昧な情報については、事実とは異なる内容を自信のある文体で出力することがあります。これがハルシネーション（幻覚）と呼ばれる現象です。
ハルシネーションが特に危険なのは、AIが「わかりません」と言わずに、もっともらしい嘘をつく点です。検索エンジンであれば「該当する結果が見つかりません」と返しますが、生成AIは常に何らかの回答を生成します。しかもその回答は文法的に正しく、論理的な構成で書かれているため、内容の真偽を見分けるのが難しくなります。
専門性の高い領域（法律、医療、財務、技術仕様）ほどハルシネーションのリスクが高く、かつ誤情報の影響も深刻になります。AIは汎用的な知識には強い一方で、特定分野の最新情報や細かい正確性が求められる領域では信頼性が低下します。
AI出力を業務に使う前に必ず行うべき確認
絶対にやってはいけないこと
- AIが出力した数値・統計データを、出典を確認せずにそのまま資料に使う
- AIが引用した法令名・判例・ガイドラインを、原文にあたらずに採用する
- 「AIが言っているから正しい」という前提で意思決定を行う
確認フローに組み込むべきこと
- AI出力の中に含まれる固有名詞、数値、日付、引用元は、必ず一次情報源にあたって裏取りする
- 業務上重要な文書（契約書、報告書、プレスリリース）については、AI出力を「下書き」として扱い、必ず人間がレビューする工程を設ける
- AIの出力に対して「この情報の根拠は何か」と追加で質問し、回答の根拠を検証する習慣をチームに定着させる
- 社内で「AIの出力はあくまで参考情報であり、最終判断は人間が行う」という原則を明文化する
生成AIセキュリティ対策⑥ 生成AI悪用によるフィッシング・なりすまし攻撃
生成AIは社内で使うだけのツールではなく、外部の攻撃者にも同じように使えるツールです。AIの登場により、フィッシングやなりすましといった従来の攻撃手法が質的に変化しています。
AIで作成された精巧なフィッシングメールやディープフェイク通話が届く
従来のフィッシングメールは、不自然な日本語や明らかな文法ミスから見分けることができました。しかし生成AIを使えば、ターゲット企業の業界用語や社内文化に合わせた自然な日本語のメールを大量に生成できます。
さらに深刻な事例として、2024年、英エンジニアリング大手Arupの香港支社で、ディープフェイク技術を使ったビデオ会議により約2億香港ドル（約40億円）が詐取される事件が発生しました。攻撃者は英国本社のCFO（最高財務責任者）や同僚の映像をAIで生成し、ビデオ会議上で本人になりすまして送金を指示しました。被害者となった従業員は、当初メールに不審を感じていたものの、ビデオ会議で確認した顔と声が同僚と同じだったため信用してしまいました。
AI時代のソーシャルエンジニアリングが従来と違う理由
ソーシャルエンジニアリングとは、技術的な手段ではなく人間の心理的な隙をついて情報を盗む手法です。AIの登場により、この手法が3つの点で質的に変化しています。
スケーラビリティ
従来は攻撃者が1通ずつメールを作成する必要がありましたが、AIを使えば個別にカスタマイズされた攻撃メールを短時間で数千通生成できます。「量」と「質」が両立するようになった点が決定的な変化です。
パーソナライゼーションの精度
SNSやWebサイトから収集した情報をAIに分析させ、ターゲットの関心事や行動パターンに最適化されたメッセージを自動生成できます。受信者にとって「自分に関係がある」と感じさせる内容になるため、開封率と反応率が格段に上がります。
マルチモーダル化
テキストだけでなく、音声、画像、動画といった複数のメディアをAIで生成し、組み合わせて使う攻撃が可能になっています。テキストメール＋音声電話＋偽のビデオメッセージを組み合わせた複合型の攻撃は、従来の「怪しいメールに注意」という防御策では防ぎきれません。
AI悪用型攻撃から組織を守るための対策
従来の対策で通用しなくなっていること
- 「不自然な日本語のメールに注意」という指導では、AI生成の自然な日本語メールは見分けられない
- 送信者名だけで信頼性を判断する運用では、なりすましに対応できない
新たに組織として導入すべき対策
- 金銭の移動や機密情報の送信を伴う依頼は、メール単体では実行せず、別の連絡手段（電話、対面、社内チャット）で必ず本人確認を行うルールを設ける
- AI生成コンテンツの検知ツール（ディープフェイク検出、メール解析など）の導入を検討する
- フィッシング訓練を定期的に実施し、AI生成メールを模した訓練メールも含める
- 「緊急」「至急」「社長から直接」といった心理的圧力をかける文面に対して、冷静に手順を踏む文化を組織全体で醸成する
- 不審なメールや連絡を受けた際の報告窓口とエスカレーションフローを明確にし、報告したこと自体が評価される環境を作る
まとめ
生成AIの業務利用におけるセキュリティリスクは、大きく6つの領域に分かれます。AIへの機密情報入力による漏洩、APIキー流出による不正利用と高額請求、会社が把握できないシャドーAI、AI生成物の著作権リスク、ハルシネーションによる誤判断、そしてAI悪用型のサイバー攻撃です。
いずれのリスクにも共通しているのは、技術的な脆弱性よりも「人間の認識不足」が最大の原因であるという点です。AIツール自体を禁止するのではなく、どう使えば安全なのかを組織全体で理解し、具体的なルールとして運用に落とし込むことが重要です。この記事で整理した「やってはいけないこと」と「確認すべきこと」を社内のAIセキュリティガイドラインの土台として活用してください。