Beyond Prompt Attacks：用開放技術打造可落地的 LLM 合規防護鏈
曲華榮／中華電信研究院 雲端運算研究所 高級研究員
2026-05-07 09:30 - 10:00 @ 4F 展區會議室 4E, 南港展覽館 2 館
議程核心摘要
企業導入 LLM 所面臨的資安與合規挑戰，已不再只是傳統的提示詞注入攻擊（Prompt Injection），也不僅限於 OWASP LLM Top 10 所列出的典型風險。本議程聚焦於 LLM 實際落地時產生的「合規斷層」，特別是在 RAG（檢索增強生成）架構下，如何處理機敏資料隔離、個資保護與模型幻覺抑制等實務問題。
議程主軸在於說明：企業若要打造可靠、可控、可合規的 AI 系統，不能只依賴單一模型層級的防護，而必須從需求設計、系統架構、資料治理到輸出驗證，建立一套可落地的 LLM 合規防護鏈。
1. AI 應用的新型態威脅：越獄與提示詞攻擊
目前 AI 安全防護仍須面對常見的提示詞注入攻擊與越獄（Jailbreak）手法。例如攻擊者可能利用「文言文」等特殊語境，試圖繞過模型原有的安全限制，誘導 LLM 輸出不應提供的內容。
簡報這裡列出的案例是用文言文提示詞讓 Claude 回答炸彈做法。
然而，企業實際導入 LLM 時，真正的挑戰往往不只是在「單次對話」中防堵惡意提示詞，而是來自系統整合與應用架構層面的深層風險。特別是在企業知識庫、ERP、客服、文件檢索或決策輔助等場景中，LLM 的輸出若未經適當控管，可能直接影響營運判斷與商業決策。
2. RAG 場景下的雙重挑戰：機敏資料隔離與幻覺抑制
在 RAG（Retrieval-Augmented Generation，檢索增強生成）應用中，企業通常會將 LLM 與內部文件、知識庫或業務系統整合，讓模型根據檢索到的資料產生回答。這種架構雖然能提升回答的即時性與企業知識應用價值，但也帶來兩大關鍵挑戰：
- 機敏資料與個資隔離：必須確保不同權限、不同部門、不同資料敏感等級的內容不會被錯誤檢索或洩漏。
- 模型幻覺抑制：即使有參考資料，LLM 仍可能產生參考文件中不存在、未被證實或錯誤推論出的內容。
因此，RAG 並不等於天然可靠。若缺乏完善的權限控管、資料隔離與輸出驗證機制，企業反而可能把 LLM 的不確定性導入核心業務流程。
3. 幻覺風險案例：ERP 系統中的錯誤產品資訊
議程以 ERP 系統整合為例，說明 LLM 幻覺可能造成的實際商業風險。
假設企業使用 LLM 查詢或整理 ERP 內的產品規格，模型可能在參考文件未記載的情況下，捏造不存在的資訊，例如：
- 錯誤的 CPU 世代
- 無中生有的 GPU
- 參考資料中不存在的產品規格
- 與企業內部資料庫不一致的技術細節
若這類錯誤內容未經攔截，就可能被業務、採購、客服、技術支援或管理層採信，進而導致錯誤報價、錯誤採購、錯誤承諾，甚至造成嚴重的商業損失。
4. Grounding：將輸出內容與參考資料比對
為了降低幻覺風險，議程強調必須導入 Grounding（事實查核）機制。
Grounding 的重點在於：LLM 的回答不能只依賴模型本身的語言生成能力，而必須與企業指定的參考資料、內部文件或知識庫進行比對，確認輸出內容是否有資料來源支撐。
在 RAG 應用中，Grounding 應被視為必要防線，用來確保：
- LLM 的回答與企業內部參考資料高度一致
- 未被資料支持的內容可以被攔截或標示
- 模型不得任意補完、推測或捏造關鍵資訊
- 商業決策所依據的 AI 輸出具備可追溯性與可信度
換言之，Grounding 是將 LLM 從「看似合理的文字生成器」轉化為「可被企業控管與驗證的輔助系統」的重要機制。
5. 從單一模型防護走向整體架構設計
要有效解決上述問題，企業不能只把防護焦點放在單一模型或單一提示詞過濾機制上，而應將 AI 安全視為整體系統架構的一部分。
可靠的 AI 系統設計，應從「單點防護」擴展到「整體架構防護」，並在需求設計階段就納入以下考量：
- 機敏資料隔離
- 個資與權限控管
- RAG 檢索範圍限制
- LLM 輸出內容驗證
- 幻覺防範
- Grounding 事實查核
- 合規稽核與可追溯性
這些機制不應等到系統部署後才事後補救，而應在系統規劃、需求分析與架構設計初期就一併納入。
6. 開放技術與合規防護鏈
議程建議企業採用開放、中立的技術方案，建構可落地的 LLM 合規防護鏈。
所謂「合規防護鏈」，不是單一工具或單一模型設定，而是一套能將合規要求轉化為實際技術控制的完整流程。它應涵蓋資料進入、檢索、生成、查核、輸出與稽核等環節，讓企業可以在導入 AI 的同時，維持資料安全與風險可控。
採用開放、中立的技術方案，則有助於避免被特定供應商或封閉平台綁定，並提升系統架構的彈性、可替換性與可稽核性。
7. 總結
AI 合規不應只是抽象規範、紙本審核或政策宣示，而必須落實為具體可執行的技術防護。
企業導入 LLM 時，除了防範提示詞注入與越獄攻擊，更應正視 RAG 架構下的機敏資料隔離、個資保護與模型幻覺問題。透過在需求設計階段提前介入，並導入 Grounding、權限控管、資料隔離與開放中立的技術方案，企業才能建立真正可落地的 LLM 合規防護鏈。
如此一來，才能在加速 AI 價值落地的同時，達成安全、合規與風險可控的雙贏局面。