2025 InnoServe 資服競賽｜台灣大 AI 紅隊 eKYC 滲透創新組第一名
Oh Yeah 百變怪，就決定是你了！
以 Deepfake、3D 建模與影片竄改技術，對 eKYC 身分驗證系統進行 AI 紅隊測試。
- Year
- 2025
- Role
- 隊長／創意發想／整體規劃
- Team
- 4 人團隊
- Share
- 70%
專案總覽
本專題參與 InnoServe 資服競賽台灣大 AI 紅隊 eKYC 滲透創新組，針對主辦方提供的線上身分驗證系統進行攻擊測試與安全評估，最終獲得第一名。
問題與動機
eKYC 同時依賴證件辨識、人臉比對與活體偵測。攻擊者只要在其中一個環節找到弱點，就可能以偽造影像或身分資料通過驗證。
測試動態人臉驗證與 Presentation Attack Detection 對偽造影像的抵抗能力。
驗證證件篡改、人證比對與 Deepfake 素材是否可能造成錯誤接受。
方法與核心內容
團隊整合開源 Deepfake 專案 sensity-ai/dot、Blender 建模與影片竄改流程，依序產生不同攻擊素材並反覆驗證系統反應。
整理臉部替換工具鏈，建立可快速迭代的人臉偽造流程。
利用 Blender 與影片後製模擬動態頭部與活體驗證情境。
技術脈絡
以驗證流程為主軸，把攻擊素材的製作、測試、結果記錄與改良串成可重複執行的紅隊迭代。
三段式 eKYC 攻擊鏈
團隊將流程拆為證件真偽檢測（IDFD）、人臉替換與 Presentation Attack Detection（PAD）三個環節，先單獨驗證每個弱點，再組合為連續攻擊鏈。最終展示中，IDFD 以預製影片輸入，身分影像由 Deepfake 直接替換，活體階段則整合 sensity-ai/dot 產生可互動的人臉替換素材。
測試觀察
- 驗證系統是否確實要求實體證件，而不是只接受畫面中看似正確的文件影像。
- 檢查證件照片、自拍與活體階段是否共享同一個身分綁定。
- 觀察 PAD 使用的頭部動作、光影或表情挑戰是否能被預製或即時媒體繞過。
證件與欄位一致性防禦
簡報提出的改善方向不是只提高 OCR 準確率，而是加入文件完整性與跨欄位驗證。系統應要求證件四角與邊界完整，檢查裁切、遮擋、幾何對齊與透光特性，並將 OCR、MRZ、條碼中的姓名、證號、生日、效期及發證資訊互相比對。
可加入的比對
- IDFD 階段取得的證號必須與後續流程保持一致。
- 以 SSIM／LPIPS 比較整體視覺差異，搭配 SIFT／ORB 比對版面、字型、刮痕與污漬等局部特徵。
- 證件不完整或欄位矛盾時，不應只回傳失敗，而應轉入人工覆核。
PAD 與跨步驟身分綁定
對抗動態偽造時，可要求較大幅度的 yaw（約 ±45°）與 pitch（約 ±25°）、視線／表情變化、局部遮擋，以及動態光照下的皮膚高光、陰影連續性與 rPPG 一致性。
流程層防護
- 證件手持自拍、PAD 與 Deepfake 偵測應在單一連續 session 內完成，中斷即重新開始。
- 每一步以 face embedding 綁定同一人，避免各階段分別替換素材。
- 加入裝置指紋、網路與 session 綁定，降低跨裝置重放與接管風險。
執行流程
每次測試聚焦一個驗證環節，確認結果後再組合成完整攻擊鏈。
01 — 拆解 eKYC 驗證
盤點證件、身分、人臉與活體辨識步驟，建立測試順序。
02 — 產生攻擊素材
使用 Deepfake、3D 建模與影片修改製作不同品質與動態特徵的樣本。
03 — 反覆驗證與調整
根據系統回應調整素材，記錄可行條件與失敗模式。
由單點測試到完整鏈結
測試時先固定其他變因，只替換證件、臉部或活體素材中的一項，確認系統接受與拒絕的條件；最後才把可行方法串成端到端 Demo。這能區分是模型本身的辨識問題，還是不同驗證階段沒有共享狀態。
紅隊成果如何轉成防禦需求
每個成功繞過點都對應到可驗證的修補需求，例如文件邊界檢查、跨欄位一致性、較強的動態挑戰與 session 綁定。這讓展示不只停留在『成功通過』，也能說明系統應該在哪一層增加控制。
實作展示與攻擊證據
以下素材依照實際測試順序，呈現主辦方 eKYC 系統要求的證件動作與活體挑戰，以及團隊如何使用 Blender、影片與臉部替換工具準備攻擊素材。影片皆使用網頁壓縮版，點擊播放即可查看完整 Demo。
先理解系統要求：證件與活體驗證流程
測試前先逐步記錄系統要求使用者完成的動作。證件階段包含正反面、左右翻轉與上下傾斜；人臉階段則要求置中、靠近鏡頭、眨眼與轉頭。這些提示就是後續製作攻擊素材時必須滿足的動態條件。
Blender：重建會隨角度變化的證件素材
團隊不是只貼上一張平面證件圖，而是在 Blender 中建立節點與材質流程，將照片、反光與浮水印等資訊疊合，再輸出能配合翻轉動作的影片。這讓素材在證件傾斜時仍會產生視覺變化。
端到端 Demo：IDFD 與 PAD 繞過測試
完成素材後，再回到主辦方系統逐項測試。第一段影片呈現預製證件影片如何回應翻轉提示；第二段則記錄臉部與 PAD 流程，用來確認動態挑戰是否足以阻擋經處理的影像輸入。
我的貢獻
貢獻比例 70%，負責從題目方向到工具選擇與團隊執行節奏的主要工作。
- 01隊長與整體規劃拆解競賽目標、安排測試路線並整合團隊成果。
- 02創意發想提出結合 Deepfake、Blender 與影片竄改的攻擊方向。
- 03工具與資料查找評估開源專案、測試素材與各種實作方式。
- 04測試整合協助把不同攻擊方法組成可展示的驗證流程。
成果與反思
專題獲得 eKYC 滲透創新組第一名，也證明跨領域工具能有效補足傳統網路攻防以外的身分驗證測試視角。