工作環境介紹

我所在的 SMDC 智慧製造發展中心 (Smart Manufacturing Development Center) 共分成三組，分別是AI Vision、Automation 以及 Data Analysis。我所在的AI部門是專注於將 AI 視覺檢測技術應用於製造、品質控制與使用人體姿態辨識管控 SOP 的部門。部門的工作範圍涵蓋了從數據處理、模型開發，到現場監測與工控系統整合等功能。

A computer chip with the letter ia print

AI Vision

專注於特徵深度學習，

開發高精度瑕疵檢驗模型

Automation

實現無人化作業，

提升生產安全、品質與效率

Speedcurve Performance Analytics_edited.

Data Analysis

處理大量、多樣、快速的

生產數據，提供即時洞察

工作詳述

我的實習工作內容主要分為兩部份：

A. 前期技術探索與學習經驗

這是實習初期進行的獨立技術探索任務，旨在快速熟悉工業界對 AI 視覺檢測的高精度要求與數據規範。

進入無塵室產線學習：
- 實際進入半導體製造的無塵室產線，觀察 Die Bond 與 Wire Bond 設備的運作流程。
- 學習晶片封裝過程中對瑕疵檢測的行業標準與高精度要求。
高精度數據標註執行：
- 針對 Die Bond/Wire Bond 的 AI 檢測基礎專案，負責執行標記工作。
- 累積對高解析度工業影像數據進行微小瑕疵標註的經驗，了數據品質對模型精準度的決定性影響。

B. 核心專案：籠車狀態即時偵測系統之開發

專案背景與目標：此專案旨在透過電子圍籬，解決出貨部門的人員疏失。鑑於從 2023 年至 2025 年每年皆發生至少 1 件籠車掉落碼頭事件，導致封裝好的晶片損壞，造成鉅額損失，本系統的目標是透過電子圍籬（ROI 區域）偵測，即時辨識籠車是否進入警戒區，從而避免人員未注意而將其推下碼頭。

場域與硬體規劃：專案實作場景位於碼頭區域。團隊在初期場勘中，詳細規劃了相機的架設位置，透過交叉拍攝以消除視覺死角，評估搭載NVIDIA Jetson AGX Orin 的 Edge Server 等硬體將放置於牆後電腦區。

階段一：技術準備與環境建置

在籠車專案啟動時，我的主要工作是進行環境設置與技術儲備

Linux 與 Edge 熟悉：
進行 AAEON Edge Server 的系統設定，學習並熟悉 Linux 系統下的權限管理、軟體安裝與虛擬環境配置（Conda/venv）。
深度學習框架與模型準備：
學習 YOLO 框架基礎知識，了解模型檔案結構與運作方式，並學習 PyTorch 中關於 GPU 裝置配置的基礎設定。

階段二：籠車資料集建構與品質管理

我的主要職責是執行數據轉化工作，以支持 RTX-5080 訓練主機的模型訓練：

影片幀提取工具實作：
- 協助開發 Python 工具，並負責測試與調試，確保該工具能支援根據精確時間或固定幀率進行影像取樣。
目標類別定義與標註執行：
- 負責使用 LabelImg 工具進行標註，輸出符合 YOLO 訓練的正規化座標格式，確保數據品質與多種標註形式的兼容性。
- 定義了需辨識的籠車樣式等共 13 個目標類別。

階段三：邊緣運算平台部署與性能優化

我在團隊設計的架構下，協助核心程式的實作與驗證：

模型加速與裝置配置：
確保將 Ultralytics YOLO 模型透過 TensorRT 加速。推論環節透過 FP32 轉 FP16 浮點數精度優化，將 AI 推論 FPS 從 10 提升至 15（約 50% 性能提升），以最大化 NVIDIA CUDA (GPU) 的運算效率，實現即時影像推論。
多程序平行化機制實作與驗證：
針對單一執行緒的性能瓶頸，我執行團隊提出的 multiprocessing 模組解決方案。實作並驗證將 RTSP 即時串流影像的擷取、偵測、顯示任務分離到獨立程序中的程式邏輯，成功實現「一對二」即時影像串流的穩定 AI 推論偵測。

階段四：電子圍籬演算法

籠車偵測：取得偵測到的籠車位置資訊。
警戒區判斷：
判斷籠車是否進入預先設定的警戒區（ROI）。
判斷籠車偵測框的右下點是否進入警戒區，作為輔助精準判斷。
NG Criteria 判定：執行量化判定邏輯，若 (籠車警戒區交集面積/籠車總面積>3%)，則判為 NG。
異常處置：一旦判斷為 NG，Edge Server 即透過 Modbus/TCP 協定向電控箱內置的 ADAM 模組發送指令。該模組隨即觸發聲光合一音量喇叭進行即時警示，從而避免人員將籠車推入危險區域。