AI 選型4 min
製造業以真實產線樣本評估 AI 品管檢測系統

製造業導入 AI 品管檢測前的選型評估:POC 怎麼設計才知道準不準

AI 視覺檢測的展示準確率,不等於產線上的準確率。本文整理資料前提、POC 設計、驗收標準,以及選廠商時必問的關鍵問題。

AI 選型AI 品管檢測機器視覺製造業POC數位轉型

一間兩百多人規模的電子零件代工廠,目檢線每天要靠八個熟練作業員盯著產品挑瑕疵,人力成本年年上漲,老師傅也開始有人準備退休。廠長看過幾場 AI 視覺檢測的展示,現場 demo 抓瑕疵抓得又快又準,價格也在預算範圍內,心裡已經有八成把握要簽約。唯一還沒想清楚的是:demo 現場那批漂亮的樣本,跟自己產線上真正會遇到的瑕疵,到底是不是同一回事。

這個猶豫是對的。AI 品管檢測的展示現場,用的往往是廠商精挑細選、光線條件最理想的樣本,跟產線實際的照明、震動、粉塵、批次差異完全是兩個世界。很多後來喊卡的專案,不是模型不厲害,而是簽約前沒有把「準不準」這件事定義清楚,等到上線才發現落差。

導入前該先確認的資料與流程前提

在跟任何廠商深談之前,廠內自己要先盤點三件事:現有目檢累積了多少張已標註的瑕疵影像、這些標註是不是由有經驗的品管人員做的、產線的光源與拍攝角度是否穩定。這些前提沒有,AI 模型就沒有東西可以學,再厲害的演算法也是巧婦難為無米之炊。

同樣重要的是,現有的目檢 SOP 有沒有文件化。很多老師傅的判斷標準是「看習慣了就知道」,這種隱性知識如果沒有被整理成明確規則,廠商拿到的需求就只會是「幫我抓瑕疵」這種模糊描述,訓練出來的模型自然也抓不到重點。導入前把這份標準寫下來,是最花時間但也最值得的一步。

POC 該怎麼設計才知道準不準

真正有意義的 POC,不能只是廠商拿自己的展示資料庫跑一輪。應該堅持用產線最近三到六個月的真實瑕疵樣本,涵蓋各種光線、批次、產品版型的變化,讓模型在你的環境裡重新驗證一次。

POC 開始前,雙方要先寫清楚驗收標準:多少的誤判率算過關、漏檢率的上限是多少、測試樣本數要多大才有統計意義,這些數字都要在合約或試用協議裡白紙黑字寫明,而不是等結果出來再各說各話。時間拉長一點也沒關係,一般抓一到三個月比較務實,太短的 POC 只能驗證「技術上做得到」,驗不出「在你的產線上穩不穩」。

該問廠商的關鍵問題

除了準確率數字,還有幾個問題一定要問:模型是用你的產線資料重新訓練,還是套用一套通用模型微調而已;上線後如果發生連續誤判,責任跟後續調校的費用怎麼算;系統要不要跟既有的 MES 或報表系統串接,串接的技術門檻與費用是不是含在報價裡;以及萬一之後想換廠商,訓練好的模型與資料能不能帶走。這幾題答得含糊,通常代表後續合作也會很含糊。

一定要問廠商的問題常見的模糊話術
準確率是用哪批資料測出來的,能不能用我們的資料重測我們準確率都有九成五以上
誤判責任跟後續調校費用怎麼分攤上線後我們都會協助處理
能不能提供同產業、同規模的實際案例與可查證的客戶我們合作過很多知名大廠
模型與資料歸屬權,換廠商時能不能帶走這個之後再談就好

導入前最後該確認的事

如果廠商願意用你的真實產線資料做 POC、願意把驗收標準寫進合約、也講得出模型訓練方式與資料歸屬,這通常是一個值得繼續談下去的對象。反過來,如果對方只想用漂亮的展示資料說服你,或是每個關鍵問題都用「上線後再看」帶過,這就是該放慢腳步、多找一家比較的訊號。品管檢測牽動的是出貨品質與客訴風險,多花兩三週把評估做扎實,遠比事後重來划算。