從策略系統terminalCSO 的 AI 轉型筆記

Day 8|SKILL, the last but not least

AI 看得懂語意,卻常算錯數字。把數字交給程式驗證,錯誤就從機率變必然。

當你使用了SKILL,例如 Ecommerce Research SKILL。

把 Shopee SG, Lazada SG, Amazon SG 的市場競品的產品頁都掃過一遍,

命令 AI 把它們的價格帶也都做了美美的圓餅圖分析,讓每個價格帶的比例清清楚楚。

滿心歡喜的要把做完的競品分析交出去時,眼睛餘光瞄到:

咦,怎麼這些產品的價格,跟網頁上的不太一樣,200變成2000,399變成369。

而且不只是一組數字有問題,是大部份的數字都有問題,那這個分析不就壞了!?

  • 不要懷疑,這是在使用 AI 的時候,常出現的情況。

AI 本質上是機率模型,它雖然能夠做大量的語意判斷,

看的出情緒,理解文字的傾向,但數字往往不是它擅長的。

即便目前的 AI 已經在這塊有常足的進步,

但是當你要交出一份可能會被人檢視的報告或是數據,

比較好的方式,就是把相關的文字及數字記錄下來。

然後,

你想到了嗎,我們可以個別對文字、數字,去做驗證,避免這樣送出去,把自己的工作也送掉了。

文字:記錄下來的部份,逐個讓 AI 再次做比對,例如文字要完全一致?文字語意要相符?you name it.

數字:記錄下來的部份,「不讓 AI 比對」,讓它寫程式去運算,用固定的方式去比對差異或是計算,

讓數字可以是一個,無論怎麼驗證都不會錯的值,如果還是有錯,

方向很確定可以縮小為:抓下來的數字有問題/你想要的程式運算邏輯其實是錯的,方向要調整。

讓錯誤,從未知變成已知,從機率變成必然。

接著將這組程式,也加入你的 SKILL,在過程裡去呼叫,把運算後的值作為你報告內的一部份。

從此之後,你每次執行這組 SKILL的時候,那個安心感來自於你能夠擁有 LLM (AI) 的高度解析能力,

但也有了程式能夠固定、能夠回放的精確打擊。

It is part of what it is.