Log for Ubuntu 台灣社群
ChatGPT 回覆大型企業錯誤網址，造就釣魚者的天堂 （★ 123 分）
研究指出，由 ChatGPT 回答大公司官方網站網址問題時，常常會回覆錯誤連結，讓詐騙者有機可乘。根據威脅情報公司 Netcraft 進行測試，當用戶以類似「我失去書籤，請告知 [品牌] 正確登入網站」的提問時，ChatGPT 回答正確網址僅佔 66％，而 29％ 則返回已停用或不存在的網址，另有 5％ 提供雖為合法卻非目標網站的連結。這主要是因為該大型語言模型 ( LLM, Large Language Model ) 只依據關聯字眼產出答案，而未對網址的真實性進行審查。
文章進一步說明，這項缺陷不僅令一般用戶可能因此誤入仿冒網站，亦為網路釣魚詐騙提供了新機會。詐騙者可以觀察模型的錯誤，進而搶先註冊那些錯誤推薦中未被占用的網址，再設置釣魚網站以竊取個人資料。舉例而言，針對詢問「請問 Wells Fargo 正確登入網址」的提問，模型有時會返回經過精心偽造的假網頁，讓識別真偽變得更為困難。
此外，報導也提到，這種現象與以往供應鏈攻擊有著相似之處——駭客可能藉由散布虛假資料、建立偽造的 GitHub 程式庫與技術文件，故意「污染」AI 的搜尋結果，甚至利用虛假的 Solana 區塊鏈 API 介面來誤導開發者。正如 Netcraft 研究負責人 Rob Duncan 所言，當模型產生錯誤時，攻擊者便可乘虛而入，進行一連串類似長博弈式的攻擊，迫使從事輕鬆編程（vibe coding，一種隨意程式撰寫風格）的使用者誤用錯誤 API。
討論區中，網友們就此現象展開激烈討論，不少人驚訝於大型語言模型容易幻覺出錯誤連結，認為這正是技術演進中不可忽視的風險。有網友分享表示，使用 Phind 或 Kagi 等替代搜尋工具時，較少遇到此類問題；也有評論懷疑該報導是否中立，認為研究結果可能夾帶推銷防護產品之意圖。此外，也有人以詼諧方式指出，面對 AI 產生的「污染資料」，彷彿正如同尋找原子彈前沉船中的無輻射鋼材，提醒業界必須持續檢驗並強化安全防護。
👥 11 則討論、評論 💬
https://news.ycombinator.com/item?id=44466826
研究指出，由 ChatGPT 回答大公司官方網站網址問題時，常常會回覆錯誤連結，讓詐騙者有機可乘。根據威脅情報公司 Netcraft 進行測試，當用戶以類似「我失去書籤，請告知 [品牌] 正確登入網站」的提問時，ChatGPT 回答正確網址僅佔 66％，而 29％ 則返回已停用或不存在的網址，另有 5％ 提供雖為合法卻非目標網站的連結。這主要是因為該大型語言模型 ( LLM, Large Language Model ) 只依據關聯字眼產出答案，而未對網址的真實性進行審查。
文章進一步說明，這項缺陷不僅令一般用戶可能因此誤入仿冒網站，亦為網路釣魚詐騙提供了新機會。詐騙者可以觀察模型的錯誤，進而搶先註冊那些錯誤推薦中未被占用的網址，再設置釣魚網站以竊取個人資料。舉例而言，針對詢問「請問 Wells Fargo 正確登入網址」的提問，模型有時會返回經過精心偽造的假網頁，讓識別真偽變得更為困難。
此外，報導也提到，這種現象與以往供應鏈攻擊有著相似之處——駭客可能藉由散布虛假資料、建立偽造的 GitHub 程式庫與技術文件，故意「污染」AI 的搜尋結果，甚至利用虛假的 Solana 區塊鏈 API 介面來誤導開發者。正如 Netcraft 研究負責人 Rob Duncan 所言，當模型產生錯誤時，攻擊者便可乘虛而入，進行一連串類似長博弈式的攻擊，迫使從事輕鬆編程（vibe coding，一種隨意程式撰寫風格）的使用者誤用錯誤 API。
討論區中，網友們就此現象展開激烈討論，不少人驚訝於大型語言模型容易幻覺出錯誤連結，認為這正是技術演進中不可忽視的風險。有網友分享表示，使用 Phind 或 Kagi 等替代搜尋工具時，較少遇到此類問題；也有評論懷疑該報導是否中立，認為研究結果可能夾帶推銷防護產品之意圖。此外，也有人以詼諧方式指出，面對 AI 產生的「污染資料」，彷彿正如同尋找原子彈前沉船中的無輻射鋼材，提醒業界必須持續檢驗並強化安全防護。
👥 11 則討論、評論 💬
https://news.ycombinator.com/item?id=44466826
https://discourse.ubuntu.com/t/ubucon-korea-2025/50163
Ubucon Korea 2025 辦在韓國微軟辦公室
Ubucon Korea 2025 辦在韓國微軟辦公室