2021年8月26日，蘭德公司網(wǎng)站發(fā)布報告，題為《evaluating the Effectiveness of Artificial Intelligence Systems in Intelligence Analysis》，作者是丹尼爾·伊什、賈里德·埃廷格和克里斯托弗·費里斯。報告要點如下：

研究的問題

（1）人工智能（AI）系統(tǒng)的效能衡量指標(biāo)與情報分析的有效性有何關(guān)聯(lián)？

（2）在真實系統(tǒng)的開發(fā)以及可能尚未開發(fā)的假設(shè)系統(tǒng)中，如何反映人工智能對情報流程的支持？

（3）研究人員如何為情報流程建模以確定人工智能系統(tǒng)在該流程中對其產(chǎn)生的影響？

（4）哪些指標(biāo)可以表征人工智能系統(tǒng)的效能？

美國軍方和情報界對開發(fā)和部署人工智能系統(tǒng)以支持情報分析表現(xiàn)出興趣，這既是利用新技術(shù)的機會，也是解決不斷激增的數(shù)據(jù)過剩的解決方案。然而，在國家安全環(huán)境中部署人工智能系統(tǒng)需要能夠衡量這些系統(tǒng)在其任務(wù)環(huán)境中的效能。

為了解決這個問題，作者首先介紹了人工智能系統(tǒng)在支持情報方面可以發(fā)揮的幾類作用（即自動分析、收集支持、評估支持和信息優(yōu)先排序），并定性分析了對各類人工智能系統(tǒng)表現(xiàn)產(chǎn)生影響的驅(qū)動因素。

然后，作者單獨挑出信息優(yōu)先排序系統(tǒng)，該系統(tǒng)可將情報分析師的注意力引導(dǎo)到有用的信息上，并允許他們忽略對其無用的信息，以進(jìn)行定量分析。作者開發(fā)了一個簡單的數(shù)學(xué)模型來捕捉此類系統(tǒng)的一些錯誤后果，從而表明其效能不僅取決于系統(tǒng)的屬性，還取決于系統(tǒng)的使用方式。通過這個演練，作者展示了人工智能系統(tǒng)的計算影響以及可以預(yù)測表征人工智能系統(tǒng)效能的指標(biāo)，這些指標(biāo)可以幫助決策者了解人工智能對情報任務(wù)的實際價值。

主要發(fā)現(xiàn)

（1）使用與實際優(yōu)先級不匹配的指標(biāo)會模糊系統(tǒng)表現(xiàn)并阻礙最佳系統(tǒng)的知情選擇

• 應(yīng)在系統(tǒng)構(gòu)建之前選定測度指標(biāo)，并以試圖估計部署人工智能系統(tǒng)的實際影響為導(dǎo)向。

（2）效能以及衡量它的指標(biāo)不僅取決于系統(tǒng)屬性，還取決于系統(tǒng)的使用方式

• 決策者的一個關(guān)鍵考慮因素，是在用于構(gòu)建人工智能系統(tǒng)的資源之外專用于支持情報任務(wù)的資源量。

建議

• 從建立正確的指標(biāo)開始。這需要詳細(xì)了解人工智能系統(tǒng)的使用方式，并選擇那些能夠成功反映其利用情況的指標(biāo)。

• 定期重新評估（和重新調(diào)整）。由于系統(tǒng)周圍的世界在其部署后繼續(xù)演變，因此必須繼續(xù)將系統(tǒng)評估作為定期維護(hù)的一部分。

• 系統(tǒng)設(shè)計人員要有一套完善的指標(biāo)來衡量人工智能系統(tǒng)的效能，通曉這些指標(biāo)將有助于在設(shè)計新系統(tǒng)或維護(hù)現(xiàn)有系統(tǒng)的過程中與專家進(jìn)行交流。

• 進(jìn)一步研究評估人工智能系統(tǒng)效能的方法。