在實際的運維場景中，構建一個異常檢測系統(tǒng)往往需要兩個角色共同參與：領域專家和算法開發(fā)人員。領域專家也就是我們的運維人員，他們對KPI曲線的行為很熟悉，可以通過觀察KPI曲線并結合自己的領域知識，判斷KPI曲線是否出現(xiàn)異常；算法開發(fā)人員負責構建異常檢測系統(tǒng)，他們熟悉異常檢測器（算法），但是實際中有各種不同類型的KPI曲線需要維護，所以需要為不同類型的KPI曲線選擇合適的異常檢測器以及合適的算法參數(shù)。

在實際構建異常檢測系統(tǒng)時，首先需要運維人員結合自己的領域知識向算法開發(fā)人員描述異常，然后開發(fā)人員根據(jù)這些描述來為KPI曲線選擇合適的檢測器和算法參數(shù)，接著領域專家根據(jù)這些檢測器的檢測結果向開發(fā)人員反饋，來進一步優(yōu)化檢測器。所以實際中經常需要經過多次迭代才能開發(fā)出可用的異常檢測系統(tǒng)，有時還會出現(xiàn)最終開發(fā)失敗的例子，這是因為：

1.運維人員難以事先給出準確、量化的異常定義

2.選擇和綜合不同的檢測器需要很多人力

3.檢測器算法復雜，參數(shù)調節(jié)不直觀

實際中經常需要經過多次迭代才能開發(fā)出可用的異常檢測系統(tǒng)，有時還會出現(xiàn)最終開發(fā)失敗的例子。因此，我們就會問，有沒有一個可以自動選擇異常檢測器和自動調節(jié)算法參數(shù)的系統(tǒng)呢？答案是有！，我們實驗室的研究成果：基于機器學習的KPI自動化異常檢測系統(tǒng)(Opprentice)就是針對它設計的，下文將主要介紹Opprentice 的設計思想以及設計框架。

設計思想

Opprentice (Operator's Apprentice)的主要思想就是跟著運維人員從歷史數(shù)據(jù)中學習，運維人員就像是一個“師傅”，將自己的領域知識“教“給Opprentice，然后Opprentice根據(jù)“學”到的知識來自動選擇合適的異常檢測器和算法參數(shù)。如下圖所示，運維人員首先在歷史的KPI曲線上標記出異常，接著Opprentice 使用十幾種不同類型的檢測器提取出上百個異常特征，此時有了人工標記的數(shù)據(jù)和異常特征，我們就可以將異常檢測問題轉化成機器學習中監(jiān)督式的分類問題，將提取出的特征作為機器學習算法的輸入，通過分類算法將KPI曲線上的點分為正常和異常，從而實現(xiàn)了異常檢測。

　　設計框架

Opprentice主要由兩部分組成：離線訓練分類器和在線檢測，在離線訓練分類器部分，首先運維人員使用我們開發(fā)的異常標注工具，方便快速的標注出KPI曲線上的異常數(shù)據(jù)，并且設置期望Opprentice達到的準確率（precision）和召回率（recall），然后Opprentice會使用十幾種不同類型的檢測器提取出KPI曲線的特征，其中每種檢測器都有多種不同的參數(shù)配置，因此最終會提取出上百個異常特征。因為提取出的上百個異常特征中會存在無關特征和冗余特征，一些機器學習算法使用包含有這些特征的數(shù)據(jù)訓練模型時準確度會降低，為了解決這個問題，我們選擇了一種集成學習算法（ensemble learning algorithm）來訓練分類器：隨機森林，隨機森林算法使用了多棵決策樹，最終的結果是由每棵決策樹的結果投票決定的，并且訓練決策樹的特征和數(shù)據(jù)都只是采樣了整體特征和數(shù)據(jù)的一部分，因此使用隨機森林訓練模型時，無關特征和冗余特征不會影響算法的性能。最后，將提取出的異常特征，運維人員的標注數(shù)據(jù)和準確性傾向作為輸入，訓練出異常分類器。

在線檢測部分中，首先對于新的數(shù)據(jù)點進行特征提取，然后用訓練出的分類器判斷數(shù)據(jù)點是否異常。在實際中，新的KPI數(shù)據(jù)中往往會出現(xiàn)一些歷史數(shù)據(jù)中沒有出現(xiàn)過的異常類型，為了讓分類器可以適應新出現(xiàn)的異常，就需要運維人員定期的對最新的KPI數(shù)據(jù)進行異常標記，Opprentice會定期訓練新的模型來更新分類器。

離線訓練分離器

我們使用了來自百度和清華校園網(wǎng)的數(shù)個月的真實數(shù)據(jù)對系統(tǒng)的性能進行了驗證，下面四幅圖是在四個不同類型的KPI數(shù)據(jù)上，Opprentice使用的隨機森林模型跟其它檢測器的性能對比，可以看出Opprentice均取得了優(yōu)異的結果。

總結

Opprentice將異常檢測問題轉換成了機器學習中的監(jiān)督式分類問題，使用運維人員的標注數(shù)據(jù)，在歷史數(shù)據(jù)中訓練出分類模型來自動構建異常檢測系統(tǒng)，從而解決了異常檢測器的選擇和算法參數(shù)調整的難題，為復雜檢測器的實際應用提供了自動化的框架。