在華為開發(fā)者大會HDC.Cloud 3月20號直播間,華為網(wǎng)絡人工智能數(shù)據(jù)湖專家周堯,向開發(fā)者們正式發(fā)布了網(wǎng)絡AI領域10大公開數(shù)據(jù)集,解決了網(wǎng)絡AI開發(fā)缺乏工業(yè)級數(shù)據(jù)的難題。
這10大數(shù)據(jù)集是華為從外場仿真數(shù)據(jù)和實驗室模擬數(shù)據(jù),經(jīng)過解析治理、探索標注之后的,可以直接應用于網(wǎng)絡領域AI應用開發(fā)的數(shù)據(jù)集。分為“異常檢測類”、“控制優(yōu)化類”、和“故障定界類”三大類:
異常檢測類
1)性能指標異常檢測數(shù)據(jù)集:時間序列數(shù)據(jù)集,包括正樣本和負樣本,可應用于時序序列預測等算法的訓練和驗證;樣本量100W條,特征維度7維
2)性能指標變更監(jiān)控測數(shù)據(jù)集:覆蓋4種網(wǎng)絡業(yè)務變更場景,包括變更成功場景和失敗場景,失敗場景數(shù)據(jù)有對應標簽;樣本量100W條,特征維度40維
3)硬盤故障檢測數(shù)據(jù)集:覆蓋日立,希捷共計16款硬盤型號,累積標注壞盤數(shù)量超2300塊,應用于硬盤故障預測類問題分析與研究;樣本量超230W條,特征維度超100維(覆蓋廠商公開SMART指標)
控制優(yōu)化類
4)數(shù)據(jù)中心群控數(shù)據(jù)集:包含冷塔、冷機、泵等設備的供回水溫度、壓力、IT機房、冷站設備能耗100+維特征,可應用于數(shù)據(jù)中心水冷冷凍水場景制冷系統(tǒng)優(yōu)化模型訓練;樣本量2W條,特征維度100維
5)數(shù)據(jù)中心PUE優(yōu)化數(shù)據(jù)集:覆蓋3種制冷場景、4種末端空調(diào)、冷站群控、IT機房等設備能耗數(shù)據(jù),基于冷卻系統(tǒng)完成關聯(lián),應用于PUE優(yōu)化、網(wǎng)絡領域控制類模型開發(fā)與研究;樣本量2W條,特征維度110維
故障定界類
6)無線接入故障數(shù)據(jù)集:覆蓋20種無線接入故障類型,告警數(shù)據(jù)與工單數(shù)據(jù)相關關聯(lián),業(yè)務專家團隊準確標注,可用于告警壓縮和根因定位類模型開發(fā),樣本量65w條,特征維度7維
7)無線&IPRAN故障數(shù)據(jù)集:告警數(shù)據(jù)基于無線接入和IPRAN的設備拓撲進行關聯(lián),利用工單數(shù)據(jù)完成根因告警標注,覆蓋37種故障類型,可用于告警壓縮和故障定位,樣本量700w+條,特征維度24維
8)無線&PTN故障數(shù)據(jù)集:告警數(shù)據(jù)基于無線基站、動力環(huán)境、PTN等設備拓撲進行關聯(lián),利用工單數(shù)據(jù)完成根因告警標注,覆蓋48種故障類型,可用于告警壓縮和故障定位,樣本量100w+條,特征維度61維
9)無線&微波故障數(shù)據(jù)集:告警數(shù)據(jù)基于無線基站、動力環(huán)境、微波等設備拓撲進行關聯(lián),利用工單數(shù)據(jù)完成根因告警標注,覆蓋29種故障類型,可用于告警壓縮和故障定位,樣本量100w+條,特征維度46維
10)PON光路故障數(shù)據(jù)集:PON光路故障場景數(shù)據(jù),包含光纖彎曲、連接器松動等故障場景,覆蓋光模塊的電壓,電流,接收光功率,發(fā)送光功率等特征,樣本量4w條,特征維度11維
數(shù)據(jù)和特征決定了機器學習的上限,華為發(fā)布網(wǎng)絡領域10大數(shù)據(jù)集,不但可以幫助網(wǎng)絡AI開發(fā)者減少90%的數(shù)據(jù)集準備時間,更重要的是將會極大提高AI模型精度。目前已驗證數(shù)據(jù)中心數(shù)據(jù)集助力AI模型達準確率達到89.77%,無線&IPRAN故障數(shù)據(jù)集提高高級聚合率到95.4%,查準率到90%。
現(xiàn)在使用華為云賬號登錄華為云,選擇NAIE服務(路徑:EI企業(yè)智能—智能體—網(wǎng)絡智能體 NAIE),再從AI服務目錄選擇數(shù)據(jù)集服務,即可進入數(shù)據(jù)集服務頁面選擇所需公開數(shù)據(jù)集。
(審核編輯: 智匯小新)