日前，美國麻省理工學(xué)院計算機(jī)科學(xué)與人工智能實驗室和以色列海法大學(xué)的研究人員已經(jīng)開發(fā)了一個解決方案，將大數(shù)據(jù)變成可管理的數(shù)據(jù)。
通常使用諸如低秩近似，奇異值分解，主成分分析和非負(fù)矩陣分解的數(shù)據(jù)分析工具來減少數(shù)據(jù)集中的變量的數(shù)量。不幸的是，在大量大數(shù)據(jù)集上使用這些工具通常太費時，不實用。解決這個問題的典型解決方案包括為大數(shù)據(jù)集找到一個核心集。核心集是大數(shù)據(jù)的一個子集，用于保留大數(shù)據(jù)最重要的數(shù)學(xué)關(guān)系。數(shù)據(jù)分析工具可以更有效地與coreet工作，因為它更小。
如果要進(jìn)行兩個或多個數(shù)據(jù)分析，則進(jìn)行查找可能是一個問題，因為從大數(shù)據(jù)中提取核心集，每個分析工具都有自己唯一的方法。在分析中比較結(jié)果，將涉及比較來自不理想的不同核心的結(jié)果。研究團(tuán)隊通過開發(fā)一種用于提取可由大量常用數(shù)據(jù)分析工具使用的核心集的通用方法來解決這個問題。
假設(shè)工作人員想要識別在一個巨大的文本數(shù)據(jù)庫（如維基百科）中最常出現(xiàn)的主題。低秩近似是一種將完成這項工作的算法，但維基百科數(shù)據(jù)庫非常大，因此，采用低秩近似將花費太長的時間來完成任務(wù)。維基百科數(shù)據(jù)庫有多大？想象一下，在維基百科中每一篇文章都有一行的矩陣或表格，以及在維基百科中出現(xiàn)的每個單詞的列。該矩陣將有140萬篇的文章和440萬列的單詞。這是一個約6.2萬億個單元格的表格，平均分配到地球上每個人，每人約為821個單元格。這的確是一個大數(shù)據(jù)。
研究人員的解決方案使用高級類型的幾何知識來將這個巨大的數(shù)據(jù)集縮減為更易于管理的核心集。想象一下，通過一個二維的具有長和寬的矩形就很容易處理?，F(xiàn)在添加第三個維度，深度。也很容易想象這是一個盒子，現(xiàn)在添加第四個維度，時間。我們稱之為時空，但它不是那么容易想象。現(xiàn)在添加兩個或三個更多的維度，并想象它的外觀。人們無法想象這些多維空間看起來像什么，但是可以采用幾何知識描述。為了縮小維基百科矩陣，研究人員使用了一個叫做超循環(huán)的多維圓，它有440萬個維度，可以表達(dá)維基百科中出現(xiàn)的每個單詞一個。維基百科中的140萬篇文章中的每一篇都表示為這個超循環(huán)上的唯一點。
研究人員如何將超循環(huán)收縮成更易于管理的東西？維基百科中的440萬列單詞的每一個都由一個變量表示，維基百科中的每篇文章都由這些440萬個變量的唯一的一組值表示。研究者的超循環(huán)技術(shù)涉及一次獲取一篇文章，并找到其440萬個變量的一小部分的平均值，例如50個變量。最好保留變量之間的數(shù)學(xué)關(guān)系的平均值可以通過計算表示50個變量或單詞的這個小得多的50維超循環(huán)的中心來找到。然后將平均值作為coreet中的一個數(shù)據(jù)點輸入。而對每篇文章中的剩余變量（單詞）和140萬篇文章中的每一篇重復(fù)這個過程。
使用此方法將大數(shù)據(jù)維基百科矩陣縮減為核心集需要大量的單獨計算，但每個計算都可以非常快速地執(zhí)行，因為它只涉及50個變量。其結(jié)果是一個核心集，它保留了大數(shù)據(jù)中存在的重要的數(shù)學(xué)關(guān)系，并且足夠小，可以被各種數(shù)據(jù)分析技術(shù)有效地使用。超循環(huán)技術(shù)的真正核心在于這種品種。該技術(shù)創(chuàng)建了一個核心集，可以被許多數(shù)據(jù)分析工具使用，這些工具通常應(yīng)用于計算機(jī)視覺，自然語言處理，神經(jīng)科學(xué)，天氣預(yù)報，推薦系統(tǒng)等。甚至人們可能認(rèn)為超循環(huán)，都是他們所有規(guī)則的一環(huán)。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗，提供媒體、活動、展會等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號
