上一篇文章，我們講了AI神經網絡的優化，裡面提到要用很多AI數據集才能完成訓練。這篇文章，我們就來講下AI數據集的數個面孔，希望能一次給大傢說明白。

歡迎一起揭秘AI的世界，相信對AI略有了解的朋友已經知道，AI的智能是因為底層是一批又一批的數據在AI大模型的後面支撐運行，成為了基石，造就了AI。

如果讀過我前面幾篇AI系列文章的朋友，也會知道，AI的神經網絡在機器學習中發揮了巨大的作用，而神經網絡的訓練也是基於數據來完成的。所以，接上篇和大傢聊了如何訓練神經網絡的全過程技術原理後，這次我們來聊聊AI中的基石：數據集。

如果對AI神經網絡的訓練優化部分感興趣的朋友，可以看我的這篇文章《（萬字幹貨）如何訓練優化“AI神經網絡”模型》

由於數據集部分要說的內容比較多，一篇文章上萬字已經是大部分人的閱讀上限了，但是吧，為了減少文字去壓縮內容也非我本意。所以本次，為了說清楚數據集，又不想造成過長的閱讀壓力，我會將近期寫的數據集的內容拆分成多篇文章發佈。

本篇文章一萬字左右，預計閱讀時間：10分鐘，若是碎片時間不夠，建議先收藏後看，便於找回。

照例，開篇提供文章結構導圖，方便大傢在閱讀前總攬全局，有大致的畫面框架。

一、什麼是AI數據集？

在機器學習領域中，數據集是一組經過組織和整理的數據，是用於AI模型的訓練、驗證和測試的數據集合，其質量、多樣性和數據規模會直接影響著AI模型的性能和泛化能力。

數據集通常包含大量的數據點，每個數據點代表一個樣本或實例，還有與其相關的特征和標簽。特征是用來描述數據點的變量，而標簽則是與數據點相關的輸出變量。

例如，在圖像識別任務中，數據集可能包括許多帶有不同顏色、形狀和大小的圖片，每張圖片的特征可以是像素值，而標簽則表示圖片中物體的類別。

如果數據集存在錯誤、偏差或噪聲，AI模型在學習過程中可能會產生錯誤的理解和預測，從而降低其性能。

如果數據集包含的數據點過於相似或者缺乏代表性，AI模型可能會出現過擬合的問題，即在訓練數據上表現良好，但在新的、未見過的數據上表現不佳。關於數據擬合問題的討論，《萬字幹貨）如何訓練優化“AI神經網絡”模型？》中有更詳細的描述，就不在此贅述了。

一般來說，數據集規模越大，AI模型的學習效果越好。這是因為大規模的數據集可以提供更多的信息，幫助AI模型學習到更多的特征和規律。然而，數據集規模的增加也會帶來計算資源和時間的挑戰。

可見，我們在實際應用中，需要根據任務的特性和需求，選擇合適的數據集，並對其進行適當的預處理和增強，這樣可以提高AI模型的訓練效果和泛化能力。

二、AI數據集長什麼樣？什麼格式？

為了適應不同場景，數據也需要變成合適的模樣（也就是格式），便於AI模型可以直接運用。因此，我們常常需要處理各種格式的數據集，也需要對常見的格式有一些了解，知曉其適用的場景，有哪些特點和不足之處，這樣我們在面對各種數據集和應用場景時，就能做到“心中有數”。

數據集常見的格式主要有：CSV（逗號分隔值），JSON（JavaScript對象表示法），XML（可擴展標記語言），HDF5（層次數據格式5），Parquet（列式存儲），xlsx、xls等格式的Excel文件。

既然知道了有那麼多格式，我們就分別根據這些常用的格式進一步展開，先介紹這些格式的基本定義，為了便於大傢理解，會舉一個簡單的例子，還會再說說什麼場景下適合用什麼數據格式來存儲和處理數據，這些格式在實際運用中又會暴露出哪些劣勢。

1. CSV（逗號分隔值）

這是最常見的一種數據格式，是一種簡單的文本格式，每行表示一個樣本，每列表示一個特征，各個元素之間用逗號分隔。

以下是一個簡單的CSV文件的例子：

在這個例子中，每一行代表一個數據點（一個人），而每列則表示該數據點的一個特征（姓名、年齡、城市）。逗號用於分隔不同的數據值。

CSV格式的數據文件結構清晰，易於理解和操作。每個數據記錄都被逗號分隔開，每一列數據都是獨立的，我們可以很容易地通過簡單的文本編輯器或者表格軟件來查看和編輯數據。

我們在AI數據集的應用中，什麼情況下會選擇用CSV格式存儲或處理數據？

【當數據足夠簡單又結構化表示時】

當數據集的結構相對簡單，又是結構化的形式，每一行表示一個數據點，每一列表示一個特征或屬性，用CSV格式就是一個很不錯的選擇，直觀且方便。

【當數據需要被多人共享時】

CSV文件是一種通用的文本格式，易於共享和協作。在多個團隊或研究者之間傳遞數據時，CSV提供了一種簡單的、不依賴特定軟件的共享方式，很常用。

【當數據需跨平臺使用時】

CSV格式具有跨平臺的優勢，幾乎所有的數據處理工具和編程語言都支持CSV文件的讀寫。項目成員在不同環境和工具中使用數據非常方便。

【當數據集規模比較小時】

對於規模相對較小的數據集，CSV是一個輕量級的選擇，性價比高。它不會占用過多磁盤空間，所以非常方便我們傳輸、存儲和處理數據。

【為了方便查看和編輯時】

CSV文件是純文本文件，可以用文本編輯器輕松查看和編輯，這很方便我們隨時查看或編輯數據。

我們在AI數據集的實際應用中，也並不是優先就用CSV格式，它也會暴露出一些劣勢。

【文件的大小會限制數據的處理能力】

由於CSV文件中的數據是以文本形式存儲的，這意味著當數據集非常大時，CSV文件的大小也會相應地增大。這可能會導致內存不足，從而影響數據處理的效率和速度。

此外，對於大型數據集，可能需要將數據分割成多個CSV文件進行處理，這會增加數據管理的復雜性。

【不適用於復雜數據結構】

在實際應用中，我們可能需要處理包含多種類型數據（如數值、文本、日期等）的數據集。然而，CSV格式隻能簡單地將這些數據以字符串的形式存儲在一起，無法清晰地表示數據之間的層次關系和關聯性。

可見，CSV隻能適用於簡單的表格形式的結構化數據。對於包含復雜嵌套結構、多層次關系或大量元數據的數據集，CSV格式不夠靈活。

【數據不規范就會出錯】

由於CSV文件中的數據是以逗號分隔的，因此如果某個字段中包含了逗號，或者字段的值中包含換行符等特殊字符，那麼這個字段的值就會被錯誤地解析為多個字段。而且這種情況在實際應用中是非常常見的，卻很難通過簡單的方法來避免或修復。

在我們了解了CSV格式後，在實際應用時，面對需要處理的一堆數據時，我就可以知道什麼時候用CSV格式，什麼時候不用。

比如，隻是數量較少又簡單的用戶表，含有用戶的姓名、年齡、地址等基礎文本信息的話，可以方便地存儲在CSV文件中。如果數據集包含時間序列或地理空間信息，數據結構又比較復雜，CSV格式就不合適了。

2. JSON（JavaScript對象表示法）

JSON基於JavaScript的語言標準，是一種輕量級的，用於存儲和交換數據的文本格式，支持層次結構和復雜的數據類型，有著優秀的結構化數據表示能力。

在AI數據集中，往往存在復雜的信息層次和多層嵌套的結構，而JSON的樹狀表達方式非常適合清晰地呈現這些數據之間的關系。

以下是一個簡單JSON格式的例子：

在這個JSON中，每個對象表示一個數據點，例如動物。對象包含各種特征（如顏色、大小、棲息地）以及一個標簽（表示動物的類別）。這種結構可以很好地表示復雜的數據集。

我們在AI數據集的應用中，什麼情況下會選擇用JSON格式存儲或處理數據？

【當需要多語言、多平臺應用時】

JSON具備跨平臺兼容性。在多語言、多平臺的AI應用中，我們常常需要進行數據交換。JSON格式可以在不同編程語言和操作系統之間實現靈活通用。這種特性在構建跨領域或多模塊的AI系統時顯得尤為重要。

【在Web應用和API開發中】

由於JSON在JavaScript中的原生支持，以及易於解析和生成的特性，JSON成為了Web服務和應用程序之間進行數據傳輸的首選格式。

在與Web生態系統集成的場景下，選擇JSON有助於確保數據的順暢交流，為系統的互聯互通提供了便捷途徑。

【適用於輕量級應用中】

JSON是一種輕量級的數據交換格式，結構相對簡單，由鍵值對構成，易於理解和編寫。也因為此特性，JSON在網絡傳輸中占用的帶寬相對較小。

如果遇到一些對數據量要求不大的輕量級應用或移動應用，JSON是不錯的選擇，在這類應用中JSON可以減少數據傳輸的負擔，提高系統的運行效率。

有利也有弊，我們在AI數據集的實際應用中，JSON格式自然也會暴露出一些劣勢。

【數據冗餘】

JSON格式的數據通常包含許多嵌套的結構，這可能導致數據的冗餘。例如，如果一個對象的屬性是另一個對象的列表，那麼這個屬性可能會被重復多次，導致數據的冗餘，在存儲和傳輸時也會占用更多的空間和帶寬。

【解析與生成相對較慢】

由於JSON是一種文本格式，解析時需要進行字符的逐個解析，通常需要消耗更多的計算資源和時間。而二進制格式則可以直接通過字節進行快速解析。因此，JSON的解析和生成相對於二進制格式來說，會更加耗時。

正因為JSON文件不支持直接對數據進行高效的壓縮和解壓縮操作。相比之下，當需要對大量數據進行快速讀寫操作時，使用JSON格式並不合適，二進制格式可能會更加高效。

【處理復雜嵌套數據會比較麻煩】

由於JSON文件中的數據是以樹形結構組織的，當數據層次較深，存在大量嵌套和重復的信息時，JSON文件可能變得較為臃腫，在讀取或寫入嵌套數據時需要進行遞歸操作。這可能會導致性能下降並增加程序的復雜性。

BTW，遞歸是一種編程技巧，它是通過函數自我調用的方式來解決問題的一種方法。基本思想是將一個問題分解為若幹個相似的子問題，然後逐個解決這些子問題，最後將這些子問題的解合並得到原問題的解。如果對這方面感興趣的朋友，可以自行了解。

3. XML（可擴展標記語言）

XML是一種標記語言，用於存儲和傳輸結構化信息，適用於各種數據類型。它的主要特點是允許用戶自定義標簽，這些標簽可以用來描述數據的結構和內容。

以下是一個簡單的XML示例，表示一個包含不同信息的數據集：

在這個例子中， <dataset> 元素包含多個 <sample> 元素，每個 <sample> 元素包含一個標識符 <id> 、文本 <text> 和標簽 <label> 。

XML和JSON有一些相似之處，但依舊有其獨特的優勢。雖然在某些場景下逐漸被JSON取代，但在某些應用中，仍然被廣泛使用著。

我們在AI數據集的應用中，什麼情況下會選擇用XML格式存儲或處理數據？

【當數據結構復雜時】

由於XML的樹狀結構，它能夠自然地表達復雜的數據關系，包括嵌套、多層次結構等。因此，XML非常適合表示具有復雜關聯的數據，例如文檔、配置文件等。

【當數據更新頻繁時】

如果一個AI系統需要頻繁地更新數據，那麼使用XML格式也是一個不錯的選擇。因為XML文件的讀取和寫入速度相對較快，這使得我們可以更快地加載新的數據並更新模型。

【當對元數據需求高時】

如果數據集需要攜帶大量的元數據信息，如數據來源、標簽、版本等，XML提供了靈活的方式來嵌入這些元數據，有助於更全面地描述數據。

BTW，元數據是關於數據的數據，它提供了有關數據的描述性信息，幫助理解、管理和使用實際數據。在XML格式中，元數據通常以標簽的形式嵌入到數據中，提供了額外的信息。

假設有一個圖書館數據庫，用於管理圖書信息。每本書都有詳細的元數據，這些元數據可以使用XML格式進行表示。

在上述XML示例中，每個 <book> 元素表示一本書，而 <title> 、 <author> 等標簽包含了有關該書的元數據。例如， <genre> 提供了關於書籍類型的信息， <publicationYear> 提供了關於出版年份的信息，而 <location> 元素包含了書籍在圖書館的位置信息。

通過這個小例子，可以看出通過使用XML格式，可以將這些元數據結構化地組織在一起，不僅易於理解和處理，也有助於圖書館管理系統更有效地跟蹤圖書信息，提供查詢服務，以及管理庫存。

我們在AI數據集的實際應用中，XML格式也因為自身的一些劣勢（如下），自然也有不適用的地方。

【占用更多存儲空間】

XML文件的結構相對冗餘，包含了大量標簽和元素，這些都會增加文件的大小，同時增加存儲和傳輸的負擔。尤其是在處理大規模數據時，這種情況可能成為性能瓶頸。

【解析復雜】

XML文件的解析相對復雜，需要使用專門的解析器。與其他格式相比，解析XML文件需要更多的計算資源和時間。這會導致在處理大型XML文件時，解析和處理速度相對較慢。

【標記過多】

成也標記，敗也標記。XML因為使用了大量的標記符號（如尖括號和斜杠）來定義元素和屬性。如果標簽嵌套層次太深或標簽使用過於頻繁，可能會導致文件結構混亂，難以維護。

【不適合簡單數據結構】

俗話說，什麼馬配什麼鞍。對於簡單的數據結構，使用XML格式可能顯得過於繁重。例如，如果隻需表示鍵值對或簡單的層次結構，XML的結構則顯得過於繁瑣，選擇更輕巧的格式可能更加合適。

總體而言，我們在實際應用中，需要根據具體需求，綜合考慮XML的優勢和劣勢，以及與其他格式的比較，選擇最適合的數據格式。

4. HDF5（層次數據格式5）

HDF5（Hierarchical Data Format 5）是一種用於存儲和組織大規模數據的文件格式。從“層次數據格式”這個名字中我們可以知道，HDF5支持層次化的數據結構，這意味著數據可以按照層次關系進行組織，就像文件夾和文件的結構一樣。這種層次化的結構讓存儲和檢索復雜的數據變得更加靈活和高效。

HDF5的設計目標是支持各種類型和復雜性的數據，它支持多種數據類型，包括數值、字符、圖像和音頻等，適用於科學、工程等領域的數據管理和分析。

在AI機器學習中，特別是在深度學習和大規模數據處理方面，研究人員和工程師經常使用HDF5格式來存儲和交換數據，例如神經網絡的權重、訓練樣本等。

HDF5格式可以包含多個組（Group）和數據集（Dataset）。每個數據集都可以包含多維數組以及與之相關的元數據。以下是一個HDF5格式的文件示例：

在這個例子中，我們用HDF5格式存儲實驗室測得的溫度和濕度數據。 Weather_Data 是整個數據集的名稱，包含了多個實驗組（ Experiment_1 ， Experiment_2 等）。每個實驗組中都有溫度（ Temperature ）和濕度（ Humidity ）兩個數據集，它們分別包含相應的測量數據。

HDF5格式這種層次化的組織方式可以讓權重信息清晰地保存和讀取，也適用於存儲和管理復雜、大規模的科學數據，比如氣象學、地球科學等領域的數據。

我們在AI數據集的應用中，什麼情況下會選擇用HDF5格式存儲或處理數據？

【當處理大規模數據集時】

對於深度學習中包含龐大權重和特征的模型，HDF5格式就有了發揮之地。HDF5有壓縮和分塊存儲的特性，可以高效地壓縮、存儲和檢索大量數據，能夠有效應對深度學習模型中產生的海量數據。

【當數據結構復雜時】

當數據集具有復雜的層次結構或包含多個數據類型時，用HDF5格式比較合適。它支持多層次的數據組織，允許在同一文件中存儲各種數據類型，包括標量、數組和復合數據類型。對於在傳感器網絡、科學實驗結果等場合中，涉及多層次信息的數據存儲和處理非常重要。

【有元數據管理需求時】

元數據對於數據集的理解和解釋至關重要。HDF5格式提供了高度靈活的元數據管理機制，允許我們附加詳細的描述性信息，對數據進行標註和註釋。正因為如此，數據集更具可讀性，更易於共享和協作，對於科研領域的數據集尤為有益。

在知道了適用場景之後，我們也同樣需要知道，在AI數據集的實際應用中，HDF5格式會暴露出哪些劣勢？

【學習成本高相對較高】

雖然HDF5格式在靈活性和性能方面迪歐不錯，但與CSV或JSON等文本格式相比，HDF5文件的結構和使用方式可能對新手不夠友好，需要一定的時間來適應。這可能對一些小型項目或初學者構成一定的障礙。

【不適用於簡單結構和小規模數據】

HDF5格式的優勢在於處理大規模和復雜結構的數據，但對於簡單結構和小規模數據，它可能就“大材小用”了，或者說性價比不高。使用HDF5格式存儲小規模數據會顯得繁瑣，而且文件大小相對較大，不如其他輕量級格式直觀。

【不適用於文本數據】

HDF5格式主要用於存儲數值型和結構化的數據，對於文本數據的支持相對較弱。在一些需要純文本存儲和處理的場景下，像CSV這樣的格式可能更為簡單和實用。

我們通過二元對立的角度來看，HDF5格式在處理大規模、復雜數據集上有優勢，但在學習成本，數據類型兼容等方面也存在不足，我們在選擇格式時需權衡利弊，根據具體需求和應用場景做出合適的選擇。

5. Parquet（列式存儲）

Parquet是一種開放源代碼的列式存儲格式，旨在提供高效的數據壓縮和快速掃描性能。它最初由Apache軟件基金會開發，支持多種編程語言的讀寫。

它具有良好的壓縮性能和高效的查詢性能，適用於大數據分析和機器學習。目前廣泛應用於大數據領域，特別是在Apache Hadoop生態系統中。

假設我們有一個包含用戶信息的數據集，使用Parquet格式進行存儲可能如下所示：

在這個例子中，我們為每個用戶提供了姓名、年齡、電子郵件的信息。這種結構充分展示了Parquet格式的列式存儲特性，有助於在處理大規模數據集時提高存儲和查詢效率。

我們在AI數據集的應用中，什麼情況下會選擇用Parquet格式存儲或處理數據？

【當數據類型和關系復雜時】

Parquet支持多種數據類型，包括數值、日期、時間戳等，所以它非常適合處理復雜的AI數據集。此外，Parquet還支持嵌套的數據結構，如數組和字典，這個特點有助於它可以輕松地表示復雜的數據關系。

【需要處理大規模的數據時】

Parquet有高效的查詢性能。在AI數據集中，經常需要處理大規模的數據，Parquet格式的列式存儲特點，在查詢和分析特定列的數據時更加高效。AI應用常常需要頻繁讀取、篩選或聚合大量數據，用Parquet格式是很好的選擇。

又加上Parquet有良好的壓縮性能。Parquet的壓縮算法，可以減小存儲空間。在AI領域，數據集通常龐大，對存儲空間的有效利用至關重要。使用Parquet格式可以降低存儲成本，提高數據集的可擴展性。

【處理時間變化的數據模式時】

Parquet支持嵌套數據結構和模式演化。在AI研究中，數據集的結構和字段可能會隨項目進展而演化，而Parquet非常靈活，它可以輕松地處理復雜的數據類型和隨時間變化的數據模式。

與此同時，我們在AI數據集的實際應用中，也需知曉Parquet格式會暴露出哪些劣勢？

【不適合頻繁追加數據】

Parquet就像一位單一專長厲害到天花板的歌手，讓它唱美聲可以到達一流，但是唱流行歌曲可能就一般般了。由此可見，Parquet格式適用於分析性質的工作負載，如數據分析和查詢。但在一些需要頻繁修改和追加數據的場景下，Parquet可能並不是最佳選擇。

【不適合小規模數據】

我們在實際應用中，也需要追求使用效益的性價比。對於小規模數據集，Parquet格式可能會顯得過於復雜，而且對存儲和處理的優勢不如在大規模數據集中明顯。我們在做AI項目時，如果是在一些小型項目或快速原型開發中，選擇其他更簡單的格式可能更為合適。

【可讀性較差，學習成本高】

Parquet文件以二進制格式存儲，因此可讀性較差，不如一些文本格式（如CSV）那樣直觀。這倒是和HDF5格式有了同樣的問題了。可讀性差也帶來了學習成本的提高，對於初次接觸Parquet的團隊成員，可能需要額外的培訓，更多的時間來了解其工作原理、優化技巧以及實操練習。

6.xlsx、xls等格式的Excel文件

最後，還是想說一下以xlsx、xls等格式為代表的Excel文件。對於xlsx或xls格式，相信大傢都不陌生，我們常常在Excel中遇見這樣的格式。

想說一下Excel的原因也很簡單，因為它太常見了，常見到我們常常忽略了Excel本身並不屬於任何一種數據格式，它其實是一種軟件。它可以輔助我們錄入數據、處理數據、完成數據分析和數據可視化等。

同時，Excel文件可支持的格式太多了，如果都說就偏離了本文的重心。我就以最常用的xlsx、xls這兩個格式為例，來說一下我們在AI數據集的場景中，會如何運用它。

我們將數據以xlsx格式存儲在Excel表格中，每個工作表可以包含一個或多個單元格，用於存儲數據、公式、文本等。每一行或者每個單元格可以包含一個數據點，適用於結構化數據。

以下是一個簡單的Excel表格中xlsx的示例，表示一個包含文本和標簽的數據集：

在這個例子中，每一行代表一個數據點（一個文本例子），而每列則表示該數據點的一個特征（positive、negative、neutral）。每個單元格中的數據都按行和列組織，這是Excel表格的典型結構。這種結構化的表格形式非常適合表示和處理數據。

我們在AI數據集的應用中，什麼情況下會選擇用Excel文件存儲xlsx、xls這類格式的數據？

【當數據小規模、結構化時】

在處理小規模、結構化的數據時，Excel的表格格式適合整齊排列的數據，我們可以快速了解數據的結構和內容，也能夠快速進行基本的數據操作和分析，並通過Excel將數據存儲為xlsx、xls這類格式。

【當數據有多種簡單類型時】

Excel支持多種簡單的數據類型，包括文本、數字、日期和時間等。如果我們需要將不同類型的數據存儲在同一個工作表中，同時還需要對數據進行簡單的整合和分析，用Excel是很好的選擇。

【需要一些公式計算來處理數據時】

Excel支持各種復雜的數學和統計函數，當我們使用數據集時，如果需要對數據進行處理和計算，可以在Excel中執行操作，而無需編寫復雜的代碼。

雖然Excel非常強大，我們幾乎離不開它，但在AI數據集的實際應用中，用Excel文件存儲xlsx、xls這類格式的數據會依舊存在一些劣勢。

【容量大小限制】

Excel的最大行數為1048576行，這意味著當數據集的大小超過這個限制時，Excel將無法正常工作。

一般情況下，Excel文件的大小上限為100MB/200MB左右，這限制了可以存儲在單個Excel文件中的數據量。隨著數據集的增長，可能需要將數據分散到多個Excel文件中，這將導致數據管理和維護變得復雜和低效。

所以，對於大規模的數據集，特別是深度學習等需要大量數據的任務，Excel可能無法滿足需求。

【不支持復雜數據類型】

復雜數據類型通常指的是那些無法通過簡單的數值或文本表示的數據，例如圖像、音頻或視頻等。Excel在面對這類數據時，就會明顯暴露其局限性。

【不適合多模態數據】

多模態數據是指同時包含兩種或更多種形式的數據的數據。這類數據可能是一個產品描述，它包含文本描述（如產品的功能和規格），以及圖像信息（如產品的外觀和顏色）。

在這種情況下，我們需要同時考慮和處理文本和圖像信息，以便更好地理解和分析數據。這時，通過Excel就無法對數據進行有效處理。

因此，當數據集涉及多種類型的數據時，我們通常需要尋找更靈活的存儲和處理方式。例如，我們可以使用數據庫或者專門的數據處理軟件來存儲和處理多模態數據。

7. 不止這些

當然，AI數據集中的格式遠遠不止以上列舉的這些，還有很多在專業領域派上用場的數據格式，比如TFRecord、Avro、Feather、DICOM等。

我們知道，在AI項目中，數據是推動模型訓練和性能提升的核心。選擇合適的數據格式對於不同類型的AI項目至關重要。所以我們對圖像，文本，音頻，視頻，時間序列甚至是傳感器等等各類數據，都需要找到匹配的數據格式。

在大規模數據集和實時應用中，匹配的數據格式能夠提高數據處理的效率和速度。一些數據格式在存儲和讀取時更為高效，可以減少數據預處理的時間，加速模型的訓練和推理過程，提高整體效果。

考慮到AI項目中的數據大小和存儲成本，以及不同的數據格式對存儲空間的需求不同。比如有些格式具有高度的壓縮性，適合大規模數據集的存儲，而有些則不需要。所以，我們在考慮存儲成本和資源限制時，選擇匹配的數據格式可以降低整體成本。

為了更好地訓練監督學習模型，選擇匹配的數據格式也有助於更好地處理數據標註和標簽。一些格式支持多種數據類型的同時保持標簽信息，也可以讓數據集的標簽管理更為方便。

總而言之，考慮到AI項目的特定需求、模型結構、數據處理效率、存儲成本等多方面因素，我們提前選擇好合適的數據格式有助於提高AI模型性能、降低成本，並簡化整個工作流程。這樣做起來好處多多，我們何樂不為呢。

三、推薦幾個人工智能數據集

人工智能早已成為各行各業最受關註的“網紅”。好像凡事不和AI有關，就仿佛被時代淘汰了。然而實際情況是，大多數AI項目由於種種原因無法實現成功部署。這其中一個重要因素就是數據質量低或數據不足。

數據集對機器學習模型的性能日益重要，現在有許多站點都托管數據存儲庫，涵蓋主題廣泛，應有盡有。無論機器學習項目是什麼，都可以找到相關的數據集。

但是，我們在尋找合適的數據集時，需要先問自己兩個問題：

1.我想用AI項目達成什麼目標？2.我需要數據涵蓋哪些情景？然後，帶著答案去有目的地尋找。

如果想清楚了，就去網上看看有沒有你想要的公開數據集。以下就是推薦的幾個常見的公開數據集平臺

1. Kaggle

網址：
https://www.kaggle.com/datasets

介紹：Kaggle 提供了一個龐大的數據集倉庫，包括各種領域的數據，涵蓋了自然語言處理、計算機視覺、醫學、金融等多個領域。

2. UCI機器學習數據集庫

網址：
https://archive.ics.uci.edu/

介紹：UCI機器學習數據庫被世界各地的學生、教育工作者和研究人員廣泛使用。它包含了多種類型的數據集，涵蓋了分類、回歸、聚類、關聯規則挖掘等不同任務的數據。這些數據集來自多個領域，包括醫學、金融、社會科學等。

3. Google Dataset Search

網址：
https://datasetsearch.research.google.com/

介紹：“Google數據集搜索”是一個數據集搜索引擎。用戶隻需搜索關鍵字，就能在網絡上發現托管在數千個存儲區中的數據集。目前已對近 2500 萬個數據集建立了索引，幾乎能找到你想找到的任何數據集。

4. AWS數據庫

網址：
https://registry.opendata.aws/

介紹：AWS（亞馬遜）公共數據庫裡面存儲了AWS收集的數據集，有來自各行業領先數據提供商的3000種現有數據產品。

5. 阿裡雲天池數據集

網址：
https://tianchi.aliyun.com/dataset/

介紹：天池數據集是阿裡集團對外開放的科研數據平臺，覆蓋了電商、娛樂、物流、醫療健康、交通、工業、自然科學、能源等十多個行業，涵蓋了數據挖掘、機器學習、計算機視覺、自然語言處理、決策智能等經典的人工智能技術領域。

四、新篇預告

以上，就是關於AI數據集的首篇內容了，介紹了AI數據集是什麼，這些數據集常用什麼樣的格式來存儲和處理數據，當我們需要數據來做AI項目時，有哪些公開的數據集平臺可供參考。

AI的世界很大，在門外時會覺得神秘，剛入門時又會覺得陌生，日漸相處之後又會發現如此有趣，AI數據集的內容我們還沒說完，後面的篇章我們會圍繞“訓練集，驗證集，測試集”的話題展開，繼續說說AI數據集。

如果覺得有所收獲，歡迎關註我，我們在AI路上攜手同行。

作者：果釀，公眾號：果釀產品說

本文由 @果釀 原創發佈於人人都是產品經理，未經作者許可，禁止轉載。

題圖來自 Unsplash，基於CC0協議。

該文觀點僅代表作者本人，人人都是產品經理平臺僅提供信息存儲空間服務。