Data Torch——暗数据存储、点亮与价值评估系统

痛点问题

暗数据是指机构在常规业务活动中采集、处理和存储的信息资产，但通常不能用于其他目的（例如分析、业务关系和直接货币化）。对于暗数据，用户不知道其存在，或不知道其如何获取，亦或不知道如何释放其价值。

IDC的调研报告显示：暗数据占数据总量的68%以上，且占比在逐年攀升。根据行业的不同，企业的暗数据在其数据总量中的占比从40%到90%不等。充分利用暗数据将为企业带来巨大的利润，但现阶段，暗数据如同不能丢弃的垃圾，会加剧数据ROT（冗余，过时和琐碎），降低数据发挥价值的效率与能力，不仅会给企业带来巨大的维护开销，同时会对企业造成潜在的风险和损失。根据Veritas公司的数据显示，平均每家公司每年要花费4650万美元来存储从未使用过或使用频率极低的数据，但却无法按需使用这些数据。目前，国内的大部分相关部门和企业并未意识到暗数据的存在，也不了解处理暗数据的意义和价值。想要做好暗数据处理，面临三个行业痛点：

· 检索难 缺乏针对暗数据的检索技术；

· 评估难 缺乏一套针对暗数据的价值量化标准和价值评估技术；

· 挖掘难 缺乏针对暗数据的存储技术。

解决方案

针对暗数据处理，提出了如下方案：

(1) 基于内容哈希的暗数据点亮技术

本系统通过解析暗数据的内容语义生成哈希码，再通过汉明距离计算哈希码之间的距离度量，利用哈希码作为元数据，利用距离度量作为组织标准，对所有数据进行图结构化组织，实现暗数据的点亮。首先训练自学习哈希模型DDCH，其中包括对比学习和无监督哈希函数学习阶段。利用预训练好的模型对暗数据集中的文件进行重构编码，每一个文件都生成一个哈希码与之对应。哈希模型的输入在语义上越相近，生成的哈希码的汉明距离也越相近。暗数据点亮时，通过DDCH模型将所有的暗数据生成为哈希码，然后使用图结构对所有的哈希码进行倒排索引管理。

图1 基于内容的自学习哈希模型框架示意图

(2) 基于语义汉明图的暗数据价值评估技术

管理哈希码的图组织，即汉明图。语义越接近的数据在图中的距离也越接近。在汉明图中，可以看到一些分布比较集中的子图，即一组语义相似的元素。在实际应用中，数据集的数目和密度无法统一，例如，部分数据集的图像总量大，而有些数据集中与检索需求相关的图像数量多，为了精确评估各数据集的价值，提出综合考量密度和数量的暗数据价值评估技术。通过计算各个数据在数据集中的重要性分数，再将需求转换为数据对数据集中的数据进行检索，检索出的数据分数即可代表数据集对需求的重要性依赖，即价值。对于重要性分数，子图越密集，即元素越多，汉明距离越短，该子图的重要性越高，越具备挖掘价值。为了评估每个子图的重要性，首先给每个子图打一个“重要性分数”，然后根据重要性分数给子图排序，排序后得到排名表（Score list）。

图2 基于语义汉明图的按数据价值评估技术示意图

(3) 基于元数据图谱的暗数据存储技术

暗数据存储系统利用哈希技术与语义汉明图技术生成并组织元数据，在不影响传统元数据组织的基础上，提供使语义相似的文件在逻辑结构上更接近的查找目标。该设计能够以外挂索引的方式单独管理生成的内容元数据。当需要查找某一类型的数据时，暗数据存储系统能够通过聚类来召回语义相似区域的数据，辅以双IO路径的设计，让系统既保留了现有存储系统的读写路径，又能够通过内容语义来查询并召回相应的文件，使得暗数据查询和检索更加高效和方便。

图3 基于元数据图谱的暗数据存储技术示意图

性能指标

在QQ相册真实数据上的测试表明，核心技术均取得了较大的性能突破：