数据类
翻完近几个季度的数据类型记录，一些容易被忽略的规律开始浮现。从结构化到非结构化，各类数据在过去十年的占比、增长率和应用胜率呈现出明显的主客场差异。
大数据类型的历史演进脉络
结构化数据的统治期
早期，结构化数据占据主导地位，统计样本显示2010年其占比超过80%。
随着互联网发展，半结构化数据开始崛起，结构化数据的净胜球逐年缩小。
非结构化数据的爆发增长
近五年，非结构化数据（文本、图像、视频）的场均增量远超其他类型。
预期进球模型显示，到2025年非结构化数据将占全部数据的80%以上。
不同应用场景下的数据类型分布差异
金融行业的主场优势：结构化数据
金融领域对精确性要求高，结构化数据的采用率高达95%以上，射正率（准确率）表现稳定。
控球率方面，结构化数据在金融行业的占比超过70%。
社交媒体领域的客场突破：非结构化数据
社交媒体平台是典型的客场环境，非结构化数据数量庞大，但射正效率（有用信息率）较低。
历史交锋记录显示，社交媒体平台上非结构化数据的增长率是结构化数据的3倍。
各数据类型的数据量增长与流失率统计
结构化数据的增长放缓
虽然绝对量仍在增长，但结构化数据的增长率从2015年的20%下降到现在的5%左右。
流失率（被取代或删除的数据）在结构化数据中最低，仅为2%。
非结构化数据的高增长与高流失
非结构化数据的年增长率超过40%，但流失率也高达15%，因为大量无效数据被清洗。
净胜球（净增长）依然可观，年均净增1000EB以上。
各类数据采用率的样本走势
半结构化数据的样本稳定性
半结构化数据（如JSON、XML）的采用率在过去十年呈现平稳上升趋势，样本方差较小。
其胜率走势类似于控球率中等但射门效率高的球队。
流数据类型的异军突起
流数据作为新兴类型，采用率样本从2018年的5%猛增到2023年的30%。
预期进球（未来采用率）模型预测其将在2025年超过批次数据。
未来数据趋势的预期增量参考
非结构化数据的预期净胜球
基于现有趋势，非结构化数据的预期净胜球（新增量减去淘汰量）将在未来三年达到5000EB。
但统计样本存在偏差，主要来自监控视频和社交媒体。
结构化数据的预期主场优势
在关键业务系统中，结构化数据仍将以主场优势保持低波动性。
预期进球（可靠性）指数维持在0.9以上。
统计样本的局限性与方法说明
样本覆盖范围偏差
本报告中数据主要来自公开统计和国际数据公司（IDC）报告，可能低估中小企业的非结构化数据量。
主客场差异（行业分布）也会影响统计结果的可比性。
统计口径变化影响
大数据分类的定义随时间演变，导致历史数据可比性下降。
为了避免误导，所有增长率均采用复合年增长率（CAGR）计算。
| 数据类型 |
历史采用率(2015) |
当前采用率(2023) |
年增长率 |
流失率 |
净胜球趋势 |
| 结构化数据 |
80% |
45% |
5% |
2% |
下降 |
| 半结构化数据 |
15% |
30% |
15% |
8% |
稳定 |
| 非结构化数据 |
5% |
25% |
40% |
15% |
上升 |
大数据分类中哪种类型占主导？
从历史数据看，结构化数据长期主导，但非结构化数据正在迅速追赶，当前占比已超过60%。
非结构化数据的净胜球为什么高？
由于图像、视频和文本数据量巨大，且每年以40%以上速度增加，尽管流失率较高，净胜球依然显著。
如何评估不同类型数据的射正效率？
射正效率（有用信息率）受应用场景影响，金融场景结构化数据射正率超过90%，而社交媒体非结构化数据射正率不足30%。
更多数据统计分析，请访问 ky.cn
