请教各位达人10TB数据如何存储
各位达人，现有一个项目情况如下：
    在煤矿运煤时需要大概2KM的传送带将煤从地下传到出口，由于传送带不断运转，当滚轮出现故障时温度将升高，从而可能导致火灾等事故，鉴于此，将做一监控系统，在传送带上装2000个左右的温度传感器进行数据收集，大概5S收集一次到服务器，那么1年左右将有5TB左右的数据，若50个传送带数据量将更大； 收集完数据之后将再对这些数据进行BO分析；
    对于数据分析问题不大，对大数据存储不是很了解，在此恳请各位达人兄弟姐妹帮忙出出注意，感谢！
------解决方案--------------------
这么大的数据，首先考虑建立分区表，可以按每一天一个分区来设计。
------解决方案--------------------
给楼主一个温馨提示，在数据存储的时候如果温度一直未变怎么办，或者楼主的存储温度值的精度在0.01，温度的变化从23.01变为23.02，那么23.02这要不要存，所以有的时候为什么数据那么多，是否这些数据是有用的数据，我们都不曾考虑，而只是等数据量大了，就想办法去解决。
正如洪水来了才想到怎么样去治理洪水，而不去仔细分析洪水的成因。
------解决方案--------------------
【由于传送带不断运转，当滚轮出现故障时温度将升高，从而可能导致火灾等事故】
如果这个目的，数据只是当时有效吧，能存储5分钟的数据，及时报警才是关键啊
------解决方案--------------------

引用:

Quote: 引用:

给楼主一个温馨提示，在数据存储的时候如果温度一直未变怎么办，或者楼主的存储温度值的精度在0.01，温度的变化从23.01变为23.02，那么23.02这要不要存，所以有的时候为什么数据那么多，是否这些数据是有用的数据，我们都不曾考虑，而只是等数据量大了，就想办法去解决。
正如洪水来了才想到怎么样去治理洪水，而不去仔细分析洪水的成因。

当然还有很多其他数据，需要分析，总之一定是有10TB的数据存储，我需要这样的方案，谢谢

这个无非就是分区表，如果一台服务器存不了，就通过数据库复制，把数据复制到其他服务器，一台主要是insert，一台专门用户查询。
------解决方案--------------------
你这个需求其实不需要把2000多个监控点的数据放到一个服务器，可以配10台左右的便宜服务器，每个服务器处理200个监控点的数据，保证处理的实时性。这样程序也只要开发一套就可以了。

如果要把监控到的数据存储起来，需要买独立的存储设备，然后服务器上写程序定时把过期数据转移到存储上。

对于历史数据的查询，建议在存储设备上每隔一段时间做一次历史数据的汇总，把需要的汇总值存储后就删除历史明细数据，保证存储设备的存储数据量不会无限增加。

如果需要具体的方案可以联系我。
------解决方案--------------------
可以通过微软Windows2012R2系统做分布式存储。
------解决方案--------------------
7L的说法可以考虑一下。
用11台服务器，10台平均处理那2000多个节点，平均一台200多个节点，一台一年数据量只有500G左右。
然后这10台定时将数据整理后发送到第11台上，第11台专门用于查询结果。
------解决方案--------------------
1台好服务器+10台差服务器 贵
还是 1台很好的服务器+存储设备 贵？
------解决方案--------------------
系统功能主要有: 实时监控,数据分析.

建议数据库设计时加入数据归档的功能,如1天,1周或1月的数据存为一个表.
实时的监控数据表只保留最近1天,1周或1月的数据.
需要数据分析时,用动态SQL找出所有相关的历史数据表即可.


------解决方案--------------------

引用:

1台好服务器+10台差服务器 贵
还是 1台很好的服务器+ 贵？

1年才5T。1台服务器加存储设备就搞定了。