java 实现对大数据文件 进行条件查找操作
首先,java 将数据库表数据储存为文件,以何种方式存储? 直接字符串还是二进制数据或者其他?
将数据储存好之后,实现对文件的条件查找操作,就像操作数据库一样,如sex='男',age= '20',time='2013-01-01'
谁有什么好的思路呢?
java
文件存储
文件操作
------解决方案--------------------txt,excel
------解决方案--------------------你这是准备自己写个数据库么? 这种程序你用java写不怕性能问题?
------解决方案--------------------你可以研究一下Hadoop+Hive架构
------解决方案--------------------10G数据不算太大,用txt或excel就ok了,每张表对应一个数据文件和校验文件如:
user.txt:
0001
------解决方案--------------------
张三
------解决方案--------------------
男
------解决方案--------------------
北京
字段可以单独存储一个文件
user.MD5:
uid
------解决方案--------------------
name
------解决方案--------------------
sex
------解决方案--------------------
address