大量数据查询、插入的处理求助
各位兄弟,在发本帖前我特意搜索了下,关于海量查询的内容不少,但都和我的问题差别比较明显,所以发上来向兄弟们求助。
问题是这样的:我们业务表,其实就是个生产数据表,每天产生的数据量无法确定,高则上10万条,低则几条,一段时间累积后数据量也能达到百万、千万级。假设每1000w数据就划分一个表的话,那么在未达到1000w条数据之前怎么处理才好?例如现在数据是900w条,可能查询的条件是编号、产品名称(可能存在模糊查询)等,而且同时可能还有新数据插入。这种条件下,光用索引能搞定吗?查询速度会不会快速?插入数据的速度会不会很慢?请兄弟们帮忙指点下,多谢!
------解决方案--------------------大数据量表需要建立相关索引.
例如针对编号,产品名称分别建立索引,针对编号+产品名称建立索引.
如果存在模糊查询,诸如like 'XXX%',索引有效,否则无效.
另:索引对插入数据的速度有影响,会变慢,自己权衡后再下手.
------解决方案--------------------索引对插入的速度影响:就是多维护一个索引数据的开销
要权限哪些查询是主要的,且索引有帮助于查询效率的
仔细从硬件、软件配置、数据库结构、业务逻辑上考虑