c# 文件保存 内存一直增加!!
一个简单爬虫
采用异步非阻塞方式对已知url列表进行采集(10w+)
采集过程中,出现一个问题
文件保存过程中 内存一直增加!
定位在文件保存,是因为我在关闭了文件保存(其他代码一样,仅将保存的操作进行了屏蔽)
内存基本上维持在相对稳定的区间波动.
保存代码就一句:
System.IO.File.AppendAllText(filename,source,encoding)
分不够继续加!
------解决方案--------------------保存完后关掉文件流没有?
------解决方案--------------------这个 可能 不是程序 问题
而是你频繁的操作造成 framework来不及释放刚才的内容
要知道 .net的内存释放并不是及时的.
------解决方案--------------------同意ls的,应该是还没释放,直接操作流试下
------解决方案--------------------关闭以后,将变量设置为null,然后GC.Collect(),强制回收