Wizzer's Blog

零八年那会刚搞IT没多久，经验不太丰富，作为项目小组长选用了MySQL数据库，带着几个经验比我还不足的程序猿为Xx政府开发了一套信息发布系统。

至今后悔不已的事情莫过于选用MySql数据库、表结构设计不合理、程序猿水平低下没仔细检查他们的代码等，自零八年上线以后，用户单位从当初的80家左右逐渐增加到940家单位，用户总数近一千。

随着数据量的增长，系统前台经常打不开，而后台用户也录不了文章，部知道从什么时间开始问题越来越严重，自2011年以来出问题就重启tomcat，一直没有好的解决办法。

今年彻底检查了一番代码，居然发现有个程序猿写了一句话，在新增数据的时候把那张最大的表 select * 全部取出放到内存中去了！最气愤的是，他把数据放在内存变量之后，下面整行代码都没有使用到这个变量！（我就想，他是对我有多大仇恨阿，留下了这个隐患）

当然，找到那行最致命的代码并不能彻底解决一系列问题，根据这四年来的经验，整了个解决方案：

1、更换Mysql库为Oracle数据库；

      组织研发了数据抽取工具，支持各类数据源通过配置可以实现数据迁移/转换等功能，将老系统的数据无缝迁移到新系统。

2、优化表结构进行横行/纵向分表；

      纵向分表将大字段从主表中剔除，提高查询分页效率。

3、前后台分离前台使用lucene搜索引擎技术；

      使用lucene，实现定时更新索引库（增量或覆盖更新不影响查询使用）。

      lucene效率很高，前台页面不需要做静态化，对于前台主要是查询的系统静态化反而会降低系统性能。

4、统计定时任务根据发布状态进行更新；

      增加状态表，有文章更新的单位重新统计数据，无更新的单位无需更新。

5、针对oracle数据库优化分页查询语句，只取当前页的数据。

换数据库真是个迫不得已的决定，经过三四个人的1个半月的努力，终于把新系统搞定，上个月新系统上线，现在前台打开是飞速啊。时常孤芳自赏，自己有事没事的就打开来看看，好吧，搞软件的好像都喜欢看自己的产品？。。

关于lucene、apache+tomcat相关文章可以在本站搜一下。当然，这个系统自从用了lucene已经解决了问题，并没有做负载均衡。