201211 月15
零八年那会刚搞IT没多久,经验不太丰富,作为项目小组长选用了MySQL数据库,带着几个经验比我还不足的程序猿为Xx政府开发了一套信息发布系统。
至今后悔不已的事情莫过于选用MySql数据库、表结构设计不合理、程序猿水平低下没仔细检查他们的代码等,自零八年上线以后,用户单位从当初的80家左右逐渐增加到940家单位,用户总数近一千。
随着数据量的增长,系统前台经常打不开,而后台用户也录不了文章,部知道从什么时间开始问题越来越严重,自2011年以来出问题就重启tomcat,一直没有好的解决办法。
今年彻底检查了一番代码,居然发现有个程序猿写了一句话,在新增数据的时候把那张最大的表 select * 全部取出放到内存中去了!最气愤的是,他把数据放在内存变量之后,下面整行代码都没有使用到这个变量!(我就想,他是对我有多大仇恨阿,留下了这个隐患)
当然,找到那行最致命的代码并不能彻底解决一系列问题,根据这四年来的经验,整了个解决方案:
1、更换Mysql库为Oracle数据库;
组织研发了数据抽取工具,支持各类数据源通过配置可以实现数据迁移/转换等功能,将老系统的数据无缝迁移到新系统。
2、优化表结构进行横行/纵向分表;
纵向分表将大字段从主表中剔除,提高查询分页效率。
3、前后台分离前台使用lucene搜索引擎技术;
使用lucene,实现定时更新索引库(增量或覆盖更新不影响查询使用)。
lucene效率很高,前台页面不需要做静态化,对于前台主要是查询的系统静态化反而会降低系统性能。
4、统计定时任务根据发布状态进行更新;
增加状态表,有文章更新的单位重新统计数据,无更新的单位无需更新。
5、针对oracle数据库优化分页查询语句,只取当前页的数据。
换数据库真是个迫不得已的决定,经过三四个人的1个半月的努力,终于把新系统搞定,上个月新系统上线,现在前台打开是飞速啊。时常孤芳自赏,自己有事没事的就打开来看看,好吧,搞软件的好像都喜欢看自己的产品?。。
关于lucene、apache+tomcat相关文章可以在本站搜一下。当然,这个系统自从用了lucene已经解决了问题,并没有做负载均衡。
201211 月8
一、准备工作
Tomcat6 : http://tomcat.apache.org/download-60.cgi
下载:apache-tomcat-6.0.36.exe
apache httpd server 2.2: http://www.fayea.com/apache-mirror//httpd/binaries/win32/
下载:httpd-2.2.22-win32-x86-no_ssl.msi
apache tomcat connector: http://archive.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/win32/jk-1.2.31/
下载:mod_jk-1.2.31-httpd-2.2.3.so
二、安装配置
安装路径:
E:\Apache2.2
E:\apache-tomcat-6.0.36-1
E:\apache-tomcat-6.0.36-2
项目路径:
E:\work\demo
1、Apache 配置
修改 E:\Apache2.2\conf\httpd.conf 文件。
1)、加载外部配置文件:
文件最后一行加上
include conf/mod_jk.conf
2)配置项目路径:
<IfModule alias_module>
Alias /demo "E:/work/demo"
ScriptAlias /cgi-bin/ "E:/Apache2.2/cgi-bin/"
</IfModule>
3)配置目录权限:
<Directory "E:/work/demo">
Order Deny,Allow
Allow from all
</Directory>
4)配置默认首页:
增加 index.jsp
<IfModule dir_module>
DirectoryIndex index.jsp index.html
</IfModule>
5)增加 E:\Apache2.2\conf\mod_jk.conf 文件内容:
LoadModule jk_module modules/mod_jk-1.2.31-httpd-2.2.3.so
JkWorkersFile conf/workers.properties
#指定那些请求交给tomcat处理,"controller"为在workers.propertise里指定的负载分配控制器名
JkMount /*.jsp controller
同时将 mod_jk-1.2.31-httpd-2.2.3.so 文件放入 E:\Apache2.2\modules 文件夹下。
6)增加 E:\Apache2.2\conf\workers.properties 文件内容:
#server
worker.list = controller
#========tomcat1========
worker.tomcat1.port=10009
worker.tomcat1.host=localhost
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor = 1
#========tomcat2========
worker.tomcat2.port=11009
worker.tomcat2.host=localhost
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor = 1
#========controller,负载均衡控制器========
worker.controller.type=lb
worker.controller.balanced_workers=tomcat1,tomcat2
worker.controller.sticky_session=false
worker.controller.sticky_session_force=1
#worker.controller.sticky_session=1
2、Tomcat 配置
1)Tomcat-1 配置
E:\apache-tomcat-6.0.36-1\conf\server.xml
需要修改端口的地方:
<Server port="10005" shutdown="SHUTDOWN">
<Connector port="10080" URIEncoding="GBK" protocol="HTTP/1.1"
connectionTimeout="20000" keepAliveTimeout="15000" maxKeepAliveRequests="1"
redirectPort="8443" />
<Connector port="10009" protocol="AJP/1.3" redirectPort="8443" />
<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>
1)Tomcat-2 配置
E:\apache-tomcat-6.0.36-2\conf\server.xml
需要修改端口的地方:
<Server port="11005" shutdown="SHUTDOWN">
<Connector port="11080" URIEncoding="GBK" protocol="HTTP/1.1"
connectionTimeout="20000" keepAliveTimeout="15000" maxKeepAliveRequests="1"
redirectPort="8443" />
<Connector port="11009" protocol="AJP/1.3" redirectPort="8443" />
<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat2">
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>
三、项目测试
项目 web.xml 文件需在 <web-app>下增加<distributable/>。
test.jsp
<%@ page contentType="text/html; charset=GBK"%>
<%@ page import="java.util.*"%>
<html>
<head>
<title>Cluster App Test</title>
</head>
<body>
Server Info:
<%
out.println(request.getLocalAddr() + " : " + request.getLocalPort() + "<br>");
%>
<%
out.println("<br> ID " + session.getId() + "<br>");
// 如果有新的 Session 属性设置
String dataName = request.getParameter("dataName");
if (dataName != null && dataName.length() > 0) {
String dataValue = request.getParameter("dataValue");
session.setAttribute(dataName, dataValue);
}
out.println("<b>Session 列表</b><br>");
System.out.println("============================");
Enumeration e = session.getAttributeNames();
while (e.hasMoreElements()) {
String name = (String) e.nextElement();
String value = session.getAttribute(name).toString();
out.println(name + " = " + value + "<br>");
System.out.println(name + " = " + value);
}
%>
<form action="test.jsp" method="POST">
名称:
<input type=text size=20 name="dataName">
<br>
值:
<input type=text size=20 name="dataValue">
<br>
<input type=submit>
</form>
</body>
</html>
先启动Apache2服务,之后依次启动两个tomcat。
分别访问:
http://127.0.0.1:10080/test.jsp
http://127.0.0.1:11080/test.jsp
http://127.0.0.1/test.jsp
接下来测试你懂得,三者 seesion 内容一致即配置成功。
四、注意事项
1、若测试结果不成功,可以查看日志看看报什么错误,是否配置疏忽了什么环节,apache的权限有没有配置等,注意版本;
2、放在session里的对象需要序列化,即类 implements Serializable。