文章标签 ‘负载均衡’
2012十一月15

吐糟:MySql老项目升级改造——解决网页打不开死锁等问题

零八年那会刚搞IT没多久,经验不太丰富,作为项目小组长选用了MySQL数据库,带着几个经验比我还不足的程序猿为Xx政府开发了一套信息发布系统。

至今后悔不已的事情莫过于选用MySql数据库、表结构设计不合理、程序猿水平低下没仔细检查他们的代码等,自零八年上线以后,用户单位从当初的80家左右逐渐增加到940家单位,用户总数近一千。

随着数据量的增长,系统前台经常打不开,而后台用户也录不了文章,部知道从什么时间开始问题越来越严重,自2011年以来出问题就重启tomcat,一直没有好的解决办法。

今年彻底检查了一番代码,居然发现有个程序猿写了一句话,在新增数据的时候把那张最大的表 select * 全部取出放到内存中去了!最气愤的是,他把数据放在内存变量之后,下面整行代码都没有使用到这个变量!(我就想,他是对我有多大仇恨阿,留下了这个隐患)

当然,找到那行最致命的代码并不能彻底解决一系列问题,根据这四年来的经验,整了个解决方案:

1、更换Mysql库为Oracle数据库;

      组织研发了数据抽取工具,支持各类数据源通过配置可以实现数据迁移/转换等功能,将老系统的数据无缝迁移到新系统。

2、优化表结构进行横行/纵向分表;

      纵向分表将大字段从主表中剔除,提高查询分页效率。

3、前后台分离前台使用lucene搜索引擎技术;

      使用lucene,实现定时更新索引库(增量或覆盖更新不影响查询使用)。

      lucene效率很高,前台页面不需要做静态化,对于前台主要是查询的系统静态化反而会降低系统性能。

4、统计定时任务根据发布状态进行更新;

      增加状态表,有文章更新的单位重新统计数据,无更新的单位无需更新。

5、针对oracle数据库优化分页查询语句,只取当前页的数据。

换数据库真是个迫不得已的决定,经过三四个人的1个半月的努力,终于把新系统搞定,上个月新系统上线,现在前台打开是飞速啊。时常孤芳自赏,自己有事没事的就打开来看看,好吧,搞软件的好像都喜欢看自己的产品?。。

关于lucene、apache+tomcat相关文章可以在本站搜一下。当然,这个系统自从用了lucene已经解决了问题,并没有做负载均衡。

 

2012十一月8

Apache + Tomcat 负载均衡单机部署实例

一、准备工作

Tomcat6 : http://tomcat.apache.org/download-60.cgi

下载:apache-tomcat-6.0.36.exe

apache httpd server 2.2: http://www.fayea.com/apache-mirror//httpd/binaries/win32/

下载:httpd-2.2.22-win32-x86-no_ssl.msi

apache tomcat connector: http://archive.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/win32/jk-1.2.31/

下载:mod_jk-1.2.31-httpd-2.2.3.so

二、安装配置

安装路径:

E:\Apache2.2

E:\apache-tomcat-6.0.36-1

E:\apache-tomcat-6.0.36-2

项目路径:

E:\work\demo

1、Apache 配置

修改 E:\Apache2.2\conf\httpd.conf  文件。

1)、加载外部配置文件:

文件最后一行加上

include conf/mod_jk.conf

2)配置项目路径:

<IfModule alias_module>
    Alias /demo "E:/work/demo"
    ScriptAlias /cgi-bin/ "E:/Apache2.2/cgi-bin/"
</IfModule>

3)配置目录权限:

<Directory "E:/work/demo"> 
   Order Deny,Allow 
   Allow from all 
</Directory>

4)配置默认首页:
增加 index.jsp

<IfModule dir_module>
    DirectoryIndex index.jsp index.html
</IfModule>

5)增加 E:\Apache2.2\conf\mod_jk.conf 文件内容:

LoadModule jk_module modules/mod_jk-1.2.31-httpd-2.2.3.so
JkWorkersFile conf/workers.properties
#指定那些请求交给tomcat处理,"controller"为在workers.propertise里指定的负载分配控制器名
JkMount /*.jsp controller

同时将 mod_jk-1.2.31-httpd-2.2.3.so 文件放入 E:\Apache2.2\modules 文件夹下。

6)增加 E:\Apache2.2\conf\workers.properties 文件内容:

#server
worker.list = controller
#========tomcat1========
worker.tomcat1.port=10009
worker.tomcat1.host=localhost
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor = 1
#========tomcat2========
worker.tomcat2.port=11009
worker.tomcat2.host=localhost
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor = 1

#========controller,负载均衡控制器========
worker.controller.type=lb
worker.controller.balanced_workers=tomcat1,tomcat2
worker.controller.sticky_session=false
worker.controller.sticky_session_force=1
#worker.controller.sticky_session=1

2、Tomcat 配置

1)Tomcat-1 配置

E:\apache-tomcat-6.0.36-1\conf\server.xml

需要修改端口的地方:

<Server port="10005" shutdown="SHUTDOWN">
<Connector port="10080" URIEncoding="GBK" protocol="HTTP/1.1" 
connectionTimeout="20000" keepAliveTimeout="15000" maxKeepAliveRequests="1" 
redirectPort="8443" />
<Connector port="10009" protocol="AJP/1.3" redirectPort="8443" />
<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">
   <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

1)Tomcat-2 配置

E:\apache-tomcat-6.0.36-2\conf\server.xml

需要修改端口的地方:

<Server port="11005" shutdown="SHUTDOWN">
<Connector port="11080" URIEncoding="GBK" protocol="HTTP/1.1" 
connectionTimeout="20000" keepAliveTimeout="15000" maxKeepAliveRequests="1" 
redirectPort="8443" />
<Connector port="11009" protocol="AJP/1.3" redirectPort="8443" />
<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat2">
   <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

三、项目测试

项目 web.xml 文件需在 <web-app>下增加<distributable/>。

test.jsp

<%@ page contentType="text/html; charset=GBK"%>
<%@ page import="java.util.*"%>
<html>
	<head>
		<title>Cluster App Test</title>
	</head>
	<body>
		Server Info:
		<%
		out.println(request.getLocalAddr() + " : " + request.getLocalPort() + "<br>");
		%>
		<%
			out.println("<br> ID " + session.getId() + "<br>");
			// 如果有新的 Session 属性设置
			String dataName = request.getParameter("dataName");
			if (dataName != null && dataName.length() > 0) {
				String dataValue = request.getParameter("dataValue");
				session.setAttribute(dataName, dataValue);
			}
			out.println("<b>Session 列表</b><br>");
			System.out.println("============================");
			Enumeration e = session.getAttributeNames();
			while (e.hasMoreElements()) {
				String name = (String) e.nextElement();
				String value = session.getAttribute(name).toString();
				out.println(name + " = " + value + "<br>");
				System.out.println(name + " = " + value);
			}
		%>
		<form action="test.jsp" method="POST">
			名称:
			<input type=text size=20 name="dataName">
			<br>
			值:
			<input type=text size=20 name="dataValue">
			<br>
			<input type=submit>
		</form>
	</body>
</html>

先启动Apache2服务,之后依次启动两个tomcat。
分别访问:
http://127.0.0.1:10080/test.jsp
http://127.0.0.1:11080/test.jsp
http://127.0.0.1/test.jsp
接下来测试你懂得,三者 seesion 内容一致即配置成功。

四、注意事项

1、若测试结果不成功,可以查看日志看看报什么错误,是否配置疏忽了什么环节,apache的权限有没有配置等,注意版本;
2、放在session里的对象需要序列化,即类 implements Serializable。