2010年12月

mysql修复-适合大数据

1.5G的数据。phpmyadmin的修复,超时或者卡死。

用下面命令

mysqlcheck -r 库名 表名 -u root -pmysqlcheck的用法自己搜索

openvpn中server.conf和client.conf配置文件详解

Server使用的配置文件server.conf
—————————–
#申明本机使用的IP地址,也可以不说明
;local a.b.c.d
#申明使用的端口,默认1194
port 1194
#申明使用的协议,默认使用UDP,如果使用HTTP proxy,必须使用TCP协议
;proto tcp
proto udp
#申明使用的设备可选tap和tun,tap是二层设备,支持链路层协议。
#tun是ip层的点对点协议,限制稍微多一些,本人习惯使用TAP设备
dev tap
;dev tun
#OpenVPN使用的ROOT CA,使用build-ca生成的,用于验证客户是证书是否合法
ca ca.crt
#Server使用的证书文件
cert server.crt
#Server使用的证书对应的key,注意文件的权限,防止被盗
key server.key # This file should be kept secret
#CRL文件的申明,被吊销的证书链,这些证书将无法登录
crl-verify vpncrl.pem
#上面提到的生成的Diffie-Hellman文件
dh dh1024.pem
#这是一条命令的合集,如果你是OpenVPN的老用户,就知道这条命令的来由
#这条命令等效于:
# mode server #OpenVPN工作在Server模式,可以支持多client同时动态接入
# tls-server #使用TLS加密传输,本端为Server,Client端为tls-client
#
# if dev tun: #如果使用tun设备,等效于以下配置
# ifconfig 10.8.0.1 10.8.0.2 #设置本地tun设备的地址
# ifconfig-pool 10.8.0.4 10.8.0.251 #说明OpenVPN使用的地址池(用于分配给客户),分别是起始地址、结束地址
# route 10.8.0.0 255.255.255.0 #增加一条静态路由,省略下一跳地址,下一跳为对端地址,这里是: 10.8.0.2
# if client-to-client: #如果使用client-to-client这个选项
# push “route 10.8.0.0 255.255.255.0″ #把这条路由发送给客户端,客户连接成功后自动加入路由表,省略了下一跳地址: 10.8.0.1
# else
# push “route 10.8.0.1″ #否则发送本条路由,这是一个主机路由,省略了子网掩码和下一跳地址,分别为: 255.255.255.255 10.8.0.1
#
# if dev tap: #如果使用tap设备,则等效于以下命令
# ifconfig 10.8.0.1 255.255.255.0 #配置tap设备的地址
# ifconfig-pool 10.8.0.2 10.8.0.254 255.255.255.0 #客户端使用的地址池,分别是起始地址、结束地址、子网掩码
# push “route-gateway 10.8.0.1″ #把环境变量route-gateway传递给客户机
#
server 10.8.0.0 255.255.255.0 #等效于以上命令
#用于记录某个Client获得的IP地址,类似于dhcpd.lease文件,
#防止openvpn重新启动后“忘记”Client曾经使用过的IP地址
ifconfig-pool-persist ipp.txt
#Bridge状态下类似DHCPD的配置,为客户分配地址,由于这里工作在路由模式,所以不使用
;server-bridge 10.8.0.4 255.255.255.0 10.8.0.50 10.8.0.100
#通过VPN Server往Client push路由,client通过pull指令获得Server push的所有选项并应用
;push “route 192.168.10.0 255.255.255.0″
;push “route 192.168.20.0 255.255.255.0″
#VPN启动后,在VPN Server上增加的路由,VPN停止后自动删除
;route 10.9.0.0 255.255.255.252
#Run script or shell command cmd to validate client
#virtual addresses or routes. 具体查看manual
;learn-address ./script
#其他的一些需要PUSH给Client的选项
#
#使Client的默认网关指向VPN,让Client的所有Traffic都通过VPN走
;push “redirect-gateway”
#DHCP的一些选项,具体查看Manual
;push “dhcp-option DNS 10.8.0.1″
;push “dhcp-option WINS 10.8.0.1″
#如果可以让VPN Client之间相互访问直接通过openvpn程序转发,
#不用发送到tun或者tap设备后重新转发,优化Client to Client的访问效率
client-to-client
#如果Client使用的CA的Common Name有重复了,或者说客户都使用相同的CA
#和keys连接VPN,一定要打开这个选项,否则只允许一个人连接VPN
;duplicate-cn
#NAT后面使用VPN,如果VPN长时间不通信,NAT Session可能会失效,
#导致VPN连接丢失,为防止之类事情的发生,keepalive提供一个类似于ping的机制,
#下面表示每10秒通过VPN的Control通道ping对方,如果连续120秒无法ping通,
#认为连接丢失,并重新启动VPN,重新连接
#(对于mode server模式下的openvpn不会重新连接)。
keepalive 10 120
#上面提到的HMAC防火墙,防止DOS攻击,对于所有的控制信息,都使用HMAC signature,
#没有HMAC signature的控制信息不予处理,注意server端后面的数字肯定使用0,client使用1
tls-auth ta.key 0 # This file is secret
#对数据进行压缩,注意Server和Client一致
comp-lzo
#定义最大连接数
;max-clients 100
#定义运行openvpn的用户
user nobody
group nobody
#通过keepalive检测超时后,重新启动VPN,不重新读取keys,保留第一次使用的keys
persist-key
#通过keepalive检测超时后,重新启动VPN,一直保持tun或者tap设备是linkup的,
#否则网络连接会先linkdown然后linkup
persist-tun
#定期把openvpn的一些状态信息写到文件中,以便自己写程序计费或者进行其他操作
status openvpn-status.log
#记录日志,每次重新启动openvpn后删除原有的log信息
log /var/log/openvpn.log
#和log一致,每次重新启动openvpn后保留原有的log信息,新信息追加到文件最后
;log-append openvpn.log
#相当于debug level,具体查看manual
verb 3
——————————-
把server.conf文件保存到/etc/opennvpn目录中,并把使用easy-rsa下的脚本什成的key都复制到/etc/openvpn目录下,命令如下:
#cd /etc/openvpn
#cp easy-rsa/keys/ca.crt .
#cp easy-rsa/keys/server.crt .
#cp easy-rsa/keys/server.key .
#cp easy-rsa/keys/dh1024.pem .
#cp easy-rsa/keys/ta.key .
#cp easy-rsa/keys/vpncrl.pem .
创建OpenVPN启动脚本,可以在源代码目录中找到,在sample-scripts目录下的openvpn.init文件,将其复制到/etc/init.d/目录中,改名为openvpn
然后运行:
#chkconfig –add openvpn
#chkconfig openvpn on
立即启动openenvpn
#/etc/init.d/openvpn start

接下来配置客户端的配置文件client.conf:
Linux或Unix下使用扩展名为.conf Windows下使用的是.ovpn,并把需要使用的keys复制到配置文件所在目录ca.crt elm.crt elm.key ta.key
———————————-
# 申明我们是一个client,配置从server端pull过来,如IP地址,路由信息之类“Server使用push指令push过来的”
client

#指定接口的类型,严格和Server端一致
dev tap
;dev tun

# Windows needs the TAP-Win32 adapter name
# from the Network Connections panel
# if you have more than one. On XP SP2,
# you may need to disable the firewall
# for the TAP adapter.
;dev-node MyTap

# 使用的协议,与Server严格一致
;proto tcp
proto udp

#设置Server的IP地址和端口,如果有多台机器做负载均衡,可以多次出现remote关键字

remote 61.1.1.2 1194
;remote my-server-2 1194

# 随机选择一个Server连接,否则按照顺序从上到下依次连接
;remote-random

# 始终重新解析Server的IP地址(如果remote后面跟的是域名),
# 保证Server IP地址是动态的使用DDNS动态更新DNS后,Client在自动重新连接时重新解析Server的IP地址
# 这样无需人为重新启动,即可重新接入VPN
resolv-retry infinite

# 在本机不邦定任何端口监听incoming数据,Client无需此操作,除非一对一的VPN有必要
nobind

# 运行openvpn用户的身份,旧版本在win下需要把这两行注释掉,新版本无需此操作
user nobody
group nobody

#在Client端增加路由,使得所有访问内网的流量都经过VPN出去
#当然也可以在Server的配置文件里头设置,Server配置里头使用的命令是
# push “route 192.168.0.0 255.255.255.0″
route 192.168.0.0 255.255.0.0

# 和Server配置上的功能一样如果使用了chroot或者su功能,最好打开下面2个选项,防止重新启动后找不到keys文件,或者nobody用户没有权限启动tun设备
persist-key
persist-tun

# 如果你使用HTTP代理连接VPN Server,把Proxy的IP地址和端口写到下面
# 如果代理需要验证,使用http-proxy server port [authfile] [auth-method]
# 其中authfile是一个2行的文本文件,用户名和密码各占一行,auth-method可以省略,详细信息查看Manual
;http-proxy-retry # retry on connection failures
;http-proxy [proxy server] [proxy port #]

# 对于无线设备使用VPN的配置,看看就明白了
# Wireless networks often produce a lot
# of duplicate packets. Set this flag
# to silence duplicate packet warnings.
;mute-replay-warnings

# Root CA 文件的文件名,用于验证Server CA证书合法性,通过easy-rsa/build-ca生成的ca.crt,和Server配置里的ca.crt是同一个文件
ca ca.crt
# easy-rsa/build-key生成的key pair文件,上面生成key部分中有提到,不同客户使用不同的keys修改以下两行配置并使用他们的keys即可。
cert elm.crt
key elm.key

# Server使用build-key-server脚本什成的,在x509 v3扩展中加入了ns-cert-type选项
# 防止VPN client使用他们的keys + DNS hack欺骗vpn client连接他们假冒的VPN Server
# 因为他们的CA里没有这个扩展
ns-cert-type server

# 和Server配置里一致,ta.key也一致,注意最后参数使用的是1
tls-auth ta.key 1

# 压缩选项,和Server严格一致
comp-lzo

# Set log file verbosity.
verb 4

vps下安装openvpn

个人感觉成功一次后,会觉得同pptp一样简单。 (常见问题见文结尾)

环境: openvz型vps
centos

关键点: 开启TUN/TAP, iptables正确设置

简略步骤:

1. 安装iptables等:

yum install gcc gcc-devel openssl openssl-devel iptables2. 下载Openvpn和lzo

mkdir /opt/software
cd /opt/software
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.03.tar.gz
wget http://openvpn.net/release/openvpn-2.0.9.tar.gz
3. 安装Openvpn和lzo

#cd /opt/software
#tar -zxvf lzo-2.03.tar.gz
#cd lzo-2.03
#./configure
#make && make install
#cd ../
#tar -zxvf openvpn-2.0.9.tar.gz
#cd openvpn-2.0.9
#./configure
#make && make install
4. 生成CA证书、Server Key和Client Key
1.)初始化参数

#cd /opt/software/openvpn-2.0.9/easy-rsa
#export D=`pwd`
#export KEY_CONFIG=$D/openssl.cnf
#export KEY_DIR=$D/keys
#export KEY_SIZE=1024
#export KEY_COUNTRY=CN
#export KEY_PROVINCE=GD
#export KEY_CITY=GZ
#export KEY_ORG="xxxx" (设置为自己的)
#export KEY_EMAIL=”xxx@xxx.com”(设置为自己的)
2.)生成CA证书

./clean-all //这行命令是清空Keys文件夹下的所有文件
./build-ca
接下来的信息你可以自己填写

3)建立Server Key

./build-key-server server按提示设置填写信息就可以了

4)生成客户端 key

#./build-key client1 //client1为客户用户名,可以随便取如果要创建多个vpn帐户,则同样如client1一样生成其他客户端证书/key
如: ./build-key client2

关键点: 注意在进入 Common Name (eg, your name or your server’s hostname) []: 的输入时, 每个证书输入的名字必须不同.server以及client证书这个填写要一样

5). 生成Diffie Hellman参数

/build-dh(如果这里发生错误,请尝试:openssl dhparam -out ./keys/dh1024.pem 1024)

6). 将 keys 下的所有文件打包下载到本地 (主要是里面的客户端证书等)

5. 创建Openvpn vps服务器配置文件(vi /usr/local/etc/server.conf)
(可以复制/opt/software/openvpn-2.0.9/sample-config-files目录下的server.conf 进行修改),可以直接复制下面内容
注意修改:ip、端口、对应目录

local 2.2.2.2 (改为你的VPS IP地址)
port 1194
proto udp
dev tun
ca /opt/software/openvpn-2.0.9/easy-rsa/keys/ca.crt
cert /opt/software/openvpn-2.0.9/easy-rsa/keys/server.crt
key /opt/software/openvpn-2.0.9/easy-rsa/keys/server.key
dh /opt/software/openvpn-2.0.9/easy-rsa/keys/dh1024.pem
server 10.8.0.0 255.255.255.0 //自己设定
ifconfig-pool-persist ipp.txt
push "redirect-gateway def1" //有些资料上是push "redirect-gateway def1 bypass-dhcp",多一个bypass-dhcp时我自己测试是失败的。 此行的作用是通知客户端使用openvpn服务端设置的路由,如果没有的话,客户端不知道走哪个路由
push "dhcp-option DNS 10.8.0.1"
push "dhcp-option DNS 8.8.8.8"
push "dhcp-option DNS 208.67.220.220"
client-to-client
keepalive 10 120
comp-lzo
user nobody
group nobody
persist-key
persist-tun
status openvpn-status.log
verb 3
6. 启动OpenVPN (注意,后台开启模式)

setsid /usr/local/sbin/openvpn --config /usr/local/etc/server.conf (加上服务端配置文件启动)
(或者 /usr/local/sbin/openvpn --config /usr/local/etc/server.conf &)

如果需要开机启动 (vi /etc/rc.local,在最后面加入:
/usr/local/sbin/openvpn –config /usr/local/etc/server.conf &)
7. iptables转发设置
添加转发

iptables -t nat -I POSTROUTING -s 10.8.0.0/16 -j SNAT --to-source [vpsip] (openvz型vps用这个)
(如果是xen型vps,输入这个 iptables -t nat -A POSTROUTING -s 10.8.0.0/24 -o venet0 -j MASQUERADE 其中venet0是vps网卡. 有的文章说openvz也可以用这个,我没有进行测试)
保存规则

/etc/init.d/iptables save重启iptables生效

/etc/init.d/iptables restart8. 查看系统有没有实现ip4转发。

sysctl -a | grep for如果以下是1就行

net.ipv4.ip_forward = 1如果不是,就用下面命令进行修改

sysctl -w net.ipv4.ip_forward=19. Opnevpn windows 客户端安装设置
1)下载安装和服务器端配套的OpenVPN GUI For Windows:(http://openvpn.se/files/install_packages/openvpn-2.0.9-gui-1.0.3-install.exe)
并安装。
2)将下载下来的key目录压缩包中的ca.crt client1.key client1.crt文件复制到你的OpenVPN GUI安装路径\OpenVPN\config文件夹下
3)修改client.ovpn
把你的OpenVPN安装路径\OpenVPN\sample-config下的client.ovpn文件复制到你的OpenVPN安装路径\OpenVPN\config文件夹下,用记事本打开client.ovpn

找到remote my-server-1 1194,把my-server-1改成你的VPS IP地址
找到 cert client.crt 把 client.crt改为client1.crt
找到 key client.key 把 client.key 改为 client1.key

4.) 双击 client.ovpn 即可启动 openvpn, 或者通过 OpenVPN 的控制启动 VPN

5)出现 Initialization Sequence Completed 表示成功

常见问题:
1. 如何确定自己的vps是XEN还是openvz
答:一般通过ifconfig命令,看网卡,XEN一般为eth0,而openvz为venet0
2. 如何确定openvz型vps是否开启TUN/TAP
答: 判断tun/tap有没有开启,可以用此命令cat /dev/net/tun,若出现 cat: /dev/net/tun: File descriptor in bad state 说明开启成功

3. 如何通过openvpn服务端设置客户端路由以及常用网站使用原来路由,而不因用了vpn减速。
答:在openvpn的服务端配置文件server.conf中使用push命令。
如:push "redirect-gateway def1" 告诉客户端使用服务端作为路由
push "dhcp-option DNS 8.8.8.8" 设置客户端的dns服务器
高级的可以用 push “route 24.0.0.0 255.0.0.0″ 设置此ip段用vpn的路由,而之外的将是用客户端原来线路。

解决 thread.error: can't start new thread 错误

centos 用yum 命令安装软件,报错:

File "/usr/lib/python2.4/threading.py", line 416, in start
_start_new_thread(self.__bootstrap, ())
thread.error: can't start new thread

解决方法:编辑 /etc/yum/pluginconf.d/fastestmirror.conf

将enabled=1修改为enabled=0,禁用该功能就可以了。

FreeBSD上Enter full pathname of shell or RETURN for /bin/sh 问题的解决

系统启动不了

mounting root from ufs:/dev/ad0s1a
/etc/rc.conf: 16:Syntax error:Unterminated quoted string
Enter full pathname of shell or RETURN for /bin/sh:

出现这个提示后就不继续启动了.然后我按ENTER后出现
#

解决方法:

输入enter
输入fsck -y
然后reboot

附录:fsck的使用

fsck程序

当系统意外掉电或者类似的原因导致硬盘发生错误的时候,系统再次重启就会调用fs
ck程序对硬盘进行检查。通常这个检查过程是自动的,但是如果检查中发现的错误太多
,或者出现了无法自动解决的问题,那么系统将提示你输入超级用户口令并且启动一个
单用户shell,让你手工运行fsck解决问题。

另外一种需要手工运行fsck的情况是系统启动了足够多的次数,系统希望你进行例行
的硬盘检查。这时系统在引导过程中提示你输入超级用户口令进入系统维护,或者直接
按下^D组合键继续正常的引导。

无论哪一种情况,在你决定进行fsck检测之后,你都会进入一个单用户shell。当然,
也存在另外的情况:纯粹出于好奇心,你想对某个硬盘进行检查。

在讨论fsck之前,你必须记住,原则上你不应该在一个已经连接的文件系统上使用fs
ck,相反,你应该把它拆卸下来再做检查。当你试图fsck一个已经连接的文件系统的时
候,你会得到这样的提示:

$fsck /dev/hda5

Parallelizing fsck version 1.15 (18-Jul-1999)

e2fsck 1.15, 18-Jul-1999 for EXT2 FS 0.5b, 95/08/09

/dev/hda5 is mounted.

WARNING!!! Running e2fsck on a mounted filesystem may cause

SEVERE filesystem damage.

Do you really want to continue (y/n)?

如果你知道DOS的chkdsk命令在windows 下面执行会有什么结果的话,你就会理解为什
么这里应该回答no。fsck一个已经连接的文件系统也许会把它彻底摧毁,或者至少导致
一定程度的破坏。当然,有时你可能认为自己已经别无选择,比如/分区发现了问题。不
过即使在这种情况下,你需要做的也应该是把硬盘拆卸下来,安装到另外的机器上作为
一个附加文件系统进行检测。

所以你应该首先把这个文件系统拆卸下来,然后再运行fsck:

$fsck /dev/hda5

Parallelizing fsck version 1.15 (18-Jul-1999)

e2fsck 1.15, 18-Jul-1999 for EXT2 FS 0.5b, 95/08/09

/dev/hda5: clean, 44157/1474560 files, 1994621/2945911 blocks

现在这个文件系统上没有发现逻辑错误。

fsck的语法是fsck –t [文件系统类型] [设备名字]。文件系统类型通常并不需要明
确标出。不过,要知道,尽管我们现在是手工执行fsck,不过如果它发现了错误,你对
它的提示差不多只能选择“y”,除非你是一个UNIX文件系统专家。一般情况下,系统的
启动脚本是以fsck –a [设备名]让fsck自动执行,如果它发现了诸如两个文件项交叉,
目录项错误等等比较危险的错误,它就会退出,然后系统提示你手工执行fsck。但是你
能看出来,对于这样性质的错误,你又能帮助fsck什么呢?你能做的就是机械地选择ye
s并且让fsck盲目地执行下去。

输入Root密码登录后采用:fsck -t ext3 -r /usr/local 修复

fsck的命令的几个使用方法

指令:fsck

使用权限 : 超级使用者

使用方式 : fsck [-sACVRP] [-t fstype] [–] [fsck-options] filesys […]

说明 : 检查与修复 Linux 档案系统,可以同时检查一个或多个 Linux 档案系统

参数 :

filesys : device 名称(eg./dev/sda1),mount 点 (eg. / 或 /usr)

-t : 给定档案系统的型式,若在 /etc/fstab 中已有定义或 kernel 本身已支援的则不需加上此参数

-s : 依序一个一个地执行 fsck 的指令来检查

-A : 对/etc/fstab 中所有列出来的 partition 做检查

-C : 显示完整的检查进度

-d : 列印 e2fsck 的 debug 结果

-p : 同时有 -A 条件时,同时有多个 fsck 的检查一起执行

-R : 同时有 -A 条件时,省略 / 不检查

-V : 详细显示模式

-a : 如果检查有错则自动修复

-r : 如果检查有错则由使用者回答是否修复

例子 :

检查 msdos 档案系统的 /dev/hda5 是否正常,如果有异常便自动修复 :fsck -t msdos -a /dev/hda5

注意 :

此指令可与 /etc/fstab 相互参考操作来加以了解。

From:http://www.oklink.net/dnsj/czxt/linux/linuxadmin/node47.html
用fsck检查文件系统完整性

文件系统很复杂,因此易于发生错误。可以用fsck命令检查文件系统是否正确和有效。它可以根据指令修复找到的小错误,并将未修复错误报告用户。幸运的是,文件系统的代码非常有效,所以根本极少出现问题,并且问题通常原因是电源失败、硬件失败、或操作错误,例如没有正常关闭系统。

大多数系统设置为启动时自动运行fsck,因此任何错误将在系统使用前被检测到(并根据希望修正)。使用有错误的文件系统可能使问题变得更坏:如果数据结构有问题,使用这个文件系统可能使之更糟,导致更多的数据丢失。当然,在大的文件系统上运行fsck会花一定的时间,如果系统正常关闭,几乎从不发生错误,因此有一些方法可以不进行检查。如果文件/etc/fastboot存在,就不检查。另外,如果ext2文件系统在超级快中有一个特定的标记告知该文件系统在上次mount后没有正常unmount. 如果标记指出unmount正常完成(假设正常unmount指出没问题),e2fsck(fsck的ext2文件系统版) 就不检查系统。/etc/fastboot是否影响系统依赖于你的启动手稿,但ext2标记则在你使用e2fsck时发生作用--基于一个e2fsck选项(参阅e2fsck手册页)

自动检查只对启动时自动mount的文件系统发生作用。使用fsck手工检查其他文件系统,比如软盘。

如果fsck发现为修复的问题,你需要深入了解文件系统的一般工作原理和有问题的文件系统的细节,或好的备份。最后一个办法容易(虽然冗长)安排,如果你自己不知道,有时可以通过朋友、Linux新闻组、电子邮件列表或其他支持源安排。我很想告诉你更多,但我对这的学习和实践也并不多。Theodore T'so的debugfs程序应该有用。

fsck只能运行于未mount的文件系统,不要用于已mount的文件系统(除了启动时的只读根文件系统)。这是因为它存取原始磁盘,在操作系统不知道的情况下修改文件系统。 There will be trouble, if the operating system is confused.