Orzdba's Blog

【Perl】fork子进程

orzdba — Fri, 08 Apr 2011 04:58:12 +0000

Perl中可以通过fork函数来创建一个子进程。如果fork成功的话，这个时候就存在父进程和子进程，接下来2个进程会同时开始执行perl脚本中fork函数后面的代码。例子如下：

#!/usr/local/bin/perl

use Term::ANSIColor;

use strict;

use warnings;

$SIG{CHLD} = ‘IGNORE’; #忽略SIGCHLD信号,回收僵尸子进程

print color(‘green’),”Program started… pid = $$ \n\n”;

print “fork process…\n”;

# 如果fork失败，则返回undefined

defined ( my $child = fork() ) or die “Fork Error : $!\n” ;

# 如果fork成功:

# 如果是父进程，则把生成的子进程PID赋值给$child。

# 如果是子进程，则把0赋值给$child。

if ($child == 0){

print color(‘yellow’),”\n-> child process running …\n”;

print “child process pid : $$ !\n”;

# 退出子进程，如果前面没有对子进程处理的话，那么在父进程还没退出期间，子进程就变成僵尸子进程。

exit 0;

} else {

print color(‘blue’),”\n-> parent process running …\n”;

print “child process pid : $child ; parent process pid : $$ !\n”,color(‘reset’);

}

#sleep(10);

print “\nHello World!\n”;

执行结果如下：

[zhuxu@xentest8-vm1 my_perl_test]$ ./fork.pl

Program started… pid = 30881

fork process…

-> child process running …

child process pid : 30882 !

-> parent process running …

child process pid : 30882 ; parent process pid : 30881 !

Hello World!

[zhuxu@xentest8-vm1 my_perl_test]$

【参考】：Perl fork()

–EOF–

【MySQL】LOAD DATA

orzdba — Wed, 16 Mar 2011 16:51:13 +0000

在使用LOAD DATA到MySQL的时候，有2种情况：

（1）在远程客户端（需要添加选项：–local-infile=1）导入远程客户端文本到MySQL，需指定LOCAL（默认就是ignore）,加ignore选项会放弃数据，加replace选项会更新数据，都不会出现唯一性约束问题。

（2）在本地服务器导入本地服务器文本到MySQL，不指定LOACL，出现唯一性约束冲突，会失败回滚，数据导入不进去，这个时候就需要加ignore或者replace来导入数据。

测试如下：

（1）本地服务器导入本地服务器文本

mysql> show create table tmp_loaddata\G;

*************************** 1. row ***************************

Table: tmp_loaddata

Create Table: CREATE TABLE `tmp_loaddata` (

`id` int(11) NOT NULL,

`name` varchar(10) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1

1 row in set (0.00 sec)

ERROR:

No query specified

mysql> select * from tmp_loaddata;

+—-+——+

| id | name |

+—-+——+

| 1 | test |

+—-+——+

1 row in set (0.00 sec)

mysql>

mysql> system cat /home/zhuxu/1.txt

1,new update

2,new update

mysql>

mysql> LOAD DATA INFILE ‘/home/zhuxu/1.txt’ INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’;

ERROR 1062 (23000): Duplicate entry ’1′ for key ‘PRIMARY’

# 出现唯一性约束冲突，会失败回滚

mysql> select * from tmp_loaddata;

+—-+——+

| id | name |

+—-+——+

| 1 | test |

+—-+——+

1 row in set (0.00 sec)

mysql> LOAD DATA INFILE ‘/home/zhuxu/1.txt’ IGNORE INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’;

Query OK, 1 row affected (0.00 sec)

Records: 2 Deleted: 0 Skipped: 1 Warnings: 0

# 使用IGNORE对于冲突的数据丢弃掉。

mysql> select * from tmp_loaddata;

+—-+————+

| id | name |

+—-+————+

| 1 | test |

| 2 | new update |

+—-+————+

2 rows in set (0.00 sec)

mysql> LOAD DATA INFILE ‘/home/zhuxu/1.txt’ REPLACE INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’;

Query OK, 3 rows affected (0.00 sec)

Records: 2 Deleted: 1 Skipped: 0 Warnings: 0

# 使用REPLACE对于冲突的数据进行更新。

mysql> select * from tmp_loaddata;

+—-+————+

| id | name |

+—-+————+

| 1 | new update |

| 2 | new update |

+—-+————+

2 rows in set (0.00 sec)

（2）远程客户端导入远程客户端文本

[zhuxu@xentest9-vm1 tmp]$ mysql -uzhuxu -pzhuxu test -h10.254.5.151

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 15

Server version: 5.1.47-log Source distribution

Copyright (c) 2000, 2010, Oracle and/or its affiliates. All rights reserved.

This software comes with ABSOLUTELY NO WARRANTY. This is free software,

and you are welcome to modify and redistribute it under the GPL v2 license

Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the current input statement.

mysql> select * from tmp_loaddata;

+—-+——+

| id | name |

+—-+——+

| 1 | test |

+—-+——+

1 row in set (0.00 sec)

mysql> system cat /tmp/2.txt

1,new update

2,new update

3,new update

mysql>

mysql> LOAD DATA INFILE ‘/tmp/2.txt’ INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’;

ERROR 13 (HY000): Can’t get stat of ‘/tmp/2.txt’ (Errcode: 2)

# 由于数据库服务器没有对应的文本文件，所以报错。

mysql>

mysql> LOAD DATA LOCAL INFILE ‘/tmp/2.txt’ INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’;

ERROR 1148 (42000): The used command is not allowed with this MySQL version

# 进去mysql远程客户端，还需要加–local-infile=1参数指定。

mysql> exit

Bye

[zhuxu@xentest9-vm1 tmp]$ mysql -uzhuxu -pzhuxu test -h10.254.5.151 –local-infile=1 –show-warnings -v -v -v \

> -e “LOAD DATA LOCAL INFILE ‘/tmp/2.txt’ INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’”;

————–

LOAD DATA LOCAL INFILE ‘/tmp/2.txt’ INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’

————–

Query OK, 2 rows affected (0.00 sec)

Records: 3 Deleted: 0 Skipped: 1 Warnings: 0

Bye

mysql> select * from tmp_loaddata;

+—-+————+

| id | name |

+—-+————+

| 1 | test |

| 2 | new update |

| 3 | new update |

+—-+————+

3 rows in set (0.00 sec)

#

[zhuxu@xentest9-vm1 tmp]$ mysql -uzhuxu -pzhuxu test -h10.254.5.151 –local-infile=1 –show-warnings -v -v -v \

> -e “LOAD DATA LOCAL INFILE ‘/tmp/2.txt’ IGNORE INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’”;

————–

LOAD DATA LOCAL INFILE ‘/tmp/2.txt’ IGNORE INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’

————–

Query OK, 0 rows affected (0.00 sec)

Records: 3 Deleted: 0 Skipped: 3 Warnings: 0

Bye

mysql> select * from tmp_loaddata;

+—-+————+

| id | name |

+—-+————+

| 1 | test |

| 2 | new update |

| 3 | new update |

+—-+————+

3 rows in set (0.00 sec)

#

[zhuxu@xentest9-vm1 tmp]$ mysql -uzhuxu -pzhuxu test -h10.254.5.151 –local-infile=1 –show-warnings -v -v -v \

> -e “LOAD DATA LOCAL INFILE ‘/tmp/2.txt’ REPLACE INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’”;

————–

LOAD DATA LOCAL INFILE ‘/tmp/2.txt’ REPLACE INTO TABLE tmp_loaddata FIELDS TERMINATED BY ‘,’

————–

Query OK, 4 rows affected (0.00 sec)

Records: 3 Deleted: 1 Skipped: 0 Warnings: 0

Bye

mysql> select * from tmp_loaddata;

+—-+————+

| id | name |

+—-+————+

| 1 | new update |

| 2 | new update |

| 3 | new update |

+—-+————+

3 rows in set (0.00 sec)

–EOF–

【MySQL】关于table cache的相关参数

orzdba — Tue, 15 Mar 2011 04:51:32 +0000

一、状态值和变量：

1.1

在MySQL的show status中有2个状态值：Open_tables和Opened_tables。这2个值代表的意思如下：

Open_tables ：代表当前打开表的数量。

Opened_tables：代表自从MySQL启动后，打开表的数量。

关于MySQL怎么打开关闭表的具体细节参考文档：<How MySQL Opens and Closes Tables>。

（1）对于myisam存储引擎，打开1张表需要2个文件描述符（一个.MYD文件，一个.MYI文件）。

（2）对于innodb存储引擎，开启表的独立表空间（innodb_file_per_table）打开1张表只需要1个文件描述符（一个.ibd文件）。

【MySQL Variable】

对于上面的状态值，对应的5.1.3版本后的MySQL变量参数为table_open_cache，而早期版本为：table_cache，该参数值的代表MySQL可以缓存的打开表时候的最大文件描述符。

1.2

在MySQL 5.1.3之后，还添加了2个状态值：Open_table_definitions和Opened_table_definitions。这2个值代表的意思如下：

Open_table_definitions ：代表当前缓存了多少.frm文件。

Opened_table_definitions：代表自从MySQL启动后，缓存了.frm文件的数量。

需要注意的是.frm文件是MySQL用于存放表结构的文件，对应myisam和innodb存储引擎都必须有的。

【MySQL Variable】

对于上面的状态值，对应的5.1.3版本后的MySQL变量参数为table_definition_cache，该参数值的代表MySQL可以缓存的表定义的数量。和前面的table cache不同的是，表定义的缓存占用空间很小，而且不需要使用文件描述符，也就是只要打开.frm文件，缓存表定义，然后就可以关闭.frm文件。

1.3

另外，还有2个状态值：Open_files和Opened_files。这2个值的意思同上类似：

Open_files ：代表当前打开的文件。对应存储引擎（如：innodb）使用存储引擎自己内部函数打开的话，这个值是不会增加的。

Opened_files：代表使用MySQL的my_open()函数打开过的文件数。如果不是使用这个函数打开文件的话，这个值是不会增加的。

【MySQL Variable】

对于上面的状态值，对应的MySQL变量参数为open_files_limit。

二、测试

测试的MySQL版本：

mysql> select version();

+————+

| version() |

+————+

| 5.1.47-log |

+————+

1 row in set (0.00 sec)

2.1 myisam存储引擎

2.1.1

重启MySQL服务器，可以看到启动时候MySQL已经自动打开相关的系统表。

mysql> show global status like ‘Open%_table_definitions’;show global status like ‘Open%_tables’;show global status like ‘Open%_files’;

+————————–+——-+

| Variable_name            | Value |

+————————–+——-+

| Open_table_definitions   | 15    |

| Opened_table_definitions | 15    |

+————————–+——-+

2 rows in set (0.00 sec)

+—————+——-+

| Variable_name | Value |

+—————+——-+

| Open_tables   | 8     |

| Opened_tables | 15   |

+—————+——-+

2 rows in set (0.00 sec)

+—————+——-+

| Variable_name | Value |

+—————+——-+

| Open_files    | 19    |

| Opened_files | 62    |

+—————+——-+

2 rows in set (0.00 sec)

在上面的状态输出，可以看到Open_tables的值为8，代表了当前打开了8张表，同样的通过mysqladmin status命令也可以看到：

[mysql@xentest8-vm1 test]$ mysqladmin status

Uptime: 631 Threads: 2 Questions: 14 Slow queries: 0 Opens: 15 Flush tables: 1 Open tables: 8 Queries per second avg: 0.22

可以通过SHOW OPEN TABLES命令查看，当前的table cache到底打开了哪些表：

mysql> show open tables;

+———-+————–+——–+————-+

| Database | Table        | In_use | Name_locked |

+———-+————–+——–+————-+

| mysql    | servers      |      0 |           0 |

| mysql    | db           |      0 |           0 |

| mysql    | host         |      0 |           0 |

| mysql    | columns_priv |      0 |           0 |

| mysql    | user         |      0 |           0 |

| mysql    | procs_priv   |      0 |           0 |

| mysql    | event        |      0 |           0 |

| mysql    | tables_priv |      0 |           0 |

+———-+————–+——–+————-+

8 rows in set (0.00 sec)

可以看到打开了mysql库里面的8张系统表（都是myisam存储引擎），另外，还可以通过lsof（lsof的用法参见<使用lsof查找打开的文件>）查看MySQL打开的对应文件：

[zhuxu@xentest8-vm1 ~]$ sudo lsof -u mysql | grep /home/mysql/mysql-5.1.47/data/mysql/

mysqld    14683 mysql   16u   REG              253,1      2048 87889757 /home/mysql/mysql-5.1.47/data/mysql/host.MYI

mysqld    14683 mysql   17u   REG              253,1         0 87889758 /home/mysql/mysql-5.1.47/data/mysql/host.MYD

mysqld    14683 mysql   18u   REG              253,1      2048 87889760 /home/mysql/mysql-5.1.47/data/mysql/user.MYI

mysqld    14683 mysql   19u   REG              253,1       380 87889761 /home/mysql/mysql-5.1.47/data/mysql/user.MYD

mysqld    14683 mysql   20u   REG              253,1      5120 87889754 /home/mysql/mysql-5.1.47/data/mysql/db.MYI

mysqld    14683 mysql   21u   REG              253,1       880 87889755 /home/mysql/mysql-5.1.47/data/mysql/db.MYD

mysqld    14683 mysql   22u   REG              253,1      4096 87889772 /home/mysql/mysql-5.1.47/data/mysql/tables_priv.MYI

mysqld    14683 mysql   23u   REG              253,1         0 87889773 /home/mysql/mysql-5.1.47/data/mysql/tables_priv.MYD

mysqld    14683 mysql   24u   REG              253,1      4096 87889775 /home/mysql/mysql-5.1.47/data/mysql/columns_priv.MYI

mysqld    14683 mysql   25u   REG              253,1         0 87889776 /home/mysql/mysql-5.1.47/data/mysql/columns_priv.MYD

mysqld    14683 mysql   26u   REG              253,1      4096 87889808 /home/mysql/mysql-5.1.47/data/mysql/procs_priv.MYI

mysqld    14683 mysql   27u   REG              253,1         0 87889809 /home/mysql/mysql-5.1.47/data/mysql/procs_priv.MYD

mysqld    14683 mysql   28u   REG              253,1      1024 87889769 /home/mysql/mysql-5.1.47/data/mysql/servers.MYI

mysqld    14683 mysql   29u   REG              253,1         0 87889770 /home/mysql/mysql-5.1.47/data/mysql/servers.MYD

mysqld    14683 mysql   30u   REG              253,1      2048 87889817 /home/mysql/mysql-5.1.47/data/mysql/event.MYI

mysqld    14683 mysql   31u   REG              253,1         0 87889818 /home/mysql/mysql-5.1.47/data/mysql/event.MYD

2.1.2

接着打开一张myisam存储引擎的表：

mysql> select count(*) from myisam_1;

+———-+

| count(*) |

+———-+

|        0 |

+———-+

1 row in set (0.00 sec)

mysql> show global status like ‘Open%_table_definitions’;show global status like ‘Open%_tables’;show global status like ‘Open%_files’;

# 可以看到Opened_table_definitions/Opened_table_definitions/Open_tables/Opened_tables的值都加1

+————————–+——-+

| Variable_name            | Value |

+————————–+——-+

| Open_table_definitions   | 16    |

| Opened_table_definitions | 16    |

+————————–+——-+

2 rows in set (0.00 sec)

+—————+——-+

| Variable_name | Value |

+—————+——-+

| Open_tables   | 9     |

| Opened_tables | 16    |

+—————+——-+

2 rows in set (0.00 sec)

# 可以看到Open_files的值（19+2）加2，Opened_files的值（62+3）加3

+—————+——-+

| Variable_name | Value |

+—————+——-+

| Open_files    | 21    |

| Opened_files | 65    |

+—————+——-+

2 rows in set (0.00 sec)

mysql> show create table myisam_1\G

*************************** 1. row ***************************

Table: myisam_1

Create Table: CREATE TABLE `myisam_1` (

`a` int(11) DEFAULT NULL,

KEY `idx_myisam_1` (`a`)

) ENGINE=MyISAM DEFAULT CHARSET=latin1

1 row in set (0.00 sec)

mysql> show open tables from test;

+———-+———-+——–+————-+

| Database | Table    | In_use | Name_locked |

+———-+———-+——–+————-+

| test     | myisam_1 |      0 |           0 |

+———-+———-+——–+————-+

1 row in set (0.00 sec)

[zhuxu@xentest8-vm1 ~]$ sudo lsof -u mysql | grep /home/mysql/mysql-5.1.47/data/test/

mysqld    14683 mysql 33u REG              253,1      1024 87851510 /home/mysql/mysql-5.1.47/data/test/myisam_1.MYI

mysqld    14683 mysql   34u REG              253,1         0 87851511 /home/mysql/mysql-5.1.47/data/test/myisam_1.MYD

# 可见，除了需要打开.frm文件（打开，缓存后，就关闭），对于myisam存储引擎，打开1张表需要2个文件描述符（一个.MYD文件，一个.MYI文件）

2.1.3

对应table cache中的缓存的表，可以通过flush tables命令来把它人工移出table cache:

mysql> flush tables myisam_1;

Query OK, 0 rows affected (0.00 sec)

mysql> show open tables from test;

Empty set (0.00 sec)

mysql> show global status like ‘Open%_table_definitions’;show global status like ‘Open%_tables’;show global status like ‘Open%_files’;

# 可以看到Open_table_definitions和Open_tables的值都减1

+————————–+——-+

| Variable_name            | Value |

+————————–+——-+

| Open_table_definitions   | 15    |

| Opened_table_definitions | 16    |

+————————–+——-+

2 rows in set (0.00 sec)

+—————+——-+

| Variable_name | Value |

+—————+——-+

| Open_tables   | 8     |

| Opened_tables | 16    |

+—————+——-+

2 rows in set (0.00 sec)

# 可以看到Open_files的值（21-2）减2

+—————+——-+

| Variable_name | Value |

+—————+——-+

| Open_files    | 19    |

| Opened_files | 65 |

+—————+——-+

2 rows in set (0.00 sec)

[zhuxu@xentest8-vm1 ~]$ sudo lsof -u mysql | grep /home/mysql/mysql-5.1.47/data/test/ | wc -l

0

2.2 innodb存储引擎

2.2.1

打开一张innodb存储引擎的表：

mysql> show variables like ‘innodb_file_per_table’;

+———————–+——-+

| Variable_name         | Value |

+———————–+——-+

| innodb_file_per_table | ON    |

+———————–+——-+

1 row in set (0.00 sec)

mysql> select count(*) from t0001;

+———-+

| count(*) |

+———-+

|        2 |

+———-+

1 row in set (0.01 sec)

mysql> show global status like ‘Open%_table_definitions’;show global status like ‘Open%_tables’;show global status like ‘Open%_files’;

# 可以看到Opened_table_definitions/Opened_table_definitions/Open_tables/Opened_tables的值都加1

+————————–+——-+

| Variable_name            | Value |

+————————–+——-+

| Open_table_definitions   | 16    |

| Opened_table_definitions | 17    |

+————————–+——-+

2 rows in set (0.00 sec)

+—————+——-+

| Variable_name | Value |

+—————+——-+

| Open_tables   | 9     |

| Opened_tables | 17    |

+—————+——-+

2 rows in set (0.00 sec)

# 可以看到Open_files的值不变（即innodb使用存储引擎自己内部函数打开的话，这个值是不会增加）

# Opened_files的值（65+1）加1（需要打开.frm文件，缓存后，就关闭）

+—————+——-+

| Variable_name | Value |

+—————+——-+

| Open_files    | 19    |

| Opened_files | 66    |

+—————+——-+

2 rows in set (0.00 sec)

mysql> show open tables from test;

+———-+——-+——–+————-+

| Database | Table | In_use | Name_locked |

+———-+——-+——–+————-+

| test     | t0001 |      0 |           0 |

+———-+——-+——–+————-+

1 row in set (0.00 sec)

mysql> show create table t0001\G

*************************** 1. row ***************************

Table: t0001

Create Table: CREATE TABLE `t0001` (

`a` int(11) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=latin1

1 row in set (0.00 sec)

[zhuxu@xentest8-vm1 ~]$ sudo lsof -u mysql | grep /home/mysql/mysql-5.1.47/data/test/

mysqld    14683 mysql   33uW REG              253,1     98304 87851074 /home/mysql/mysql-5.1.47/data/test/t0001.ibd

2.2.2

对于innodb存储引擎，table cache对其影响其实不是很大，innodb有自己的数据字典，可以缓存相关表信息。

其他相关资料：

（1）在<High.Performance.MySQL>中的The InnoDB Data Dictionary（P280页）中描述：

InnoDB has its own per-table cache, variously called a table definition cache or data dictionary, which you cannot configure. When InnoDB opens a table, it adds a corresponding object to the data dictionary. Each table can take up 4 KB or more of memory (although much less space is required in MySQL 5.1). Tables are not removed from the data dictionary when they are closed.

The main performance issue—besides memory requirements—is opening and computing statistics for the tables, which is expensive because it requires a lot of I/O. In contrast to MyISAM, InnoDB doesn’t store statistics in the tables permanently; it recomputes them each time it starts. This operation is serialized by a global mutex in current versions of MySQL, so it can’t be done in parallel. If you have a lot of tables, your server can take hours to start and fully warm up, during which time it might not be doing much other than waiting for one I/O operation after another. We mention this to make sure you know about it, even though there’s nothing you can do to change it. It’s normally a problem only when you have many (thousands or tens of thousands) large tables, which cause the process to be I/O-bound.

If you use InnoDB’s innodb_file_per_table option (described later in “Configuring the tablespace” on page 291), there’s also a separate limit on the number of .ibd files InnoDB can keep open at any time. This is handled by the InnoDB storage engine, not the MySQL server, and is controlled by innodb_open_files. InnoDB doesn’t open files the same way MyISAM does: whereas MyISAM uses the table cache to hold file descriptors for open tables, in InnoDB there is no direct relationship between open tables and open files. InnoDB uses a single, global file descriptor for each .ibd file. If you can afford it, it’s best to set innodb_open_files large enough that the server can keep all .ibd files open simultaneously.

（2）<How innodb_open_files affects performance>

（3）<SHOW OPEN TABLES – what is in your table cache>里面有一句描述：

Note however if you’re starting MySQL Command line client without “-A” option it opens all tables in the active database to allow tab completion which can screw results.

在实际的测试中，对于5.0.67-log版本会出现上面的情况，对于5.1版本的测试，上面的现象是不存在。

–EOF–

【Linux】free命令

orzdba — Thu, 10 Mar 2011 05:12:42 +0000

记录linux下，free命令的执行结果的意思：

[zhuxu@xentest8-vm1 ~]$ free

total used free shared buffers cached

Mem: 4194304 4164812 29492 0 248892 2148968

-/+ buffers/cache: 1766952 2427352

Swap: 524280 343820 180460

（1）第一行（Mem）中，

total：代表总的内存大小。

used ：代表已经使用的内存大小，其中buffers和cached的值已经包含在used里面。

free ：代表未分配使用的内存大小。

其中：

total = used + free = 4164812 + 29492 = 4194304

这边的used可以理解为从操作系统层面使用的内存大小（包括缓存）。

shared ：代表共享的内存大小。

buffers：代表Buffer Cache使用内存的大小。

cached ：代表Page Cache使用内存的大小。

其中：

Buffer Cache和Page Cache都是为了操作系统为了提高磁盘读取的速度，进行的缓存，是可以释放使用的内存。

二者区别（来自http://www.penglixun.com/tech/system/buffer_and_cache_diff.html）：

Buffer Cache以块形式缓冲了块设备的操作，定时或手动的同步到硬盘，它是为了缓冲写操作然后一次性将很多改动写入硬盘，避免频繁写硬盘，提高写入效率。

Page Cache以页面形式缓存了文件系统的文件，给需要使用的程序读取，它是为了给读操作提供缓冲，避免频繁读硬盘，提高读取效率。

（2）第二行（-/+ buffers/cache）中，

used：即 – buffers/cache 的内存大小：used（第一行） –buffers –cached = 4164812 – 248892 – 2148968 = 1766952

free：即 + buffers/cache 的内存大小: free（第一行） + buffers + cached = 29492 + 248892 + 2148968 = 2427352

其中：

这边的used可以理解为应用程序使用的内存大小（不包括缓存）。

这边的free也就是真正的可以使用的剩余内存大小。

另外，可以通过watch命令来动态的显示，下面每0.5s执行一次free命令，并高亮显示变化的地方：

[zhuxu@dbadb1 ~]$ watch –help

Usage: watch [-dhntv] [--differences[=cumulative]] [--help] [--interval=] [--no-title] [--version]

-d, –differences[=cumulative] highlight changes between updates

(cumulative means highlighting is cumulative)

-h, –help print a summary of the options

-n, –interval= seconds to wait between updates

-v, –version print the version number

-t, –no-title turns off showing the header

[zhuxu@dbadb1 ~]$

[zhuxu@dbadb1 ~]$ watch -d -n 0.5 free

–

【Linux】内存段页式管理笔记

orzdba — Tue, 08 Mar 2011 11:22:09 +0000

【MySQL】Innodb的多版本一致性读

orzdba — Mon, 07 Mar 2011 17:17:06 +0000

在前面Innodb事务隔离级别中可以看到，在Innodb默认的的重复读（repeatable read）事物隔离级别下，可以实现重复读。和串行读（serializable）事物隔离级别实现重复读不同的是，串行读（serializable）为实现重复读，会在SELECT的时候隐式的对行添加共享读锁。而Innodb在实现过程并不对行加锁，而是通过使用多版本并发控制（MVCC,Multiviersion Concurrency Control）的技术来实现Consistent Nonlocking Reads。

关于Innodb的多版本一致性读的实现机制和Oracle的实现很类似，都是通过rollback segment来实现的，具体如下说明：

1、rollback segment的存放位置

在Innodb的逻辑存储结构中也有表空间tablespace/segment/extent的概念，具体结构层次见下图（图片来自<InnoDB Internals: InnoDB File Formats and Source Code Structure>）。默认情况下，所有的数据都放到共享表空间ibdata1中，如果启用了参数innodb_file_per_table的话，每张表内的数据可以放到自己独立的放到一个表空间中。不管是否开启该参数，rollback segment都是存放在共享表空间中。

2、rollback segment的作用

rollback segment中存放发生改变行的老版本信息，过程如下图（来自Oracle的一张示图）：

rollback segment主要用于：

（1）当发生事物回滚，需要使用rollback segment中的这些信息用于进行undo操作。

（2）通过这些信息，可以实现对应版本的一致性读，从而实现了在innodb默认隔离级别下的可重复读。

在实现多版本一致性读的时候，Innodb的行会额外增加三个字段DB_TRX_ID/DB_ROLL_PTR/DB_ROW_ID来完成。要查看这3个字段参考之前笔记：《MySQL查看InnoDB存储引擎的表和索引内部结构》。

其他的可以参考：

http://www.mysqlsupport.cn/innodb-multi-version/

另外，看到网上关于Innodb的共享表空间增长迅速，其中主要原因是产生大量的回滚信息:

Running Transaction which does a lot of changes.

Running Very Long Transaction.

Purge Thread Falling Behind.

具体见<Reasons for run-away main Innodb Tablespace>,<Purge Thread Spiral of Death>

【MySQL】Innodb事务隔离级别

orzdba — Wed, 02 Mar 2011 16:36:02 +0000

一、事务隔离级别

ANSI/ISO SQL标准定义了4中事务隔离级别：未提交读（read uncommitted），提交读（read committed），重复读（repeatable read），串行读（serializable）。

对于不同的事务，采用不同的隔离级别分别有不同的结果。不同的隔离级别有不同的现象。主要有下面3种现在：

1、脏读（dirty read）：一个事务可以读取另一个尚未提交事务的修改数据。

2、非重复读（nonrepeatable read）：在同一个事务中，同一个查询在T1时间读取某一行，在T2时间重新读取这一行时候，这一行的数据已经发生修改，可能被更新了（update），也可能被删除了（delete）。

3、幻像读（phantom read）：在同一事务中，同一查询多次进行时候，由于其他插入操作（insert）的事务提交，导致每次返回不同的结果集。

不同的隔离级别有不同的现象，并有不同的锁定/并发机制，隔离级别越高，数据库的并发性就越差，4种事务隔离级别分别表现的现象如下表：

隔离级别	脏读	非重复读	幻像读
read uncommitted	允许	允许	允许
read committed		允许	允许
repeatable read			允许
serializable

二、数据库中的默认事务隔离级别

在Oracle中默认的事务隔离级别是提交读（read committed）。

对于MySQL的Innodb的默认事务隔离级别是重复读（repeatable read）。可以通过下面的命令查看：

mysql> SELECT @@GLOBAL.tx_isolation, @@tx_isolation;

+———————–+—————–+

| @@GLOBAL.tx_isolation | @@tx_isolation |

+———————–+—————–+

| REPEATABLE-READ | REPEATABLE-READ |

+———————–+—————–+

1 row in set (0.00 sec)

下面进行一下测试：

Time	Session 1	Session 2
T1	set autocommit=0;	set autocommit=0;
T2	mysql> select * from tmp_test; +——+———+ \| id \| version \| +——+———+ \| 1 \| 1 \| +——+———+ 1 row in set (0.00 sec)
T3		mysql> update tmp_test set version=2 where id=1; Query OK, 1 row affected (0.02 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> select * from tmp_test; +——+———+ \| id \| version \| +——+———+ \| 1 \| 2 \| +——+———+ 1 row in set (0.00 sec)
T4	mysql> select * from tmp_test; +——+———+ \| id \| version \| +——+———+ \| 1 \| 1 \| +——+———+ 1 row in set (0.00 sec) 【说明】 Session 2未提交，看到数据不变，无脏读。
T5		commit;
T6	mysql> select * from tmp_test; +——+———+ \| id \| version \| +——+———+ \| 1 \| 1 \| +——+———+ 1 row in set (0.00 sec) 【说明】 Session 2已经提交，还是看到数据不变，即可以重复读。
T7	commit;
T8	mysql> select * from tmp_test; +——+———+ \| id \| version \| +——+———+ \| 1 \| 2 \| +——+———+ 1 row in set (0.00 sec) 【说明】提交事务，看到最新数据。
T9		mysql> insert into tmp_test values(2,1); Query OK, 1 row affected (0.00 sec) mysql> select * from tmp_test; +——+———+ \| id \| version \| +——+———+ \| 1 \| 2 \| \| 2 \| 1 \| +——+———+ 2 rows in set (0.00 sec) mysql> commit; Query OK, 0 rows affected (0.00 sec)
T10	mysql> select * from tmp_test; +——+———+ \| id \| version \| +——+———+ \| 1 \| 2 \| +——+———+ 1 row in set (0.00 sec) 【说明】 Session 2的insert事务已经提交，看到的数据和T8的时候一样，即未发生幻象读。
T11	mysql> commit; Query OK, 0 rows affected (0.00 sec) mysql> select * from tmp_test; +——+———+ \| id \| version \| +——+———+ \| 1 \| 2 \| \| 2 \| 1 \| +——+———+ 2 rows in set (0.00 sec) 【说明】事务提交，看到最新数据。

上面的结果可以看到Innodb的重复读（repeatable read）不允许脏读，不允许非重复读（即可以重复读，Innodb使用多版本一致性读来实现）和不允许幻象读（这点和ANSI/ISO SQL标准定义的有所区别）。

另外，同样的测试：

1、当session 2进行truncate表的时候，这个时候session 1再次查询就看不到数据。

2、当session 2进行alter表的时候，这个时候session 1再次查询就看不到数据。

MySQL官方文档中的多版本一致性读中说明了原因：Consistent read does not work over certain DDL statements。

关于Innodb的多版本一致性读将下一篇再来记录。

【Perl】安装Perl的DBI和DBD:mysql模块

orzdba — Thu, 24 Feb 2011 12:26:20 +0000

首先，来一段代码来自NinGoo的检测系统中已经按照的Perl模块:

[zhuxu@xentest9-vm1 ~]$ cat ./check_module.pl

#!/usr/bin/perl

use ExtUtils::Installed;

my $inst = ExtUtils::Installed->new();

print join “\n”,$inst->modules();

print “\n”;

[zhuxu@xentest9-vm1 ~]$

[zhuxu@xentest9-vm1 ~]$ ./check_module.pl

Perl

手动安装模块一般步骤只要到CPAN查找下载模块包，然后：[生成makefile] perl Makefile.PL　[建立模块] make　[测试模块] make test　[安装模块] make　install 。

下面进行Perl的DBI和DBD:mysql模块的安装,模块安装在自定义目录下：

(一) DBI模块的安装

1、下载安装DBI模块

DBI模块的具体下载地址：http://search.cpan.org/~timb/DBI-1.616/，具体如下：

[zhuxu@xentest9-vm1 ~]$ wget http://search.cpan.org/CPAN/authors/id/T/TI/TIMB/DBI-1.616.tar.gz

–22:11:19– http://search.cpan.org/CPAN/authors/id/T/TI/TIMB/DBI-1.616.tar.gz

Resolving search.cpan.org… 212.117.177.118, 194.106.223.155

Connecting to search.cpan.org|212.117.177.118|:80… connected.

HTTP request sent, awaiting response… 302 Found

Location: http://ftp.belnet.be/mirror/ftp.cpan.org/authors/id/T/TI/TIMB/DBI-1.616.tar.gz [following]

–22:11:35– http://ftp.belnet.be/mirror/ftp.cpan.org/authors/id/T/TI/TIMB/DBI-1.616.tar.gz

Resolving ftp.belnet.be… 193.190.67.15, 2001:6a8:a40::21

Connecting to ftp.belnet.be|193.190.67.15|:80… connected.

HTTP request sent, awaiting response… 200 OK

Length: 576803 (563K) [application/x-gzip]

Saving to: `DBI-1.616.tar.gz’

100%[===============================>] 576,803 20.1K/s in 28s

22:12:06 (19.8 KB/s) – `DBI-1.616.tar.gz’ saved [576803/576803]

[zhuxu@xentest9-vm1 ~]$ mkdir -p My_Perl_Module/DBI

[zhuxu@xentest9-vm1 ~]$ tar -zxvf DBI-1.616.tar.gz

[zhuxu@xentest9-vm1 ~]$ cd DBI-1.616

[zhuxu@xentest9-vm1 DBI-1.616]$ perl Makefile.PL PREFIX=”/home/zhuxu/My_Perl_Module/DBI”

[zhuxu@xentest9-vm1 DBI-1.616]$ make

[zhuxu@xentest9-vm1 DBI-1.616]$ make test

[zhuxu@xentest9-vm1 DBI-1.616]$ make install

Installing /home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBI/dbi_sql.h

Installing /home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBI/DBI.so

Installing /home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBI/dbivport.h

…

Installing /home/zhuxu/My_Perl_Module/DBI/bin/dbiproxy

Installing /home/zhuxu/My_Perl_Module/DBI/bin/dbiprof

Installing /home/zhuxu/My_Perl_Module/DBI/bin/dbilogstrip

Writing /home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBI/.packlist

Appending installation info to /home/zhuxu/My_Perl_Module/DBI/lib64/perl5/5.8.8/x86_64-linux-thread-multi/perllocal.pod

[zhuxu@xentest9-vm1 DBI-1.616]$

[zhuxu@xentest9-vm1 DBI]$ cd ~/My_Perl_Module/DBI/

[zhuxu@xentest9-vm1 DBI]$ ll

total 24

drwxr-xr-x 6 zhuxu users 4096 Feb 22 22:23 .

drwxr-xr-x 3 zhuxu users 4096 Feb 22 22:19 ..

drwxr-xr-x 2 zhuxu users 4096 Feb 22 22:23 bin

drwxr-xr-x 3 zhuxu users 4096 Feb 22 22:23 lib

drwxr-xr-x 3 zhuxu users 4096 Feb 22 22:23 lib64

drwxr-xr-x 3 zhuxu users 4096 Feb 22 22:23 share

2、测试使用DBI

[zhuxu@xentest9-vm1 ~]$ cat 1.pl

#!/usr/bin/perl -w

use strict;

use DBI;

[zhuxu@xentest9-vm1 ~]$ ./1.pl

Can’t locate DBI.pm in @INC (@INC contains: /usr/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.7/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.6/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.5/x86_64-linux-thread-multi /usr/lib/perl5/site_perl/5.8.8 /usr/lib/perl5/site_perl/5.8.7 /usr/lib/perl5/site_perl/5.8.6 /usr/lib/perl5/site_perl/5.8.5 /usr/lib/perl5/site_perl /usr/lib64/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.7/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.6/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.5/x86_64-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.8 /usr/lib/perl5/vendor_perl/5.8.7 /usr/lib/perl5/vendor_perl/5.8.6 /usr/lib/perl5/vendor_perl/5.8.5 /usr/lib/perl5/vendor_perl /usr/lib64/perl5/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/5.8.8 .) at ./1.pl line 3.

BEGIN failed–compilation aborted at ./1.pl line 3.

[zhuxu@xentest9-vm1 ~]$ ./check_module.pl

Perl

由于不是安装在默认的路径，这样Perl在默认的模块和库的按照路径下找不到。查看Perl查找的默认路径有那些可以通过命令：perl -e ‘print join “\n”,@INC’ 进行查看。

所以，若要使用安装在非标准目录中的模块，必须使用命令use lib。这时Perl在搜索它自己的目录之前，首先搜索该目录，找出它要的模块。另外，不能将模块在不同操作系统的计算机之间移动。经过编译的模块只能在一种类型的操作系统上运行。

[zhuxu@xentest9-vm1 ~]$ find /home/zhuxu/My_Perl_Module/ -name “*pm” | grep -i DBI.pm

/home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/Bundle/DBI.pm

/home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/DBI.pm

[zhuxu@xentest9-vm1 ~]$

–这样就能执行成功

[zhuxu@xentest9-vm1 ~]$ cat 1.pl

#!/usr/bin/perl -w

use strict;

use lib “/home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi”;

require DBI;

print “Hello World!\n”;

[zhuxu@xentest9-vm1 ~]$

[zhuxu@xentest9-vm1 ~]$ ./1.pl

Hello World!

[zhuxu@xentest9-vm1 ~]$

上面说明DBI模块可以正常使用。

（二）安装Perl DBD::mysql驱动

1、下载安装DBD::mysql模块

Perl连接数据库需要通过DBI模块和相应数据库的DBD驱动，这些可以从CPAN下载相应DBD驱动。我想要连接MySQL,就还需要安装Perl DBD::mysql驱动，下载地址：http://search.cpan.org/~capttofu/DBD-mysql-4.018/，具体如下:

[zhuxu@xentest9-vm1 ~]$ wget http://search.cpan.org/CPAN/authors/id/C/CA/CAPTTOFU/DBD-mysql-4.018.tar.gz

[zhuxu@xentest9-vm1 ~]$ mkdir -p My_Perl_Module/DBD_MySQL

[zhuxu@xentest9-vm1 ~]$ tar -zxvf DBD-mysql-4.018.tar.gz

[zhuxu@xentest9-vm1 ~]$ cd DBD-mysql-4.018

[zhuxu@xentest9-vm1 DBD-mysql-4.018]$ perl Makefile.PL PREFIX=”/home/zhuxu/My_Perl_Module/DBD_MySQL”

Can’t locate DBI/DBD.pm in @INC (@INC contains: /usr/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.7/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.6/x86_64-linux-thread-multi /usr/lib64/perl5/site_perl/5.8.5/x86_64-linux-thread-multi /usr/lib/perl5/site_perl/5.8.8 /usr/lib/perl5/site_perl/5.8.7 /usr/lib/perl5/site_perl/5.8.6 /usr/lib/perl5/site_perl/5.8.5 /usr/lib/perl5/site_perl /usr/lib64/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.7/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.6/x86_64-linux-thread-multi /usr/lib64/perl5/vendor_perl/5.8.5/x86_64-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.8 /usr/lib/perl5/vendor_perl/5.8.7 /usr/lib/perl5/vendor_perl/5.8.6 /usr/lib/perl5/vendor_perl/5.8.5 /usr/lib/perl5/vendor_perl /usr/lib64/perl5/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/5.8.8 .) at Makefile.PL line 24.

这时候报错，Makefile.pl在24行报错，说找不到DBI/DBD.pm模块，这个模块在我们上面自己按照的DBI目录下，需要把路径指定一下。只要在Makefile.pl的第24行添加下面的use lib语句：

23 use File::Basename;

24 use lib “/home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi”;

25 require DBI::DBD;

再执行一次：

[zhuxu@xentest9-vm1 DBD-mysql-4.018]$ perl Makefile.PL PREFIX=”/home/zhuxu/My_Perl_Module/DBD_MySQL”

Can’t exec “mysql_config”: No such file or directory at Makefile.PL line 83.

Cannot find the file ‘mysql_config’! Your execution PATH doesn’t seem

not contain the path to mysql_config. Resorting to guessed values!

Can’t exec “mysql_config”: No such file or directory at Makefile.PL line 465.

Can’t find mysql_config. Use –mysql_config option to specify where mysql_config is located

Can’t exec “mysql_config”: No such file or directory at Makefile.PL line 465.

Can’t find mysql_config. Use –mysql_config option to specify where mysql_config is located

Can’t exec “mysql_config”: No such file or directory at Makefile.PL line 465.

Can’t find mysql_config. Use –mysql_config option to specify where mysql_config is located

….

这个时候可以执行了，不过报新错误。安装DBD::mysql需要配置mysql_config，参考编译x86_64下静态DBD::MySQL模块，安装MYSQL。安装完成后，查找MYSQL安装目录下的mysql_config

[zhuxu@xentest9-vm1 ~]$ sudo ls -l /home/mysql/mysql-5.1.47/bin/mysql_config

-rwxr-xr-x 1 mysql mysql 6188 Feb 23 20:48 /home/mysql/mysql-5.1.47/bin/mysql_config

接下来就可以进行正常的安装了：

[zhuxu@xentest9-vm1 DBD-mysql-4.018]$ sudo perl Makefile.PL PREFIX=”/home/zhuxu/My_Perl_Module/DBD_MySQL” \

> –mysql_config=/home/mysql/mysql-5.1.47/bin/mysql_config

[zhuxu@xentest9-vm1 DBD-mysql-4.018]$ sudo make

[zhuxu@xentest9-vm1 DBD-mysql-4.018]$ sudo make test

[zhuxu@xentest9-vm1 DBD-mysql-4.018]$ sudo make install

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBD/mysql/mysql.bs

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBD/mysql/mysql.so

Files found in blib/arch: installing files in blib/lib into architecture dependent library tree

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/Bundle/DBD/mysql.pm

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/DBD/mysql.pm

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/DBD/mysql/INSTALL.pod

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/DBD/mysql/GetInfo.pm

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/share/man/man3/Bundle::DBD::mysql.3pm

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/share/man/man3/DBD::mysql::INSTALL.3pm

Installing /home/zhuxu/My_Perl_Module/DBD_MySQL/share/man/man3/DBD::mysql.3pm

Writing /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBD/mysql/.packlist

Appending installation info to /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/5.8.8/x86_64-linux-thread-multi/perllocal.pod

[zhuxu@xentest9-vm1 DBD-mysql-4.018]$

在安装目录下查询模块：

[zhuxu@xentest9-vm1 ~]$ find /home/zhuxu/My_Perl_Module/DBD_MySQL -name “*.pm” | grep DBD

/home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/Bundle/DBD/mysql.pm

/home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/DBD/mysql.pm

/home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/DBD/mysql/GetInfo.pm

2、测试使用DBD::mysql

[zhuxu@xentest9-vm1 ~]$ cat 2.pl

#!/usr/bin/perl -w

use strict;

use lib “/home/zhuxu/My_Perl_Module/DBI/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi”;

require DBI;

use lib “/home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi”;

require DBD::mysql; # 这句其实写不写都可以. DBI在需要使用DBD::mysql时候会自己搜索使用.

my $user = “root”;

my $passwd;

my $host = “10.254.5.151″;

my $db = “test”;

my $data_source = “DBI:mysql:database=$db;host=$host”;

my $dbh = DBI->connect($data_source,$user,$passwd,{‘RaiseError’=>1}) ;

my $sql = qq{select now()};

my $sth = $dbh->prepare($sql);

$sth->execute();

my $set;

$sth->bind_columns(undef,\$set);

while($sth->fetch()){

print $set.”\n”;

}

$sth->finish();

$dbh->disconnect();

[zhuxu@xentest9-vm1 ~]$ ./2.pl

Can’t load ‘/home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBD/mysql/mysql.so‘ for module DBD::mysql: libmysqlclient.so.16: cannot open shared object file: No such file or directory at /usr/lib64/perl5/5.8.8/x86_64-linux-thread-multi/DynaLoader.pm line 230.

at ./2.pl line 6

Compilation failed in require at ./2.pl line 6.

执行编译错误，说找不到对应的libmysqlclient.so.16，使用ldd命令查看修复：

[zhuxu@xentest9-vm1 ~]$ ldd /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBD/mysql/mysql.so

libmysqlclient.so.16 => not found

libz.so.1 => /usr/lib64/libz.so.1 (0x00002ad042acc000)

libcrypt.so.1 => /lib64/libcrypt.so.1 (0x00002ad042ce0000)

libnsl.so.1 => /lib64/libnsl.so.1 (0x00002ad042f19000)

libm.so.6 => /lib64/libm.so.6 (0x00002ad043131000)

libc.so.6 => /lib64/libc.so.6 (0x00002ad0433b4000)

/lib64/ld-linux-x86-64.so.2 (0x00000039df600000)

[zhuxu@xentest9-vm1 ~]$ sudo ls -l /home/mysql/mysql-5.1.47/lib/mysql/libmysqlclient.so.16

lrwxrwxrwx 1 mysql mysql 24 Feb 23 20:48 /home/mysql/mysql-5.1.47/lib/mysql/libmysqlclient.so.16 -> libmysqlclient.so.16.0.0

[zhuxu@xentest9-vm1 ~]$

[zhuxu@xentest9-vm1 ~]$ ll /usr/lib64/libmysqlclient.so.16

ls: libmysqlclient.so.16: No such file or directory

[zhuxu@xentest9-vm1 ~]$

[zhuxu@xentest9-vm1 ~]$ sudo cp /home/mysql/mysql-5.1.47/lib/mysql/libmysqlclient.so.16 /usr/lib64/libmysqlclient.so.16

[zhuxu@xentest9-vm1 ~]$ ll /usr/lib64/libmysqlclient.so.16

-rwxr-xr-x 1 root root 1498934 Feb 23 21:48 /usr/lib64/libmysqlclient.so.16

[zhuxu@xentest9-vm1 ~]$ ldd /home/zhuxu/My_Perl_Module/DBD_MySQL/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/DBD/mysql/mysql.so

libmysqlclient.so.16 => /usr/lib64/libmysqlclient.so.16 (0x00002ae9549a2000)

libz.so.1 => /usr/lib64/libz.so.1 (0x00002ae954c42000)

libcrypt.so.1 => /lib64/libcrypt.so.1 (0x00002ae954e56000)

libnsl.so.1 => /lib64/libnsl.so.1 (0x00002ae95508f000)

libm.so.6 => /lib64/libm.so.6 (0x00002ae9552a7000)

libc.so.6 => /lib64/libc.so.6 (0x00002ae95552a000)

/lib64/ld-linux-x86-64.so.2 (0x00000039df600000)

[zhuxu@xentest9-vm1 ~]$

[zhuxu@xentest9-vm1 ~]$ ./2.pl

2011-02-23 21:52:52

终于可以执行了。

为啥我安装模块这么折腾，这么费劲，真蛋疼。=_=~

【Shell】awk列汇总/正则匹配变量

orzdba — Sun, 28 Nov 2010 09:07:16 +0000

记录一下，本周工作中用到的Shell处理脚本：

eg1：AWK匹配列汇总：

– (1)

[zhuxu@dbadb1 tmp]$ cat temp.log | grep “Query OK” |head

Query OK, 21401 rows affected (10.00 sec)

Query OK, 15560 rows affected (1.40 sec)

Query OK, 23588 rows affected (14.07 sec)

Query OK, 15249 rows affected (1.80 sec)

Query OK, 22519 rows affected (13.02 sec)

Query OK, 15535 rows affected (1.51 sec)

Query OK, 23665 rows affected (12.40 sec)

Query OK, 15676 rows affected (1.57 sec)

Query OK, 24608 rows affected (12.65 sec)

Query OK, 15159 rows affected (1.85 sec)

– (2)

[zhuxu@dbadb1 tmp]$ cat temp.log | grep “Query OK” | awk -F”[ (]” ‘BEGIN{rows=0;times=0} {rows+=$3;times+=$7} END{print “\nTotal rows: “rows,”\nTotal Times(min): “times/60″\n”}’

Total rows: 9990253

Total Times(min): 76.8903

[zhuxu@dbadb1 tmp]$

eg2：AWK列分组GRUP BY汇总SUM：

$head zx.log

2011-01-19 10

2011-01-19 10

2011-01-19 100

2011-01-19 1042

2011-01-19 10422

2011-01-19 1059

2011-01-19 1059

2011-01-19 10887

2011-01-19 1140

2011-01-19 11724

$awk ‘{name[$1]+=$2;sum+=$2} END {for(i in name) print i,name[i];print “=====> Total:”,sum,”<=====”;}’ zx.log | sort -k1 -M

2011-01-19 496582

2011-01-20 1039690

2011-01-21 364867

2011-01-22 1200747

2011-01-23 112981

2011-01-24 465766

2011-01-25 1081170

2011-01-26 1111863

2011-01-27 335430

2011-01-28 450190

2011-01-29 120003

2011-01-30 99402

2011-01-31 262238

2011-02-01 240861

2011-02-02 181618

2011-02-03 145767

2011-02-04 133216

2011-02-05 100355

2011-02-06 99856

2011-02-07 138638

2011-02-08 142822

2011-02-09 511951

2011-02-10 496962

2011-02-11 669015

2011-02-12 1750215

2011-02-13 629162

=====> Total: 12381367 <=====

eg3：脚本正则匹配变量：

#!/usr/local/bin/bash

# Func : Match

v_host=abcdef123.cm3.cm4

if [[ $v_host =~ '\.cm3$' ]] ; #查看变量是否以”.cm3″字符串结束。

then

echo ‘This is cm3!’;

elif [[ $v_host =~ '\.cm4$' ]] ;

then

echo ‘This is cm4!’;

else

echo ‘Error! Wrong Host’;

fi

【MySQL】INSERT … ON DUPLICATE KEY UPDATE/REPLACE

orzdba — Sun, 28 Nov 2010 08:48:12 +0000

INSERT … ON DUPLICATE KEY UPDATE/REPLACE都可以处理插入一条记录碰到主键或唯一性约束冲突的情况，不过2者的实现方式不同：
1、INSERT … ON DUPLICATE KEY UPDATE方式遇到冲突会update一下。
2、REPLACE方式遇到冲突会把原来的记录delete，然后再insert进去。

具体见下面的测试：

– (1)表结构和数据

mysql>show create table test\G;

*************************** 1. row ***************************

Table: test

Create Table: CREATE TABLE `test` (

`pk_col` int(11) NOT NULL AUTO_INCREMENT,

`uk_col` int(11) DEFAULT NULL,

`col` varchar(10) DEFAULT NULL,

PRIMARY KEY (`pk_col`),

UNIQUE KEY `uk_test` (`uk_col`)

) ENGINE=InnoDB DEFAULT CHARSET=gbk

1 row in set (0.00 sec)

mysql>select * from test;

+——–+——–+——+

| pk_col | uk_col | col |

+——–+——–+——+

|      1 |      1 | a    |

|      2 |      2 | b    |

|      3 |      3 | c    |

+——–+——–+——+

3 rows in set (0.00 sec)

– (2)插入重复值

mysql>insert into test(uk_col,col) values(3,’d');

ERROR 1062 (23000): Duplicate entry ’3′ for key ‘uk_test’

– (3)on duplicate key update方式插入，这时候记录的自增主键值不变，其他字段更新。

mysql>insert into test(uk_col,col) values(3,’d') on duplicate key update col=’d';

Query OK, 2 rows affected (0.00 sec)

mysql>select * from test;

+——–+——–+——+

| pk_col | uk_col | col |

+——–+——–+——+

|      1 |      1 | a    |

|      2 |      2 | b    |

|      3 |      3 | d |

+——–+——–+——+

3 rows in set (0.00 sec)

– (4)replace方式插入，这时候记录的自增主键值改变，原记录被删除。pk_col变成6不是4，是由于上次2次insert语句，导致auto_crement增加。

mysql>replace test(uk_col,col) values(3,’d');

Query OK, 2 rows affected (0.00 sec)

mysql>select * from test;

+——–+——–+——+

| pk_col | uk_col | col |

+——–+——–+——+

|      1 |      1 | a    |

|      2 |      2 | b    |

|      6 |      3 | d |

+——–+——–+——+