主要出于安全考虑,数据库服务器只允许堡垒机通过ssh访问,这对日常的使用带来了麻烦。问题是这样的,MySQL数据库放在了服务器A上,只允许服务器B来访问,而我在机器C上,可以通过ssh连接服务器B。为了解决在机器C上连接mysql这个问题
- pip install sshtunnel
- pip install mysqlclient
-
- import MySQLdb
- from sshtunnel import SSHTunnelForwarder
-
- with SSHTunnelForwarder(
- ('sshhost.domain.com', 22), # B机器的配置--跳板机
- ssh_password="sshpasswd", # B机器的配置--跳板机账号
- ssh_username="sshusername", # B机器的配置--跳板机账户密码
- remote_bind_address=('mysqlhost.domain.com', 3306)) as server: # A机器的配置-MySQL服务器
-
- conn = MySQLdb.connect(host='127.0.0.1', # 此处必须是必须是127.0.0.1,代表C机器
- port=server.local_bind_port,
- user='user', # A机器的配置-MySQL服务器账户
- passwd='password', # A机器的配置-MySQL服务器密码c
- db='dbname', # 可以限定,只访问特定的数据库,否则需要在mysql的查询或者操作语句中,指定好表名
- charset='utf8' # 和数据库字符编码集合,保持一致,这样能够解决读出数据的中文乱码问题
- )
-
- # -*- coding:utf-8 -*-
- import pymysql
- from sshtunnel import SSHTunnelForwarder
-
-
- with SSHTunnelForwarder(
- ('*.*.*.*', 32), # 指定ssh登录的跳转机的address,端口号
- ssh_username="log", # 跳转机的用户名
- ssh_pkey="C:/Users/WYXCz/.ssh/id_rsa", # 私钥路径
- ssh_private_key_password="m5!nf", # 跳转机的用户密码
- remote_bind_address=('*.*.*.*', 3306)) as server: # mysql服务器的address,端口号
- conn = pymysql.connect(host='127.0.0.1', # 此处必须是是127.0.0.1
- port=server.local_bind_port,
- user='crawl_data', # 数据库用户名
- passwd='aJn', # 数据库密码
- db='crawl_data' # 数据库名称
- )
-
- cursor = conn.cursor()
- # 使用 execute() 方法执行 SQL 查询
- cursor.execute("SELECT VERSION();")
-
- # 使用 fetchone() 方法获取单条数据.
- data = cursor.fetchone()
-
- print("Database version : %s " % data)
- # 关闭数据库连接
- cursor.close()
-
然后接下来的查询什么的,直接写在with那里边,与conn对齐就可以了。
我们要注意的一个问题,我们对于数据库连接这一部分,往往是在一个单独的函数里,与其他数据库的查询插入删除更新操作往往不在一起,这样的话,with as 有个特点就是,离开这块作用域,对象就被销毁掉了,别的函数里是没法用的,也就会出现一种情况是,连接上了,但是对象又给销毁掉了,结果查询的时候直接显示这个错误:OperationalError: (2006, ‘MySQL server has gone away’), 而网上查询这个错误,多半说的是因为你查询的 sql操作的时间过长,或者是传送的数据太大 ,但是我这个地方实际上就是因为出了with as 的作用域,导致连接又给关闭掉了,所以出现这样的结果。
解决方法:将SSHTunnelForwarder出来的对象赋值给server,然后启动server,然后进行一系列操作之后,再stop掉。
这样连接数据库我们就写成了一个单独的函数,改了之后,直接也还放在这个函数里就好了,替代原来的connect语句。
- def connect(self):
- '''
- self.client = MySQLdb.connect(host=self.server, port=self.port, user=self.user,
- passwd=self.password, db=self.database,
- charset=self.charset)
- # log.info('Connect to MySQL Server: ' + self.server)
- '''
-
- server = SSHTunnelForwarder(
- ('sshhost.domain.com', 22), # B机器的配置
- ssh_password='ssh_password',
- ssh_username='ssh_username',
- remote_bind_address=('mysqlhost.domain.com', mysql.port)
- )
- server.start()
-
- self.client = MySQLdb.connect(host='127.0.0.1', # 此处必须是是127.0.0.1
- port=server.local_bind_port,
- user='username',
- passwd='password',
- db='dbname')
-
- server.close()#最后一定要server.close(),不然程序不会结束
-