-
Python3 深拷贝和浅拷贝的区别和原理
所属栏目：[大数据] 日期：2021-07-06 热度：188
首先，我们知道在 Python3 中，有 6 个标准的数据类型，他们又分为可变和不可变 不可变数据类型（3个） Number（数字） String（字符串） Tuple（元组） 可变数据类型（3个） List（列表） Dictionary（字典） Set（集合） 在 Python 中，其实是没有那种传统[详细]
-
Python3 导出和导入环境安装包
所属栏目：[大数据] 日期：2021-07-06 热度：172
开发完 Python 项目后，项目中有很多的依赖包都是自己安装的，为了解决环境问题，我们将依赖包导出来，然后通过程序运行时自动安装这些依赖包来保证环境正常 1.导出Python环境安装包 pip freeze pip_list.txt 这将会创建一个 pip_list.txt 文件，其中包含了[详细]
-
Python3 永久添加环境变量
所属栏目：[大数据] 日期：2021-07-06 热度：200
Python 项目在运行时需要各类内置包和第三方包， import * 包的时候 Python 运行环境会从以系统级 list 查询，有的时候我们需要将自己项目下的库添加到运行环境中，有两种方式可以添加 1. 添加临时环境变量 import syssys.path.append(path) 但项目或 shell[详细]
-
Python3 fake_useragent 模块的使用和报错解决方案
所属栏目：[大数据] 日期：2021-07-06 热度：128
在使用 Python 做爬虫的时候，我们需要伪装头部信息骗过网站的防爬策略，Python 中的第三方模块 fake_useragent 就很好的解决了这个问题，它将给我们返回一个随机封装了好的头部信息，我们直接使用即可 fake_useragent 的使用 安装 fake_useragent pip insta[详细]
-
Python3 操作 MySQL 插入一条数据并返回主键 id
所属栏目：[大数据] 日期：2021-07-06 热度：65
Python 中貌似并没有直接返回插入数据 id 的操作（反正我是没找到），但是我们可以变通一下，找到最新插入的数据 #!/usr/bin/env python3# -*- coding: UTF-8 -*-import pyMysqL db = pyMysqL.connect(**db_conf)cursor = db.cursor()cursor.execute(sql)#[详细]
-
Python3 常用加密算法（md5、sha1、base64）
所属栏目：[大数据] 日期：2021-07-06 热度：152
MD5 MD5的全称是Message-Digest Algorithm 5（信息-摘要算法）。128位长度。目前MD5是一种不可逆算法，具有很高的安全性。它对应任何字符串都可以加密成一段唯一的固定长度的代码 SHA1 SHA1的全称是Secure Hash Algorithm(安全哈希算法) 。SHA1基于MD5，加密[详细]
-
Python3 requests 请求 https 报错 [SSL: CERTIFICATE_VERIFY_FA
所属栏目：[大数据] 日期：2021-07-06 热度：58
因为在请求 https 的时候需要带上 CA 证书，如果没有证书就会报错 如果需要请求 https 就需要先下载证书，然后在请求的时候讲证书带上 详情参考官方文档：http://cn.python-requests.org/zh_CN/latest/ 还可以使用一种偷懒的方式（不建议这样做），就是忽略[详细]
-
PyCharm 文件名和目录颜色所代表的含义
所属栏目：[大数据] 日期：2021-07-06 热度：98
文件 绿色：已经加入版本控制暂未提交 红色：未加入版本控制 蓝色：加入版本控制，已提交，有改动 白色：加入版本控制，已提交，无改动 灰色：版本控制已忽略文件 目录 黑色：目录中文件不为空 暗绿色：目录中文件为空[详细]
-
Python3 MongoDB 数据库模糊查询
所属栏目：[大数据] 日期：2021-07-06 热度：140
pymongo 模糊查找是通过正则来实现的，正则有两种可选方案 使用 Python 标准库中的 re 模块 使用 pymongo 中的 $regex 方法 data = self.collection.find({'catch_time': re.compile(start_date)}) data = self.collection.find({'catch_time': {'$regex': c[详细]
-
PyCharm 快捷键键盘图解
所属栏目：[大数据] 日期：2021-07-06 热度：152
-
sqlite3 设置返回值为字典类型
所属栏目：[大数据] 日期：2021-07-06 热度：175
数据库返回默认是以 tuple 类型返回（为了安全起见），但有时候元组返回很不方便，如果能以字典的形式返回那就太棒了~ MysqL 设置返回字典类型是在连接数据库时设置 cursorclass = pyMysqL.cursors.DictCursor 即可 但是 sqlite3 数据库没有内置返回字典的方[详细]
-
Python3 生成随机数、随机字符串
所属栏目：[大数据] 日期：2021-07-06 热度：102
#!/usr/bin/python# -*- coding: UTF-8 -*-import randomimport string# 随机整数：print random.randint(1,50)# 随机选取0到100间的偶数：print random.randrange(0,101,2)# 随机浮点数：print random.random()print random.uniform(1,10)# 随机字符：print[详细]
-
用 Python 和 Pygame 写游戏 - 从入门到精通（目录）
所属栏目：[大数据] 日期：2021-07-06 热度：129
目光博客一开始，就有一个将pygame好好介绍一遍的宏伟计划，历时四个月，在各位朋友的关怀鞭策下，如今（2011/8/26）理论学习的部分似乎已经都完成了，在次列一个目录，方便查询。介绍还不是很全，下次有时间补充完整一些。 python.cn也有一个目录在这里，这[详细]
-
Python3 解决 Json 无法解析 datetime 格式数据
所属栏目：[大数据] 日期：2021-07-06 热度：83
因为 Json 格式是由 JavaScript 对象为基础创建的轻量级数据格式，而 JS 没有 datetime 数据类型，所以在 Python 中使用 json.dumps 会报错（至于为什么会出现 datetime 格式的数据，最常见的是请求 MysqL 数据库时，数据库给返回的是 datetime 格式的数据）[详细]
-
Python3 Tornado 如何开启多进程模式
所属栏目：[大数据] 日期：2021-07-06 热度：148
先来看一个 Tornado 示例： #!/usr/bin/env python3# -*- coding: UTF-8 -*-from tornado.ioloop import IOLoop as Runfrom tornado.web import RequestHandler,Applicationclass MainHandler(RequestHandler): def get(self): self.write("hello worldn")a[详细]
-
为什么 Tornado 在部署的时候不需要使用 uWSGI
所属栏目：[大数据] 日期：2021-07-06 热度：50
熟悉 Python 的 Django、Flask 等 Web 框架的小伙伴下部署的时候一定会用到 uWSGI 或者 gunicorn 服务器，然后使用 Nginx 做反向代理，那么在部署为什么 Tornado 在部署的时候不需要使用 uWSGI？ 那是 Django、Flask 自带的 web server 的目的就是用于开发，[详细]
-
Python3 处理图片库 PIL
所属栏目：[大数据] 日期：2021-07-06 热度：139
PIL 是 Python 的内置库，我们直接 import 引入即可使用 from PIL import Image 1. 读取图片 # 打开图片文件img = Image.open('baidu.jpg')img.show() 2. 裁剪图片 找到图片的像素有很多种方式，我们以 PS 为例，打开图片直接按快捷键 F8,或者手动打开菜单的[详细]
-
Python3 从 URL 中提取域名、路径、参数等数据
所属栏目：[大数据] 日期：2021-07-06 热度：71
Python3 可谓是做爬虫的利器，既然是利器就能想你所想，比如我们如何从 URL 中提取域名、路径、参数等数据呢？ 正则 正则是可以！不过在程序界一直流传着一个说法。有一个程序我们用正则写吧，那么你就有两个问题了。。。 除了正则，Python 标准模块 urllib[详细]
-
Python3 sandman2 模块
所属栏目：[大数据] 日期：2021-07-06 热度：167
一个 Python 语言的数据库适配库，可以为各种数据库自动生成 RESTful 接口 GitHub 地址：https://github.com/jeffknupp/sandman2[详细]
-
Python3 如何开发带命令行的软件包
所属栏目：[大数据] 日期：2021-07-06 热度：80
PyPi（Python Package Index）是一个用于存储 Python 写成的软件包的软件存储库，我们平时用pip安装的库就是来自于 PyPi。 我们先来写一个最简单的包，整体代码结构如下： .├── README.md├── demo│ └── __init__.py└── setup.py 代码结构中有一[详细]
-
Python3 搭建本地 PyPi 源
所属栏目：[大数据] 日期：2021-07-06 热度：117
搭建本地 PyPi 源的方式有很多，也有很多软件，较常用就是在官方 PyPi 中自带的 pypiserver 包。 1.安装 pypiserver pip install pypiserver 2.启动 pypiserver pypi-server 3.上传 Python 包 将我们打包好的 Python 包放到 ~/packages 目录下，tar 和 whl[详细]
-
Python3 解决 YAMLLoadWarning: calling yaml.load() 报错
所属栏目：[大数据] 日期：2021-07-06 热度：167
在读取 yaml 文件时出现警告： YAMLLoadWarning: calling yaml.load() without Loader=... is deprecated,as the default Loader is unsafe. 这是因为 YAML 5.1 版本后弃用了 yaml.load(file) 这个用法，因为觉得很不安全， 5.1 版本之后就修改了需要指定 Lo[详细]
-
python3 异步消息队列 RQ 处理
所属栏目：[大数据] 日期：2021-07-06 热度：52
rq 是 Redis Queue 的缩写， 一个基于 Redis 的简单、轻量的异步消息队列工具。 如果在网站中用户发起一个用时很久的请求，如果用同步的方式，服务器就会返回超时。这时候就需要用异步请求，用户发起请求后，服务端把作业扔给另一个进程去执行，然后立刻返回[详细]
-
PyMySQL 1054 Unknown column None in field list 报错解决
所属栏目：[大数据] 日期：2021-07-06 热度：82
错误很明显，就是告诉你 sql 没有 None 这个关键字。 None 是 Python 语言的空值表示，所以，我们需要将 Python 中的空替换为 sql 中的空即可。 sql = sql.replace("'None'","NULL").replace("None","NULL")[详细]
-
Python3 IP 处理库 IPy
所属栏目：[大数据] 日期：2021-07-06 热度：85
一、安装 pip install IPy 二、使用 1. IP基本使用 from IPy import IP ip = IP('192.168.1.0/30') [i for i in ip][IP('192.168.1.0'),IP('192.168.1.1'),IP('192.168.1.2'),IP('192.168.1.3')] ip.len()4 2. IP版本 IP('192.168.1.0').version()4 IP('::1'[详细]
