-
![[公告]Senparc.Weixin v4.7.0 升级说明（2016-08-08）](https://www.beijidao.com.cn/e/data/images/notimg.gif)
[公告]Senparc.Weixin v4.7.0 升级说明（2016-08-08）
所属栏目：[大数据] 日期：2021-07-06 热度：108
本次升级包含了除QY以外所有的类库，升级内容包括： 1、重构Conatainer结构，删除 ItemCollection 属性，直接使用ContainerBag加入到缓存； 2、重构IContainerCacheStragegy缓存策略，提高了缓存效率，尤其是分布式缓存； 3、Open中的所有Container都转移到S[详细]
-
使用python的os.walk()对目标路径进行遍历
所属栏目：[大数据] 日期：2021-07-06 热度：82
需求背景 在使用python处理和扫描系统文件的过程中，经常要使用到目录或者文件遍历的功能，这里通过引入 os.walk() 的功能直接来实现这个需求。 使用示例 由于功能模块本身比较简单，这里直接提供一个简单示例供参考： # walker.pyimport osd = []f = []for[详细]
-
善用tempfile库创建python进程中的临时文件
所属栏目：[大数据] 日期：2021-07-06 热度：196
技术背景 临时文件在python项目中时常会被使用到，其作用在于随机化的创建不重名的文件，路径一般都是放在Linux系统下的 /tmp 目录。如果项目中并不需要持久化的存储一个文件，就可以采用临时文件的形式进行存储和读取，在使用之后可以自行决定是删除还是保[详细]
-
Python模块化编程与装饰器
所属栏目：[大数据] 日期：2021-07-06 热度：101
Python的模块化编程 我们首先以一个例子来介绍模块化编程的应用场景，有这样一个名为 requirements.py@H_404_4@的python3文件，其中两个函数的作用是分别以不同的顺序来打印一个字符串： # requirements.pydef example1(): a = 'hello world!' print (a) pri[详细]
-
使用line_profiler对python代码性能进行评估优化
所属栏目：[大数据] 日期：2021-07-06 热度：108
性能测试的意义 在做完一个python项目之后，我们经常要考虑对软件的性能进行优化。那么我们需要一个软件优化的思路，首先我们需要明确软件本身代码以及函数的瓶颈，最理想的情况就是有这样一个工具，能够将一个目标函数的代码每一行的性能都评估出来，这样我[详细]
-
使用fdopen对python进程产生的文件进行权限最小化配置
所属栏目：[大数据] 日期：2021-07-06 热度：171
需求背景 用python进行文件的创建和读写操作时，我们很少关注所创建的文件的权限配置。对于一些安全性较高的系统，如果我们创建的文件权限其他用户或者同一用户组里的其他用户有可读权限的话，有可能导致不必要的信息泄漏的风险。因此，除了创建一个更加安全[详细]
-
学习率衰减加冲量优化的梯度下降法Python实现方案
所属栏目：[大数据] 日期：2021-07-06 热度：181
应用场景 优化算法经常被使用在各种组合优化问题中。我们可以假定待优化的函数对象 (f(x)) 是一个黑盒，我们可以给这个黑盒输入一些参数 (x_0,x_1,...) ，然后这个黑盒会给我们返回其计算得到的函数值 (f(x_0),f(x_1),...) 。我们的最终目的是得到这个[详细]
-
python3使用myqr生成链接二维码
所属栏目：[大数据] 日期：2021-07-06 热度：66
技术背景 二维码技术在各个领域中都已经有非常成熟的应用，比如随处可见的二维码支付，比如疫情期间的绿码，再比如工业领域中，可以使用二维码作为定位的标签，大大提升了室内定位技术的精确度。二维码的格式内容大致如下图所示（图片来自于参考链接2）： 有[详细]
-
python3使用cv2对图像进行基本操作
所属栏目：[大数据] 日期：2021-07-06 热度：171
技术背景 在机器视觉等领域，最基本的图像处理处理操作，可以通过 opencv 这个库来实现。opencv提供了python的接口，所需安装的库为 opencv-python ，但是在库的导入的时候一般用的是 import cv2 ，因此很多也把opencv-python简称为 cv2 。 cv2的安装 如果是[详细]
-
使用timeout-decorator为python函数任务设置超时时间
所属栏目：[大数据] 日期：2021-07-06 热度：187
需求背景 在python代码的实现中，假如我们有一个需要执行时间跨度非常大的for循环，如果在中间的某处我们需要定时停止这个函数，而不停止整个程序。那么初步的就可以想到两种方案：第一种方案是我们先预估for循环或者while中的每一步所需要的运行时间，然后[详细]
-
python3表格数据处理
所属栏目：[大数据] 日期：2021-07-06 热度：186
@H_404_0@技术背景 数据处理是一个当下非常热门的研究方向，通过对于大型实际场景中的数据进行建模，可以用于预测下一阶段可能出现的情况。比如我们有过去的2002年-2018年的黄金价格的数据： 该数据来源于Gitee上的一个开源项目。其中包含有：时间、开盘价、[详细]
-
使用numba加速python科学计算
所属栏目：[大数据] 日期：2021-07-06 热度：121
技术背景 python作为一门编程语言，有非常大的生态优势，但是其执行效率一直被人诟[详细]
-
使用python的虚拟环境virtualenv
所属栏目：[大数据] 日期：2021-07-06 热度：136
技术背景 在前面几篇博客中我们介绍了容器的使用（博客1、博客2、博客3、博客4、博客5），容器是一种系统级的隔离方案，更多的强调资源上的隔离。而这里我们要介绍的python的虚拟环境，更加强调的是依赖的管理。假如一个python项目需要依赖于 numpy==1.20.1[详细]
-
python3使用json、pickle和sqlite3持久化存储字典对象
所属栏目：[大数据] 日期：2021-07-06 热度：178
技术背景 在各种python的项目中，我们时常要持久化的在系统中存储各式各样的python的数据结构，常用的比如字典等。尤其是在云服务类型中的python项目中，要持久化或者临时的在缓存中储存一些用户认证信息和日志信息等，最典型的比如在数据库中存储用户的toke[详细]
-
Python基础之告警定义与告警抑制
所属栏目：[大数据] 日期：2021-07-06 热度：149
技术背景 在前面一篇博客中我们介绍了在python中自定义异常以及异常的捕获。这里我们要介绍另外一种形式的用户提醒：告警。我们这里就不给出一些过于官方或者技术的定义了，在实际项目中的使用场景主要有这么一点区别：异常信息表示程序中的某一个步骤输入不[详细]
-
python3存储numpy格式的矩阵
所属栏目：[大数据] 日期：2021-07-06 热度：195
技术背景 numpy在python中的地位是相当高的，即使是入门的python使用者也会经常看到这个库的使用。除了替代python自带的列表数据格式list之外，numpy的一大优势是其底层的高性能实现方式，比如前一篇博客中所提到的矢量运算，就是一种基于SIMD的底层运算优化[详细]
-
python3美化表格数据输出结果
所属栏目：[大数据] 日期：2021-07-06 热度：184
技术背景 在前面一篇博客中我们介绍过关于python的表格数据处理方案，这其中的工作重点就是对表格类型的数据进行梳理、计算和展示，本文重点介绍 展示 这个方面的工作。首先我们看一个案例，定义一个数组形式的表格数据： [dechin@dechin-manjaro table]$ ip[详细]
-
python3使用diagrams生成架构图
所属栏目：[大数据] 日期：2021-07-06 热度：112
技术背景 对于一个架构师或者任何一个软件工程师而言，绘制架构图都是一个比较值得学习的技能。这就像我们学习的时候整理的一些Xmind那种思维逻辑图一样，不仅可以帮我们看到组件之间的联系和层级，还能够展示出组件的全貌。虽然我们也可以用Visio或者Edraw[详细]
-
python3查看文件是否存在，以及读、写与执行的属性
所属栏目：[大数据] 日期：2021-07-06 热度：181
技术背景 在使用python对系统文件进行操作的项目中，经常需要用到对本地文件的存在和读写进行判断的操作。最常用的比如 os.exists 函数，可以很方便的判断给定的文件名是否存在于系统中。但是这里我们介绍的是一个更加专业的判断方案： os.access 。使用这个[详细]
-
Manjaro Linux平台用pyinstaller打包python可执行文件
所属栏目：[大数据] 日期：2021-07-06 热度：126
技术背景 当我们创建一个python项目，最终的成果如果希望用户能够不依赖于python源代码也能够正常的执行，就会比较的人性化。因为源代码数量众多，很难让每个用户都自行管理所有的源代码，因此我们需要对源码进行编译构建。对于使用场景不是很复杂的，我们可[详细]
-
Python基础之异常定义
所属栏目：[大数据] 日期：2021-07-06 热度：72
技术背景 在各类python的项目中，总会涉及到项目自身相关的一些约束条件。这些约束条件体现在，当用户输入的参数或者文件不符合项目要求时，就拒绝这个参数的输入并且播报出来，提醒用户自行修改，而这一过程就是python的异常定义与捕获所提供的功能。python[详细]
-
Python3基础之构建setup.py
所属栏目：[大数据] 日期：2021-07-06 热度：63
技术背景 在上一篇博客中，我们介绍了如何使用pyinstaller将python项目打包成一个可执行文件，并且放在系统目录下，让系统用户可以直接识别到我们构造的项目。而python项目中常见的 setup.py 其实也是在执行类似的构建的功能，通过setup.py文件可以将python[详细]
-
PHP 取 Windows 启动时间及计算已启动秒数
所属栏目：[大数据] 日期：2021-07-06 热度：112
PHP项目开发当中有个需求为需要统计 Windows 启动时间及计算已启动秒数，分享一段如何实现PHP 取 Windows 启动时间及计算已启动秒数的PHP代码，希望对你有所帮助。 代码如下： //代码使用nesbot/carbon包//getlastbootuptimeexec(WMICOSGETLastBootUpTime,$o[详细]
-
PHP实现文本快速查找:二分查找法
所属栏目：[大数据] 日期：2021-07-06 热度：192
起因 先说说事情的起因，最近在分析数据时经常遇到一种场景，代码需要频繁的读某一张数据库的表，比如根据地区ID获取地区名称、根据网站分类ID获取分类名称、根据关键词ID获取关键词等。虽然以上需求都可以在原始建表时，通过冗余数据来解决。但仍有部分业务[详细]
-
PHP 接入支付宝公钥证书指南
所属栏目：[大数据] 日期：2021-07-06 热度：119
为了简单快速的接入，在申请支付宝商户后，我们可通过沙箱应用进行测试 准备证书 首先登录支付宝开放平台沙箱环境：开放平台-沙箱环境 在RSA2(SHA256)密钥设置中的加签模式选择公钥证书，然后访问开放平台文档中心 - 签名专区 - 工具下载对应操作系统的支付[详细]
