Python 及爬虫学习笔记

行也成文 11/23/2020 Crawler

# Python 及爬虫学习笔记

# 01. 限定函数参数类型，默认值

python作为一门动态语言，在使用变量之前是不需要进行定义，而是通过动态绑定的方法将变量绑定为某种类型。这样做为我们使用变量时提供了方便，但有时也给我们使用变量时造成了一定的困扰，例如在使用变量时不知道变量的类型，使用函数时不知道该传什么类型·的参数。有时候我们定义函数时也想限定参数类型，本片博文主要就是为了解决定义函数时，如何限定参数的类型。

其实在python中限定函数的类型是很简单的，例如：

def foo(text:'str',max:'int > 0' = 100,min:'int > 0') -> str:

如示，在限定函数参数类型的同时还可以限定参数的范围以及默认值。

# 02. Python 对变量是否为 `None` 的判断

  if X is None:
  #（个人最推荐这种，因为是None才为True，非None的所有数据都为False）

1
2

```
第二种：if not X；
```
1

   if not X is None;
# 第三种： 
# 当X为None,  False, 空字符串"", 0, 空列表\[\], 空字典{}, 空元组()这些时，not X为真，即无法分辨出他们之间的不同。

1
2
3

# 03. python判断字符串或者集合是否为空

最近在看《Effective Python》，里面提到判断字符串或者集合是否为空的原则，原文如下：

Don’t check for empty values (like [] or '') by checking the length (if len(somelist) == 0). Use if not somelist and assume empty values implicity evaluate to False.

意即，不要通过取字符串或者集合的长度来判断是否为空，而是要用not关键字来判断，因为当字符串或集合为空时，其值被隐式地赋为False.

例子如下

>>> somestr=''
>>> sometuple=()
>>> somelist=[]
>>> somedict={}
>>> not somestr
True
>>> not sometuple
True
>>> not somelist
True
>>> not somedict
True
>>>

1
2
3
4
5
6
7
8
9
10
11
12
13

Ps. 集合包括list, tuple, dict

# 04. Python 读取 json 文件

json文件是一种常见的数据存储文件，比txt看着高级点，比xml看着人性化一点。

同时，json作为一种通用协议的文件格式，可以被各种语言方便地读取。所以，json非常适合用来存储结构化的数据。

json的具体介绍和使用规范：https://www.json.org/json-en.html (opens new window)

本文将关于python读取json做一个小小的记录和总结。

# 1. 读取json

一般情况下的json文件，存储的是python中的一个dict。

如在"dabao.json"中有以下内容：

{    "name": "dabao",    "id":123,    "hobby": {        "sport": "basketball",        "book": "python study"    }}

需要读取"dabao.json"的话，python脚本可以这么写：read_json.py

import json
f = open('dabao.json', 'r')
content = f.read()
a = json.loads(content)
print(type(a))
print(a)
f.close()

1
2
3
4
5
6
7

注意，需要先用open来读取文件，再用json.loads()将读取内容转化为python字典。

# 2. python将字典保存成json

直接给代码：

import json
a = {    "name": "dabao",    "id":123,    "hobby": {        "sport": "basketball",        "book": "python study"    }}
b = json.dumps(a)
f2 = open('new_json.json', 'w')
f2.write(b)
f2.close()

1
2
3
4
5
6

首先通过json.dumps()把dict降级为字符串。再将字符串写入json文件中。就是这么简单。

# 05. Python 读写不同编码文本文件

以后整理规范

import os
import codecs
filenames=os.listdir(os.getcwd())
out=file("name.txt","w")
for filename in filenames:
    out.write(filename.decode("gb2312").encode("utf-8"))
    out.close()

1
2
3
4
5
6
7

将执行文件的当前目录及文件名写入到name.txt文件中，以utf-8格式保存

如果采用ANSI编码保存，用如下代码写入即可：

out.write(filename)

# 打开文件并写入

引用codecs模块，对该模块目前不了解。在此记录下方法，有空掌握该模块功能及用法。

import codecsfile=codecs.open("lol.txt","w","utf-8")
file.write(u"我")
file.close()

1
2
3

读取ANSI编码的文本文件和utf-8编码的文件

# 读取ANSI编码文件

建立一个文件test.txt，文件格式用ANSI，内容为:
abc中文
用python来读取

\# coding=gbk  
print open("Test.txt").read()

1
2

结果：abc中文

# 读取utf-8编码文件（无BOM）

把文件格式改成UTF-8：
结果：abc涓枃
显然，这里需要解码：

\# -\*- coding: utf-8 -\*-  
import codecs  
print open("Test.txt").read().decode("utf-8")

1
2
3

结果：abc中文

# 读取utf-8编码文件（有BOM）

某些软件在保存一个以UTF-8编码的文件时，默认会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。在有些软件可以控制是否插入BOM。如果在有BOM的情况下，在读取时需要自己去掉这些字符，python中的codecs module定义了这个常量：

# -*- coding: utf-8 -*-
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
    data = data[3:]
    print(data.decode("utf-8"))

1
2
3
4
5
6

结果：abc中文

在看下面的例子：

# -*- coding: utf-8 -*-
data = open("name_utf8.txt").read()
u=data.decode("utf-8")
print(u[1:])

1
2
3
4

打开utf-8格式的文件并读取utf-8字符串后，解码变成unicode对象。但是会把附加的三个字符同样进行转换，变成一个unicode字符。该字符不能被打印。所以为了正常显示，采用u[1:]的方式，过滤到第一个字符。

注意：在处理unicode中文字符串的时候，必须首先对它调用encode函数，转换成其它编码输出。

# 设置python默认编码

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print(sys.getdefaultencoding())

1
2
3
4

今天碰到了 python 编码问题, 报错信息如下

Traceback (most recent call last):  
  File "ntpath.pyc", line 108, in join  
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

1
2
3

显然是当前的编码为 ascii, 无法解析 0xa1 (十进制为161, 超过上限128). 进入 python console 后, 发现默认编码确实是 ascii, 验证过程为:

在 python2.6 中无法调用 sys.setdefaultencoding() 函数来修改默认编码，因为 python 在启动的时候会调用 site.py 文件，在这个文件中设置完默认编码后会删除 sys 的 setdefaultencoding 方法。不能再被调用了.

在确定sys已经导入的情况下, 可以 reload sys 这个模块之后, 再 sys.setdefaultencoding('utf8')

import sys
reload(sys)
sys.setdefaultencoding("utf-8")
print(sys.getdefaultencoding())

1
2
3
4

确实有效, 根据 limodou 讲解, site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.

上面写的挺啰嗦的.

==================================
如何永久地将默认编码设置为utf-8呢? 有2种方法:
==================================
第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8
第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

import sys    
sys.setdefaultencoding('utf-8')

1
2

既然 sitecustomize.py 能被自动加载, 所以除了设置编码外, 也可以设置一些其他的东西

# 字符串的编码

s1='中文'

像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果是unicode编码，有以下三种方式：

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。
encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

行也成文