分类 标签 存档 黑客派 订阅 搜索

Python 中的 open 和 codecs.open

57 浏览

最近老被编码困扰,多次折腾之后,感觉 python 的编解码做得挺好的,只要了解下边的流程,一般都能解决

input 文件 (gbk, utf-8...) ----decode-----> unicode -------encode------> output 文件 (gbk, utf-8...)
很多文本挖掘的 package 是在 unicode 上边做事的,比如 nltk. 所以开始读入文件后要 decode 为 unicode 格式,可以通过下边两步:

f=open('XXXXX', 'r')
content=f.read().decode('utf-8')

更好的方法是使用 codecs.open 读入时直接解码:

f=codecs.open(XXX, encoding='utf-8')
content=f.read()

转自: http://f.dataguru.cn/thread-237116-1-1.html

评论  
留下你的脚步
推荐阅读