为了方便记录、收藏,一般情况下,搜索功能会采用http GET方式提供,类似的URL:
/search?keyword=测试
整个webapp统一采用UTF-8格式编码(包括页面Content-Type)
<meta http-equiv="Content-Type" content="text/html;charset=utf-8"/>
在获取keyword参数的时候,页面表单的提交的参数将会是预期的编码格式,但是如果是直接用“/search?keyword=测试”通过浏览器地址栏访问,浏览器将会根据系统环境(设置)对参数进行编码(windows下,FF,Opera一般为GBK;linux下,一般为UTF-8),GBK/GB2312的编码格式,在代码中将会导致一些错误,如: 字符串乱码问题、MongoDB统一使用UTF-8做为存储编码。
开始想尝试python中如何查看字符串的编码格式,但是没有找到适合的方法,现采取如下方式,对参数进行编码(针对大多数的中文用户)
def _process_keyword_coding(self, keyword):
try:
keyword = unicode(keyword, "utf-8")
except:
keyword = keyword.decode("gbk").encode("utf-8")
return keyword
页面的流程下,是可以通过utf-8编码的,否则将采取GBK方式进行解码,然后再转换成统一的UTF-8格式,(当前使用的是python 2.6, python3.0 str默认情况下将会统一采取unicode)
这里笔记下,如果有更好的方法,请大家分享
分享到:
相关推荐
Python Web浏览器这是一个用Python编写的简单的Web浏览器,它遵循电子书。指示从命令行运行python3 src/browser.py <url> ,其中<url>是完整的<scheme>://<host>/<path> URL,即https://example.org/index.html 。 ...
在python内置模块的基础上进行了高度的封装,从而使得python进行网络请求时,变得人性化,使用Requests可以轻而易举的完成浏览器可有的任何操作。 代码如下 import requests def xiaodai(): url = '...
前言 记得刚入门那个时候,自己处理编码转换问题往往是“百度:url解码、base64加密...url编码是一种浏览器用来打包表单输入的格式.可谓是一名作为web人员最熟悉的一种编码方式了。 >>> from urllib import * >>> qu
▪ Chardet 字符编码探测器,可以自动检测文本、网页、 xml 的编码。 ▪ shortuuid ,一组简洁 URL/UUID 函数库。 ▪ ftfy , Unicode 文本工具 ▪ unidecode , ascii 和 Unicode 文本转换函数。 ▪ xpinyin ,将...
当我们在浏览器中输入一个url后回车,后台会发生什么?比如说你输入http://www.lining0806.com/,你就会看到宁哥的小站首页。 简单来说这段过程发生了以下四个步骤: 查找域名对应的IP地址。 向IP对应的服务器...
URL解析库:Urllib 时间库:Time 时间库:Datetime 操作系统库:os 5.3编码方式 前端网页:GBK 服务器端:GBK 数据库:UTF-8 5.4运行环境 服务器:Windows7 SP1旗舰版 + Python2.7 前端:Opera...
提供浏览器服务,例如使用Python Webbrowser库和特殊构造的URL下载文件。 来自Web Extensions的webRequest api用于在后台脚本中生成onErrorOccurred事件。 然后,脚本读取URL,并提取URL中编码的一个或多个下载请求...
Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码。 在python内置模块的基础上进行了高度的封装,从而使得python进行网络请求...
获取网页源码:get_html 函数通过HTTP请求获取给定URL的网页源码,并设置了User-Agent和Referer头,以模拟浏览器访问。它还包含了一个时间延迟,以避免因频繁请求而被服务器限制访问。 清理HTML标签:get_string ...
Pi H264 To Browser是一个简单的Python应用程序,旨在将装有V1,V2或HQ摄像头模块的Raspberry Pi的硬件编码h.264直接流式传输到浏览器。 能力 同时流式传输到多个客户端(通常仅受您的网络连接限制) 支持相机...
概述URL Req 是一种 HTTP 代理服务,它根据接收到的请求的 URL 中定义的参数发出 HTTP 请求,并返回响应。 服务需要在对服务的请求的 URL ... HTTP 请求的元素被编码为 URL 查询参数: (强制) HTTP 方法 - method查询
Chardet字符编码探测器,可以自动检测文本、网页、xml的编码。 colorama主要用来给文本添加各种颜色,并且非常简单易用。 Prettytable主要用于在终端或浏览器端构建格式化的输出。 difflib,[Python]标准库,计算...
(1)打开浏览器,输入URL,打开源网页 (2)选取我们想要的内容,包括标题,作者,摘要,正文等信息 (3)存储到硬盘中 上面的三个过程,映射到技术层面上,其实就是:网络请求,抓取结构化数据,数据存储。 我们使用...
关于python版本,我一开始看很多资料说python2比较好,因为很多库还不支持3,但是使用到现在为止觉得还是pythin3比较好用,因为编码什么的问题,觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是...
get一般用于获取/查询资源信息,在浏览器中直接输入url+请求参数点击enter之后连接成功服务器就能获取到的内容,post请求一般用于更新资源,通过form表单或者json、xml等其他形式提交给服务器端,然后等待服务器端给...
Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码。 在python内置模块的基础上进行了高度的封装,从而使得python进行网络请求...
使用Python的requests库来模拟浏览器请求,获取B站视频弹幕数据。 类似于新浪新闻评论的爬取,首先需要找到B站弹幕数据的API接口。 通过API接口,获取与疫情相关的健康科普类视频的弹幕数据。 同样将弹幕数据存储到...
BitcasaFileLister 是一个 Python 服务器,它允许您通过 OAuth 登录、存储访问令牌、获取 Bitcasa 驱动器中所有文件及其 base64 编码路径的列表,并通过 Bitcasa API 下载单个文件。 要运行它,请使用以下命令: ...
特征编码/解码(base64,url,hex)。 加密(md5,sha256,sha512,sha3)。 密码(AES加密/解密)。 工具(json beautifier)。 Wiki( SQL注入, Python , Linux ,网络等有用的文档)。 自动表格填充器(不支持...