搜狐微博的解码方式及常用字符集一些知识.

摘要:
它已经开放了一个月,但尚未发表任何文章。今天,我将总结我最近学到的知识并将其发布。如果有任何错误,请指出。如果你不喜欢就不要喷它!!!搜狐微博消息(全中文,中英文混合)的过程:1.将unicode内容转换为GB18030内容。2.解码utf-8中的GB18030内容。msg(纯英语)的过程:直接解码url。普通微博消息(所有类型)的过程:直接解码urldecode

开通了一个月,还没发一篇文章,今天将最近学到的知识做个总结,发表一下,如有错误请各路大神指正,不喜勿喷!!!

搜狐微博
msg走的流程(全中文,中英文混合):
1、将unicode形式的内容转化成GB18030形式的内容
2、将GB18030形式的内容进行utf-8解码

msg走的流程(纯英文):
直接进行url解码

普通微博
msg走的流程(所有类型):
直接进行urldecode解码即可


URLEncode是这样编码的
1。数字和字母不变。
2。空格变为"+"号。
3。其他被编码成"%"加上他们的ascii的十六进制。

escape编码:
所有的空格符、标点符号、特殊字符以及其他非ASCII字符都将被转化成%uxx格式的字符编码(xx等于该字符在字符集表里面的编码的16进制数字)。
采用的字符集是ISO Latin-1。
ISO Latin-1字符集是Unicode字符集的一个子集,对应于IE4+中Unicode字符指令表的前256个条目。
其中Unicode字符为双字节16位,
可以表示任何一种语言符号;而Latin-1字符集是单字节8位,只能够表示英文和西欧字符。

汉字字节问题:
unicode
最初的unicode编码是固定长度的,16位,也就是2两个字节代表一个字符。
Unicode只是一个编码规范,目前实际实现的unicode编码只要有三种:UTF-8,UCS-2和UTF-16,
三种unicode字符集之间可以按照规范进行转换。

utf-8
3字节
汉字在GB家族中是双字节,但在UTF-8中却是3字节,所以其编码方式是1110xxxx 10xxxxxx 10xxxxxx。

GB2312
2字节
编码字符集中的汉字的机内码长度一个汉字用两个字节表示。


GB18030
2字节
两个字节表示一个汉字,汉字在GB家族中是双字节。


再加上英文字节数,汇总如下:
英文字母和中文汉字在不同字符集编码下的字节数

英文字母:

字节数 : 1;编码:GB2312

字节数 : 1;编码:GBK

字节数 : 1;编码:GB18030

字节数 : 1;编码:ISO-8859-1

字节数 : 1;编码:UTF-8

字节数 : 4;编码:UTF-16

字节数 : 2;编码:UTF-16BE

字节数 : 2;编码:UTF-16LE

中文汉字:

字节数 : 2;编码:GB2312

字节数 : 2;编码:GBK

字节数 : 2;编码:GB18030

字节数 : 1;编码:ISO-8859-1

字节数 : 3;编码:UTF-8

字节数 : 4;编码:UTF-16

字节数 : 2;编码:UTF-16BE

字节数 : 2;编码:UTF-16LE

免责声明:文章转载自《搜狐微博的解码方式及常用字符集一些知识.》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇AndroidTv Home界面实现原理(二)——Leanback 库的主页卡位缩放动画源码解析Nginx 编译参数详解/大全下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

详谈字符编码[二]代码页和一个乱码案例

上一篇关于字符编码的随笔介绍了编码,输入码,机内码,字形码,字形库等概念。除此之外,还有一些其他的概念我们不得不了解,它们已经不属于现在,但是却时常影响着现在。代码页,正是这些有历史感的概念之一。这篇博文带你了解代码页和当前Windows对Unicode和ANSI编码的支持情况,末尾分析了一个乱码的案例,出于某知名软件,你一定不想错过。 Windows的默...

【JavaWeb学习】过滤器Filter

一、简介 Filter也称之为过滤器,它是Servlet技术中最激动人心的技术,WEB开发人员通过Filter技术,对web服务器管理的所有web资源:例如Jsp, Servlet, 静态图片文件或静态 html 文件等进行拦截,从而实现一些特殊的功能。例如实现URL级别的权限访问控制、过滤敏感词汇、压缩响应信息等一些高级功能。 Servlet API中提...

Linux 的字符串截取很有用。有八种方法。

假设有变量 var=http://www.aaa.com/123.htm 1. # 号截取,删除左边字符,保留右边字符。 echo ${var#*//} 其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符 即删除 http:// 结果是 :www.aaa.com/123.htm 2. ## 号截取,删除左...

Lua字符串及模式匹配

字符类基础函数举例介绍: string.len( ‘string’ ) string.lower( ‘string’ ) string.upper( ‘string’ ) string.rep( ‘a’ , 5 ) ==> aaaaa string.sub( ‘string’ , I , j ) string.sub(...

微信默认表情符号的代码对照表

之前有不少朋友问我,微信公众平台如何发带有表情符号的图片,其实只需要在信息里面插入表情代码就可以使用的。 微信表情对照表如下: 表情图片 字符串代码 替换关键字 /::) 微笑 /::~ 伤心 /::B 美女 /::| 发呆 /:8-) 墨镜 /::< 哭 /::$ 羞 /::X 哑 /::...

shell替换

如果表达式中包含特殊字符,Shell 将会进行替换。例如,在双引号中使用变量就是一种替换,转义字符也是一种替换。举个例子: #!/bin/bash a=10 echo -e"Value of a is $a " 运行结果: Value of a is 10 这里 -e 表示对转义字符进行替换。如果不使用 -e 选项,将会原样输出: Value...