2010/3/2 归档 - 鱼漂 (一直漂) - IT.Life.. 技术笔记,有部分是原创,有部分是引用,几乎所有的都经过测试和使用....

JSON官方的java扩展未对汉字未进行ascii转义的问题

[

2010/03/02 19:37 | by ipaddr ]

近日某同事在用java发布一个API时，使用Json进行数据编码，发现JSON官方的java扩展在处理汉字时未进行ascii转义，如下所示：
Java源码：

AppObject ao=new AppObject(20,"鱼漂");
try {
JSONObject jo=new JSONObject(ao);
System.out.println(jo.toString());
} catch (Exception e) {
System.out.println("json encode error.");
}

输出为：
{"name":"鱼漂","age":10}

其中的name仍然显示中文，未进行ascii转义，通常情况下是可以正常使用的，但在不同的系统互相调用时，可能需要编码转换，比如从GBK转到UTF8。

通过查看源代码发现，在JSONObject.java的1138-1139行，只将\u0080-\u00a0, \u2000-\u2100的字符转成\u的格式。汉字的unicode编码不在这两个范围之内，所以不会转换。

找到原因后，修改就比较简单，我们只需简单的将\u0080以上的所有字符，转成\u格式即可，将1138-1139行改为：
if (c < ' ' || c >= '\u0080') {

再次测试，输出结果为：
{"name":"\u9c7c\u6f02","age":10}

注：
1. JSON官方的java扩展可以在 http://www.json.org/java/ 找到
2. PHP自带的json扩展没此问题
3. 本文原载于 http://www.eit.name/
4. 关于汉字在unicode的位段，可参考前一篇转载的博文.

Program | 评论(0) | 引用(0) | 阅读(10888)

完整的CJK Unicode范围（5.0版）

[

2010/03/02 19:14 | by ipaddr ]

　　因为FontRouter新版本开发的需要，在网上搜索了一下汉字的Unicode范围，普遍给出了“U+4E00..U+9FA5”。但事实上这个范围是不完整的，甚至连基本的全角（中文）标点也未包含在内。为此，我特地查询了Unicode官方的Code Charts数据库，并根据最新的Unicode 5.0版整理如下：

注：在绝大多数应用场合中，我们可以仅用（1）、（2）、（3）、（4）、（5）的集合作为CJK判断的依据。

1）标准CJK文字

http://www.unicode.org/Public/UNIDATA/Unihan.html

Code point range	Block name	Release
U+3400..U+4DB5	CJK Unified Ideographs Extension A	3.0
U+4E00..U+9FA5	CJK Unified Ideographs	1.1
U+9FA6..U+9FBB	CJK Unified Ideographs	4.1
U+F900..U+FA2D	CJK Compatibility Ideographs	1.1
U+FA30..U+FA6A	CJK Compatibility Ideographs	3.2
U+FA70..U+FAD9	CJK Compatibility Ideographs	4.1
U+20000..U+2A6D6	CJK Unified Ideographs Extension B	3.1
U+2F800..U+2FA1D	CJK Compatibility Supplement	3.1