處理漢字編碼

2022-06-23 21:54:10 字數 3334 閱讀 7099

由於常常要和漢字處理打交道,因此,我常常受到漢字編碼問題的困擾。在不斷的打擊與堅持中,也積累了一點漢字編碼方面的經驗,想和大家一起分享。

一、漢字編碼的種類

漢字編碼中現在主要用到的有三類,包括gbk,gb2312和big5。

1、gb2312又稱國標碼,由國家標準總局釋出,1981年5月1日實施,通行於大陸。新加坡等地也使用此編碼。它是一個簡化字的編碼規範,當然也包括其他的符號、字母、日文假名等,共7445個圖形字元,其中漢字佔6763個。我們平時說6768個漢字,實際上裡邊有5個編碼為空白,所以總共有6763個漢字。

gb2312規定“對任意一個圖形字元都採用兩個位元組表示,每個位元組均採用七位編碼表示”,習慣上稱第一個位元組為“高位元組”,第二個位元組為“低位元組”。gb2312中漢字的編碼範圍為,第一位元組0xb0-0xf7(對應十進位制為176-247),第二個位元組0xa0-0xfe(對應十進位制為160-254)。

gb2312將**表分為94個區,對應第一位元組(0xa1-0xfe);每個區94個位(0xa1-0xfe),對應第二位元組,兩個位元組的值分別為區號值和位號值加32(2oh),因此也稱為區位碼。01-09區為符號、數字區,16-87區為漢字區(0xb0-0xf7),10-15區、88-94區是有待進一步標準化的空白區。

2、big5又稱大五碼,主要為香港與臺灣使用,即是一個繁體字編碼。每個漢字由兩個位元組構成,第一個位元組的範圍從0x81-0xfe(即129-255),共126種。第二個位元組的範圍不連續,分別為0x40-0x7e(即64-126),0xa1-0xfe(即161-254),共157種。

3、gbk是gb2312的擴充套件,是向上相容的,因此gb2312中的漢字的編碼與gbk中漢字的相同。另外,gbk中還包含繁體字的編碼,它與big5編碼之間的關係我還沒有弄明白,好像是不一致的。gbk中每個漢字仍然包含兩個位元組,第一個位元組的範圍是0x81-0xfe(即129-254),第二個位元組的範圍是0x40-0xfe(即64-254)。gbk中有碼位23940個,包含漢字21003個。

表1漢字編碼範圍

名稱 第一位元組

第二位元組

gb2312

0xb0-0xf7(176-247)

0xa0-0xfe(160-254)

gbk 0x81-0xfe(129-254)

0x40-0xfe(64-254)

big5

0x81-0xfe(129-255)

0x40-0x7e(64-126)

0xa1-0xfe(161-254)

二、對漢字進行hash

為了處理漢字的方便,在查詢漢字的時候,我們通常會用到hash的方法,那怎麼來確定一個漢字位置呢?這就和每種編碼的排列有關了,這裡主要給出一種hash函式的策略。

對於gb2312編碼,設輸入的漢字為gbword,我們可以採用公式(c1-176)*94+ (c2-161)確定gbindex。其中,c1表示第一位元組,c2表示第二位元組。具體如下:

gbindex =((unsigned char)gbword.at(0)-176)*94 + (unsigned char)gbword.at(1) - 161;

之所以用unsigned char型別,是因為char是一個位元組,如果用unsigendint,因為int是4個位元組的,所以會造成擴充套件,導致錯誤。

對於gbk編碼,設輸入的漢字為gbkword,則可以採用公式  index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128),其中ch1是第一位元組,ch2是第二位元組。

具體的,

gbkindex = ((unsigned char)gbkword[0]-129)*190 +

((unsigned char)gbkword[1]-64) - (unsigned char)gbkword[1]/128;

三、怎樣判斷一個漢字的是什麼編碼

直接根據漢字的編碼範圍判斷,對於gb2312和gbk可用下面兩個程式實現。

1、判斷是否是gb2312

boolisgbcode(const string& strin)

unsignedchar ch1;

unsignedchar ch2;

if (strin.size()>= 2)

ch1= (unsigned char)strin.at(0);

ch2= (unsigned char)strin.at(1);

if(ch1>=176 && ch1<=247 && ch2>=160 && ch2<=254)

return true;

elsereturn false;

elsereturn false;

2、判斷是否是gbk編碼

bool isgbkcode(const string& strin)

unsigned char ch1;

unsigned char ch2;

if (strin.size() >= 2)

ch1 = (unsigned char)strin.at(0);

ch2 = (unsigned char)strin.at(1);

if (ch1>=129 && ch1<=254 && ch2>=64 && ch2<=254)

return true;

else return false;

else return false;

3、對於big5

它的範圍為:高位元組從0xa0到0xfe,低位元組從0x40到0x7e,和0xa1到0xfe兩部分。判斷一個漢字是否是big5編碼,可以如上對字元的編碼範圍判斷即可。如何定位呢?那麼也想象所有編碼排列為一個二維座標,縱座標是高位元組,橫座標是低位元組。這樣一行上的漢字個數:(0x7e-0x40+1)+(0xfe-0xa1+1)=157。那麼定位演算法分兩塊,為: 

if0x40<=ch2<=0x7e: #is big5 char

index=((ch1-0xa1)*157+(ch2-0x40))*2

elif0xa1<=ch2<=0xfe: #is big5 char

index=((ch1-0xa1)*157+(ch2-0xa1+63))*2

對於第二塊,計算偏移量時因為有兩塊數值,所以在計算後面一段值時,不要忘了前面還有一段值。0x7e-0x40+1=63。

四、如果判斷一個字元是西文字元還是中文字元

大家知道西文字元主要是指ascii碼,它用一個位元組表示。且這個字元轉換成數字之後,該數字是大於0的,而漢字是兩個位元組的,第一個位元組的轉化為數字之後應該是小於0的,因此可以根據每個位元組轉化為數字之後是否小於0,判斷它是否是漢字。

例如,設輸入字為strin,則,

if (strin.at(0) <0)

cout << ”是漢字”<< endl;

else cout << ”不是漢字”<< endl;