識別方法是整個系統的核心。用于漢字識別的模式識別方法可以大致分為結構模式識別、統計模式識別及兩者的結合。下面分別進行介紹。

　　結構模式識別

　　漢字是一種特殊的模式，其結構雖然比較復雜，但具有相當嚴格的規律性。換言之，漢字圖形含有豐富的結構信息，可以設法提取含有這種信息的結構特征及其組字規律，作為識別漢字的依據，這就是結構模式識別。

　　結構模式識別是早期漢字識別研究的主要方法。其主要出發點是漢字的組成結構。從漢字的構成上講，漢字是由筆劃(點橫豎撇捺等)、偏旁部首構成的；還可以認為漢字是由更小的結構基元構成的。由這些結構基元及其相互關系完全可以精確地對漢字加以描述，就像一篇文章由單字、詞、短語和句子按語法規律所組成一樣。所以這種方法也叫句法模式識別。識別時，利用上述結構信息及句法分析的方法進行識別，類似一個邏輯推理器。

　　用這種方法來描述漢字字形結構在理論上是比較恰當的，其主要優點在于對字體變化的適應性強，區分相似字能力強；但是，在實際應用中，面臨的主要問題是抗干擾能力差，因為在實際得到的文本圖象中存在著各種干擾，如傾斜，扭曲，斷裂，粘連，紙張上的污點，對比度差等等。這些因素直接影響到結構基元的提取，假如結構基元不能準確地得到，后面的推理過程就成了無源之水。此外結構模式識別的描述比較復雜，匹配過程的復雜度因而也較高。所以在印刷體漢字識別領域中，純結構模式識別方法已經逐漸衰落，句法識別的方法正日益受到挑戰。

　　統計模式識別

　　統計決策論發展較早，理論也較成熟。其要點是提取待識別模式的的一組統計特征，然后按照一定準則所確定的決策函數進行分類判決。

　　漢字的統計模式識別是將字符點陣看作一個整體，其所用的特征是從這個整體上經過大量的統計而得到的。統計特征的特點是抗干擾性強，匹配與分類的算法簡單，易于實現。不足之處在于細分能力較弱，區分相似字的能力差一些。常見的統計模式識別方法有：

　　(1) 模板匹配。模板匹配并不需要特征提取過程。字符的圖象直接作為特征，與字典中的模板相比，相似度最高的模板類即為識別結果。這種方法簡單易行，可以并行處理；但是一個模板只能識別同樣大小、同種字體的字符，對于傾斜、筆劃變粗變細均無良好的適應能力。

　　(2)利用變換特征的方法。對字符圖象進行二進制變換(如Walsh, Hardama變換)或更復雜的變換(如Karhunen-Loeve, Fourier,Cosine，Slant變換等)，變換后的特征的維數大大降低。但是這些變換不是旋轉不變的，因此對于傾斜變形的字符的識別會有較大的偏差。二進制變換的計算雖然簡單，但變換后的特征沒有明顯的物理意義。K-L變換雖然從最小均方誤差角度來說是最佳的，但是運算量太大，難以實用。總之，變換特征的運算復雜度較高。

　　(3)投影直方圖法。利用字符圖象在水平及垂直方向的投影作為特征。該方法對傾斜旋轉非常敏感，細分能力差。

　　(4)幾何矩(Geometric Moment)特征。M. K. Hu提出利用矩不變量作為特征的想法，引起了研究矩的熱潮。研究人員又確定了數十個移不變、比例不變的矩。我們都希望找到穩定可靠的、對各種干擾適應能力很強的特征，在幾何矩方面的研究正反映了這一愿望。以上所涉及到的幾何矩均在線性變換下保持不變。但在實際環境中，很難保證線性變換這一前提條件。

　　(5)Spline曲線近似與傅立葉描繪子(Fourier Descriptor)。兩種方法都是針對字符圖象輪廓的。Spline曲線近似是在輪廓上找到曲率大的折點，利用Spline曲線來近似相鄰折點之間的輪廓線。而傅立葉描繪子則是利用傅立葉函數模擬封閉的輪廓線，將傅立葉函數的各個系數作為特征的。前者對于旋轉很敏感。后者對于輪廓線不封閉的字符圖象不適用，因此很難用于筆劃斷裂的字符的識別。

　　(6)筆劃密度特征。筆劃密度的描述有許多種，這里采用如下定義：字符圖象某一特定范圍的筆劃密度是在該范圍內，以固定掃描次數沿水平、垂直或對角線方向掃描時的穿透次數。這種特征描述了漢字的各部分筆劃的疏密程度，提供了比較完整的信息。在圖象質量可以保證的情況下，這種特征相當穩定。在脫機手寫體的識別中也經常用到這種特征。但是在字符內部筆劃粘連時誤差較大。

　　(7)外圍特征。漢字的輪廓包含了豐富的特征，即使在字符內部筆劃粘連的情況下，輪廓部分的信息也還是比較完整的。這種特征非常適合于作為粗分類的特征。

　　(8)基于微結構特征的方法。這種方法的出發點在于，漢字是由筆劃組成的，而筆劃是由一定方向，一定位置關系與長寬比的矩形段組成的。這些矩形段則稱為微結構。利用微結構及微結構之間的關系組成的特征對漢字進行識別，尤其是對于多體漢字的識別，獲得了良好的效果。其不足之處是，在內部筆劃粘連時，微結構的提取會遇到困難。

　　(9)特征點特征。早在1957年，Solatron Electronics Group公司發布了第一個利用窺視孔(peephole)方法的OCR系統。其主要思想是利用字符點陣中一些有代表性的黑點(筆劃)，白點(背景)作為特征來區分不同的字符。后有人又將這種方法運用到漢字識別中，對其中的黑點又增加了屬性的描述，如端點、折點、交叉點等。也獲得了比較好的效果。其特點是對于內部筆劃粘連的字符的識別的適應性較強，直觀性好，但是不易表示為矢量形式，不適合作為粗分類的特征，匹配難度大。

　　當然還有許多種不同的統計特征，諸如圖描述法、包含配選法、脫殼透視法、差筆劃法等，這里就不一一介紹了。

　　統計識別與結構識別的結合

　　結構模式識別與統計模式識別各有優缺點，隨著我們對于兩種方法認識的深入，這兩種方法正在逐漸融合。網格化特征就是這種結合的產物。字符圖象被均勻地或非均勻地劃分為若干區域，稱之為“網格”。在每一個網格內尋找各種特征，如筆劃點與背景點的比例，交叉點、筆劃端點的個數，細化后的筆劃的長度、網格部分的筆劃密度等等。特征的統計以網格為單位，即使個別點的統計有誤差也不會造成大的影響，增強了特征的抗干擾性。這種方法正得到日益廣泛的應用。

　　人工神經網絡

　　人工神經網絡(Artificial Neural Network，以下稱ANN)是一種模擬人腦神經元細胞的網絡結構，它是由大量簡單的基本元件－神經元相互連接成的自適應非線性動態系統。雖然目前對于人腦神經元的研究還很不完善，我們無法確定ANN的工作方式是否與人腦神經元的運作方式相同，但是ANN正在吸引著越來越多的注意力。

　　ANN中的各個神經元的結構與功能較為簡單，但大量的簡單神經元的組合卻可以非常復雜，我們從而可以通過調整神經元間的連接系數完成分類、識別等復雜的功能。ANN還具有一定的自適應的學習與組織能力，組成網絡的各個“細胞”可以并行工作，并可以通過調整“細胞”間的連接系數完成分類、識別等復雜的功能。這是馮·諾依曼的計算機無法做到的。

　　ANN可以作為單純的分類器(不包含特征提取，選擇),也可以用作功能完善的分類器。在英文字母與數字的識別等類別數目較少的分類問題中，常常將字符的圖象點陣直接作為神經網絡的輸入。不同于傳統的模式識別方法，在這種情況下，神經網絡所“提取”的特征并無明顯的物理含義，而是儲存在神經物理中各個神經元的連接之中，省去了由人來決定特征提取的方法與實現過程。從這個意義上來說，ANN提供了一種“字符自動識別”的可能性。此外，ANN分類器是一種非線性的分類器，它可以提供我們很難想象到的復雜的類間分界面，這也為復雜分類問題的解決提供了一種可能的解決方式。

　　目前，在對于象漢字識別這樣超多類的分類問題，ANN的規模會很大，結構也很復雜，現在還遠未達到實用的程度。其中的原因很多，主要的原因還在于我們對人腦的工作方式以及ANN本身的許多問題還沒有找到完美的答案。