共計 1127 個字符，預計需要花費 3 分鐘才能閱讀完成。

做 站長 的朋友壹一般喜歡研究關鍵詞，而關鍵詞搜索又會涉及到分詞算法。百度分詞技術就是百度針對用戶提交查詢的關鍵詞串進行的查詢處理后根據(jù)用戶的關鍵詞串用各種匹配方法進行的一種技術。所謂分詞就是把字與字連在一起的漢語句子分成若干個相互獨立、完整、正確的單詞。詞是最小的、能獨立活動的、有意義的語言成分。

計算機的所有語言知識都來自機器詞典(給出詞的各項信息) 、句法規(guī)則(以詞類的各種組合方式來描述詞的聚合現(xiàn)象) 以及有關詞和句子的語義、語境、語用知識庫。中文信息處理系統(tǒng)只要涉及句法、語義(如檢索、翻譯、文摘、校對等應用) , 就需要以詞為基本單位。當漢字由句轉(zhuǎn)化為詞之后, 才能使得句法分析、語句理解、自動文摘、自動分類和機器翻譯等文本處理具有可行性。可以說, 分詞是機器 語言學的基礎。

百度分詞的 4 個原理：

1、基于理解：傻瓜式匹配，小于等于 3 個中文字符百度是不進行切詞的，比如搜索“大學堂”。

2、基于統(tǒng)計：百度把一個詞標紅的原因：標紅的詞一般是一個關鍵詞，你搜索“學”字的時候，百度它自認的把“學習”也當成了一個關鍵詞，所以出現(xiàn)“學習”這個詞標紅，這就是百度分詞法：基于統(tǒng)計分詞。

3、基于字符串匹配(百度的分詞法：正向最大切詞法)

最大與最小 (最大匹配：一直匹配到?jīng)]詞可配; 最小匹配：匹配出詞了就停止匹配，再從另一個詞開始匹配) 比如：百度搜索“湖南大學堂屋頂”，百度的一個分詞算法我們把它當成一個黑盒子，我們通過一些輸入關鍵詞，根據(jù)百度的輸出結(jié)果來判定百度的分詞算法。正向與反向 (正向：從前往后配; 反向：從后往前配)(湖南大學堂屋頂) 正向分法：湖南大學 堂屋 頂 (劉強大地方法)正向分法：劉 強大 地方 法。反向分法：方法 大地 劉 強。而在這個詞語當中“大地”不是一個詞。

4、基于專有詞庫。比如杰出人物 (如：毛澤東) 明星 (如：劉德華) 檢索量大的詞(如：買票難) 。

分詞工具(沒有百度的，收集了幾個開源的分詞工具)：

1、ICTCLAS – 全球最受歡迎的漢語分詞系統(tǒng)

2、HTTPCWS – 基于 HTTP 協(xié)議的開源中文分詞系統(tǒng)

3、SCWS – 簡易中文分詞系統(tǒng)

4、PhpanAlysis – PHP 無組件分詞系統(tǒng)

5 、MMSEG4J

6、盤古分詞

7、IKAnalyzer 開源的輕量級中文分詞工具包