网站优化之baidu中文分词算法大全
　　随着搜索经济的崛起，人们开始越加关注全球(全世界)各大搜索引擎(Engine)（search engine）的性能、技术和日流量。作为公司，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等;作为 普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料;作为技术人员，会把有代表性的搜索引擎作为研究对象。 搜索引擎经济的崛起，又一次向人们证明了网络所蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及大量等待去费力挖掘的金矿。
　　但是，如何设计一个高效的搜索引擎我们可以以百度所采取的技术手段来探讨如何设计一个实用的搜索引擎。搜索引擎涉及到许多技术点，比如查询处理(chǔ lǐ)，排序算法，页面(webpage)抓取算法，CACHE机制，ANTI-SPAM等等。这些技术细节(detail)，作为商业（business）公司的搜索引擎服务提供商比如百度，GOOGLE等是不会公之于众的。我们可以将现有的搜索引擎看作一个黑盒，通过(tōng guò)向黑盒提交输入，判断黑盒返回的输出大致判断黑盒里面不为人知的技术细节。
　　查询处理与分词是一个中文搜索引擎（search engine）必不可少的工作，而百度作为一个典型的中文搜索引擎一直强调其 ;中文处理 ;方面具有其它搜索引擎所不具有的关键（解释:比喻事物的重要组成部分)技术和优势。佛山网站优化公司所考虑的因素不仅仅是搜索引擎，也包括充分满足用户的需求特征、清晰的网站导航、完善的在线帮助等，在此基础上使得网站功能和信息发挥最好的效果。也就是以企业网站为基础，与网络服务商、合作伙伴、顾客、供应商、销售商等网络营销环境中各方面因素建立良好的关系。那么我们就来看看百度到底采用了哪些所谓的核心技术。
　　网站优化之百度分词算法查询处理
　　用户向搜索引擎提交查询，搜索引擎一般在接受到用户查询后要做一些处理，然后在索引数据库(Database)里面提取相关的信息。那么百度在接受到用户查询后做了些什么工作呢?
　　假设用户提交了不只一个查询串
　　比如 ;信息(xìn xī)检索 理论 工具 ;。那么搜索引擎（search engine）首先做的是根据分隔符比如空格，标点符号，将查询串分割成若干子查询串，比如上面的查询就会被解析为：《信息检索，理论，工具》三个子字符串;这个道理简单，我们接着往下看。
　　假设提交的查询有重复的内容，搜索（search)引擎怎么处理呢?
　　比如查询 ;理论 工具 理论 ；百度是将重复（repeat)的字符串当作只出现过一次，也就是处理成等价的 ;理论 工具 ；而GOOGLE显然是没有进行归并，而是将重复查询子串的权重增大进行处理。佛山网站优化公司就是通过SEO技术使得我们网站在搜索引擎上的友好度和站内用户的良好体验度上升。这样做的目的很简单，就是为了让我们的网站在搜索引擎的排名靠前并且得到很好的客户转换率。那么是如何得出这个结论的呢?我们可以将 ;理论 工具 ;提交给百度，返回341，000篇文档，大致看看第一页的返回内容。OK。继续，我们提交查询 ;理论 工具 理论 ；在看看返回结果，仍然是那么多返回文档，当然这个不能说明太多问题，那看看第一页返回结果的排序，看出来了吗?顺序完全没有变化，而GOOGLE 则排序有些变动，这说明百度是将重复的查询归并成一个处理的，而且字符串之间的先后出现顺序基本不予考虑。
　　假设提交的中文查询包含英文单词，搜索引擎是怎么处理的?
　　比如查询 ;电影BT下载 ；百度的方法(method)是将中文字符串中的英文当作一个整体保留，并以此为断点将 中文切分开，这样上述的查询就切为《电影，BT，下载》，不论中间的英文是否一个字典里能查到的单词也好，还是随机的字符也好，都会当作一个 整体来对待。至于为什么，你用查询 ;电影dfdfdf下载 ;看看结果就知道了。当然如果查询中包含数字，也是如此办理。
　　到目前为止，一切很简单，也很清楚，百度怎么处理用户查询的呢?
　　归纳如下：首先根据分割符号将查询分开，然后看看是否有重复的字符（zì fú）串，如果有，就抛弃多余的，只保留一个，接着判断是否有英文或者数字，如果有的话，把英文或者数字当作一个整体保留并把前后的中文切开。
　　END
　　网站优化之百度（BIDU）中文分词原理图
　　首先，讲讲百度的分词时机或者条件问题，是否是个中文字符串百度就拿来切一下呢?非也，要想被百度的分词程序荣幸的分割一下也是要讲条件的，哪能是个字符串就切割啊?你当百度是卖锯条的么?
　　那么什么样的字符串才满足被切割的条件呢?