搜索引擎優(yōu)化對爬蟲軟件會產生哪些影響？首先就是使用既定的規(guī)則來進行編碼和解碼。企業(yè)為了保持互聯(lián)網跨平臺共享信息的優(yōu)點則需要采用一種互聯(lián)網通用的語言，可以讓各種不同操作系統(tǒng)或者平臺的軟件都能夠較好地去解釋網頁。因此就會出現(xiàn)了HTML語言，事實上這種語言是一種標準化的對象語言。其特點就是與XML數(shù)據(jù)庫相類似，實際上HTML語言的核心思想就是將網頁中所有的元素都轉換成一個個不同的對象，因此工作人員在對網頁進行解釋和編碼的過程中，則可以非常明確的去指導不同元素所代表的一些內容或者在網頁中的位置。一般從目前的網頁組成來說，基本都會存在幾個比較主要的部分。
第一是title, 意思就是整個網頁的標題。第二就是body, 就是我們整個網頁的主要部分，這個部分就包含了網頁中的主要內容，還包含了文字的敘述內容，或者是對圖像化的圖片內容等等。通常來講，我們的爬蟲軟件在對網站中的網頁進行分析時，提取其關鍵字主要就是依靠兩個方面來進行關鍵詞的判斷，第一部分就是根據(jù)網站title中的內容來分析該網站網頁的主體，第二部分則是根據(jù)網站網頁中的body里含有的文字敘述來進行分析。另外，爬蟲軟件在對網站的網頁進行分析時，除了對于網站的title分析以外，還會對于網站中的文字敘述進行分析。
通過不同網頁中關鍵詞出現(xiàn)頻率的對比，來提取最能表現(xiàn)網站主體的關鍵詞，并將其作為其特征向量的“維度”。因此從這一方面來講影響網站與關于通過提高頻率來改變網頁排序的方式較為常用，因此也出現(xiàn)了針對這種辦法的懲罰措施。一般而言 ，通過提高頻率來改變網站的網頁排序主要是依靠關鍵詞的不斷堆砌，而懲罰措施則是針對這種關鍵詞的堆砌進行的一種懲罰。但是在合理的范圍內增加關鍵詞在網頁中出現(xiàn)的頻率依然可以改變該網站在對應關鍵詞下搜索時的排序結果。
