什麼是網站日誌？保存於網站空間內的一種文本文件，用來記錄網站運行狀態的各種數據，通常是在網站運行的過程中，由服務器程序實時更新記錄。
日誌記錄了所有蜘蛛和訪客的信息。搜索引擎算法不斷更新，我們做SEO工作的時候，研究蜘蛛的行爲非常有必要。
百度到底喜歡什麼樣的內容，僞原創到底有沒有效果？修改了關鍵詞,title標籤蜘蛛到底有何反映，增加了反鏈接蜘蛛有多敏感？多分析網站日誌更容易發現搜索引擎算法軌跡。經過長期的總結你都能摸到規律。
網站日誌研究對於SEO的作用：
1、瞭解搜索引擎抓取網頁的問題；
2、分析搜索引擎爬蟲訪問情況，我們可以分析出搜索引擎收錄網頁的一些線索；
3、搜索引擎最近訪問網站的頻率是否正常；
4、搜索引擎比較喜歡訪問哪部分網頁；
5、搜索引擎很少訪問哪部分的網頁；
6、搜索引擎是否訪問了一些我們禁止訪問的內容；
7、瞭解網站內容及鏈接是否正常；
8、通過分析服務器返回的狀態代碼，可分析以下問題：是否有死鏈接；是否有頁面元素被誤刪，比如圖片、css腳本等等；服務器是否曾出現暫時故障；是否有臨時重定向；是否有權限控制導致搜索引擎無法抓取數據。
一般地，網站流量主要採用流量統計軟件來統計，而網站的故障分析、搜索引擎爬蟲規律研究則通過日誌軟件來分析。如果我們能夠持續對網站日誌進行分析，就可以幫助我們在網站出現問題的短時間內瞭解到問題出在什麼地方，並儘快找到解決方案，從網站日誌中應該可以分析更多的關於爬蟲的信息。
