Linux 虛擬主機上處理HTTP壓縮之gzip、deflate壓縮

woff

web gzip 測試網站

一、什麼是gzip         

        gzip是一種數據格式，默認且目前僅使用deflate算法壓縮data部分；

        Gzip是一種流行的文件壓縮算法，現在的應用十分廣泛，尤其是在Linux平台。當應用Gzip壓縮到一個純文本文件時，效果是非常明顯的，大約可以減少70％以上的文件大小。這取決於文件​​中的內容。

      利用Apache中的Gzip模塊，我們可以使用Gzip壓縮算法來對Apache服務器發布的網頁內容進行壓縮後再傳輸到客戶端瀏覽器。這樣經過壓縮後實際上降低了網絡傳輸的字節數，最明顯的好處就是可以加快網頁加載的速度。

      網頁加載速度加快的好處不言而喻，除了節省流量，改善用戶的瀏覽體驗外，另一個潛在的好處是Gzip與搜索引擎的抓取工具有著更好的關係。例如Google就可以通過直接讀取gzip文件來比普通手工抓取更快地檢索網頁。在Google網站管理員工具（Google Webmaster Tools）中你可以看到，sitemap.xml.gz 是直接作為Sitemap被提交的。

      而這些好處並不僅僅限於靜態內容，PHP動態頁面和其他動態生成的內容均可以通過使用Apache壓縮模塊壓縮，加上其他的性能調整機制和相應的服務器端緩存規則，這可以大大提高網站的性能。因此，對於部署在Linux服務器上的PHP程序，在服務器支持的情況下，我們建議你開啟使用Gzip Web壓縮。

PS：詳情參考：http://baike.baidu.com/item/gzip?fr=aladdin

---

二、什麼是deflate

        DEFLATE是同時使用了LZ77算法與哈夫曼編碼（Huffman Coding）的一個無損數據壓縮算法。

        它最初是由Phil Katz為他的PKZIP歸檔工具第二版所定義的，後來定義在RFC 1951規範中。

        人們普遍認為DEFLATE不受任何專利所製約，並且在LZW（GIF文件格式使用）相關的專利失效之前，這種格式除了在ZIP文件格式中得到應用之外也在gzip壓縮文件以及PNG圖像文件中得到了應用。

        DEFLATE壓縮與解壓的源代碼可以在自由、通用的壓縮庫zlib上找到。

        更高壓縮率的DEFLATE是7-zip所實現的。AdvanceCOMP也使用這種實現，它可以對gzip、PNG、MNG以及ZIP文件進行壓縮從而得到比zlib更小的文件大小。在Ken Silverman的KZIP與PNGOUT中使用了一種更加高效同時要求更多用戶輸入的DEFLATE程序。

        deflate是一種壓縮算法,是huffman編碼的一種加強。

        deflate與gzip解壓的代碼幾乎相同，可以合成一塊代碼。

---

三、web服務器處理http壓縮的過程

    1. Web服務器接收到瀏覽器的HTTP請求後，檢查瀏覽器是否支持HTTP壓縮（Accept-Encoding 信息）；

    2. 如果瀏覽器支持HTTP壓縮，Web服務器檢查請求文件的後綴名；

    3. 如果請求文件是HTML、CSS等靜態文件，Web服務器到壓縮緩衝目錄中檢查是否已經存在請求文件的最新壓縮文件；

    4. 如果請求文件的壓縮文件不存在，Web服務器向瀏覽器返回未壓縮的請求文件，並在壓縮緩衝目錄中存放請求文件的壓縮文件；

    5. 如果請求文件的最新壓縮文件已經存在，則直接返回請求文件的壓縮文件；

    6. 如果請求文件是動態文件，Web服務器動態壓縮內容並返回瀏覽器，壓縮內容不存放到壓縮緩存目錄中。

下面是兩個演示圖：

未使用Gzip：

開啟使用Gzip後：

---

四、gzip與deflate區別

        deflate使用inflateInit()，而gzip使用inflateInit2()進行初始化，比inflateInit()多一個參數: -MAX_WBITS，表示處理raw deflate數據。因為gzip數據中的zlib壓縮數據塊沒有zlib header的兩個字節。使用inflateInit2時要求zlib庫忽略zlib header。在zlib手冊中要求windowBits為8..15，但是實際上其它範圍的數據有特殊作用，見zlib.h中的註釋，如負數表示raw deflate。        

        Apache的deflate變種可能也沒有zlib header，需要添加假頭後處理。即MS的錯誤deflate (raw deflate).zlib頭第1字節一般是0x78, 第2字節與第一字節合起來的雙字節應能被31整除，詳見rfc1950。例如Firefox的zlib假頭為0x7801，python zlib.compress()結果頭部為0x789c。        

        deflate 是最基礎的算法，gzip 在deflate 的raw data 前增加了10 個字節的gzheader，尾部添加了8 個字節的校驗字節（可選crc32 和adler32） 和長度標識字節。

        安裝它們的Apache Web服務器版本的差異。Apache 1.x系列沒有內建網頁壓縮技術，所以才去用額外的第三方mod_gzip 模塊來執行壓縮。而Apache 2.x官方在開發的時候，就把網頁壓縮考慮進去，內建了mod_deflate 這個模塊，用以取代mod_gzip。雖然兩者都是使用的Gzip壓縮算法，它們的運作原理是類似的。     

        壓縮質量。mod_deflate 壓縮速度略快而mod_gzip 的壓縮比略高。一般默認情況下，mod_gzip 會比mod_deflate 多出4%~6％的壓縮量。

        對服務器資源的佔用。一般來說mod_gzip對服務器CPU的佔用要高一些。mod_deflate是專門為確保服務器的性能而使用的一個壓縮模塊，mod_deflate需要較少的資源來壓縮文件。這意味著在高流量的服務器，使用mod_deflate可能會比mod_gzip加載速度更快。即在服務器性能足夠的情況下，使用mod_gzip，雖然會耗費服務器性能，但是值得（壓縮更快更好）；在服務器性能不足的情況下，使用mod_deflate  確保性能。

        從Apache 2.0.45開始，mod_deflate 可使用DeflateCompressionLevel 指令來設置壓縮級別。該指令的值可為1（壓縮速度最快，最低的壓縮質量）至9（最慢的壓縮速度，壓縮率最高）之間的整數，其默認值為6（壓縮速度和壓縮質量較為平衡的值）。這個簡單的變化更是使得mod_deflate 可以輕鬆媲美mod_gzip 的壓縮。

---

五、開啟mod_gzip、mod_deflate

        Apache上利用Gzip壓縮算法進行壓縮的模塊有兩種：mod_gzip 和mod_deflate。要使用Gzip Web壓縮，請首先確定你的服務器開啟了對這兩個組件之一的支持。在Linux服務器上，現在已經有越來越多的空間商開放了對它們的支持，有的甚至是同時支持這兩個模塊的。例如目前Godaddy、Bluehost及DreamHosts等空間商的服務器都已同時支持mod_gzip 和mod_deflate。        

        通過查看HTTP頭，我們可以快速判斷使用的客戶端瀏覽器是否支持接受gzip壓縮。若發送的HTTP頭中出現以下信息，則表明你的瀏覽器支持接受相應的gzip壓縮：

    Accept-Encoding: gzip 支持mod_gzip    Accept-Encoding: deflate 支持mod_deflate     Accept-Encoding: gzip,deflate 同时支持mod_gzip 和mod_deflate

        mod_deflate 是apache自帶的模塊,當然是在apache 2後支持的,以前1的時候是mod_gzip,啟用mod_deflate可以很好的為節省網頁大小,只不過是佔用服務器的資源和內存.用戶看到頁面的速度會大大加快。在apache2.0以上（包括apache2.0）的版中gzip壓縮使用的是mod_deflate模塊

1.查看apache的安裝模式
apachectl -l

發現mod_so.c，ok可以動態加模塊，不用重新編譯。

2.安裝mod_deflate
找到原有的apache安裝包安裝mod_deflate
cd httpd-2.0.59/modules/filters
/usr/local/apache2/bin/apxs -i -c -a mod_deflate.c

PS：apxs命令參數說明：
        -i此選項表示需要執行安裝操作，以安裝一個或多個動態共享對像到服務器的modules目錄中。
        -a此選項自動增加一個LoadModule行到httpd.conf文件中，以激活此模塊，或者，如果此行已經存在，則啟用之。
        -A與-a選項類似，但是它增加的LoadModule命令有一個井號前綴(#)，即此模塊已經準備就緒但尚未啟用。
        -c此選項表示需要執行編譯操作。它首先會編譯C源程序(.c)files為對應的目標代碼文件(.o)，然後連接這些目標代碼和files中其餘的目標代碼文件(.o和.a)，以生成動態共享對象dsofile 。如果沒有指定-o選項，則此輸出文件名由files中的第一個文件名推測得到，也就是默認為mod_name.so 。

3、修改Apache的http.conf文件，去除mod_deflate.so前面的註釋

在您的主機下建立下列敘述：

1. <IfModule mod_deflate.c>
   
2.   AddOutputFilterByType DEFLATE text/html
   
3.   AddOutputFilterByType DEFLATE text/css
   
4.   AddOutputFilterByType DEFLATE text/javascript
   
5.   AddOutputFilterByType DEFLATE text/xml
   
6.   AddOutputFilterByType DEFLATE text/plain
   
7.   AddOutputFilterByType DEFLATE image/x-icon
   
8.   AddOutputFilterByType DEFLATE image/svg+xml
   
9.   AddOutputFilterByType DEFLATE application/rss+xml
   
10.   AddOutputFilterByType DEFLATE application/javascript
    
11.   AddOutputFilterByType DEFLATE application/x-javascript
    
12.   AddOutputFilterByType DEFLATE application/xml
    
13.   AddOutputFilterByType DEFLATE application/xhtml+xml
    
14.   AddOutputFilterByType DEFLATE application/x-font
    
15.   AddOutputFilterByType DEFLATE application/x-font-truetype
    
16.   AddOutputFilterByType DEFLATE application/x-font-ttf
    
17.   AddOutputFilterByType DEFLATE application/x-font-otf
    
18.   AddOutputFilterByType DEFLATE application/x-font-opentype
    
19.   AddOutputFilterByType DEFLATE application/vnd.ms-fontobject
    
20.   AddOutputFilterByType DEFLATE font/ttf
    
21.   AddOutputFilterByType DEFLATE font/otf
    
22.   AddOutputFilterByType DEFLATE font/opentype
    
23. 
    
24. # For Olders Browsers Which Can't Handle Compression
    
25.   BrowserMatch ^Mozilla/4 gzip-only-text/html
    
26.   BrowserMatch ^Mozilla/4\.0[678] no-gzip
    
27.   BrowserMatch \bMSIE !no-gzip !gzip-only-text/html
    
28. </IfModule>

複製代碼

或是在.htaccess檔案建立敘述

1. #GZIP压缩模块配置<ifmodule mod_deflate.c>
   
2. #启用对特定MIME类型内容的压缩
   
3. SetOutputFilter DEFLATESetEnvIfNoCase Request_URI .(?:gif|jpe?g|png|exe|t?gz|zip|bz2|sit|rar|pdf|mov|avi|mp3|mp4|rm)$ no-gzip dont-vary #设置不对压缩的文件AddOutputFilterByType DEFLATE text/html text/css text/plain text/xml application/x-httpd-php application/x-javascript #设置对压缩的文件</ifmodule>

複製代碼

如要增加檔案期限加入代碼

1. <IfModule mod_expires.c>
   
2.     ExpiresActive on
   
3.     ExpiresByType image/jpg "access plus 1 month"
   
4.     ExpiresByType image/jpeg "access plus 1 month"
   
5.     ExpiresByType image/gif "access plus 1 month"
   
6.     ExpiresByType image/png "access plus 1 month"
   
7.     ExpiresByType text/javascript "access plus 1 month"
   
8.     ExpiresByType application/javascript "access plus 1 month"
   
9.     ExpiresByType text/css "access plus 1 month"
   
10. </IfModule>

複製代碼

5、對指定的文件配置緩存的生存時間，去除mod_headers.so模塊前面的註釋

Apache配置文件路徑是：/usr/local/apache/conf/httpd.conf

打開此文件查找如下兩行代碼：

1. LoadModule deflate_module modules/mod_deflate.so
   
2. LoadModule headers_module modules/mod_headers.so

複製代碼

前面沒有#符號即為正常的，若是有#符號則表示被註釋掉了，刪除前面的#符號即可。

在Apache 配置文件/usr/local/apache/conf/httpd.conf 的最後添加：

1. <IfModule deflate_module>
   
2. SetOutputFilter DEFLATE
   
3. SetEnvIfNoCase Request_URI .(?:gif|jpe?g|png)$ no-gzip dont-vary
   
4. SetEnvIfNoCase Request_URI .(?:exe|t?gz|zip|bz2|sit|rar)$ no-gzip dont-vary
   
5. SetEnvIfNoCase Request_URI .(?:pdf|doc|avi|mov|mp3|rm)$ no-gzip dont-vary
   
6. AddOutputFilterByType DEFLATE text/html text/plain text/xml text/css
   
7. AddOutputFilterByType DEFLATE application/x-javascript
   
8. </IfModule>

複製代碼

註解：
IfModule deflate_module是判斷如果deflate_module模塊加載的話，執行里面的配置。
SetOutputFilter DEFLATE是設置輸出為deflate壓縮算法。
SetEnvIfNoCase Request_URI是排除一些常見的圖片，影音，文檔等類型的後綴，不壓縮。
AddOutputFilterByType DEFLATE是對常見的文本類型,如html,txt,xml,css,js做壓縮處理。

6、在根目錄中新建.htaccess文件，定制壓縮規則

1. #文件缓存时间配置
   
2. <FilesMatch ".(flv|gif|jpg|jpeg|png|ico|swf|js|css)[        DISCUZ_CODE_2        ]quot;>
   
3. Header set Cache-Control "max-age=2592000"
   
4. </FilesMatch>

複製代碼

裡面的文件MIME類型可以根據自己情況添加，至於PDF 、圖片、音樂文檔之類的這些本身都已經高度壓縮格式，重複壓縮的作用不大，反而可能會因為增加CPU的處理時間及瀏覽器的渲染問題而降低性能。所以就沒必要再通過Gzip壓縮。通過以上設置後再查看返回的HTTP頭，出現以下信息則表明返回的數據已經過壓縮。即網站程序所配置的Gzip壓縮已生效。

Content-Encoding: gzip
注：不管使用mod_gzip 還是mod_deflate，此處返回的信息都一樣。因為它們都是實現的gzip壓縮方式。



遇到的問題以及解決:

1：apach2 安裝mod_deflate後restart,直接

load /opt/apache/modules/mod_deflate.so into server: /opt/apache/modules/mod_deflate.so: undefined symbol: deflate 異常的痛苦

什麼ldd mod_deflate.so後再export LIB_LIBRARY_PATH呀，都試了N次，google也go了N天

終於在google上go出來一篇文章，終於解決，方法如下： vi /usr/local/apache2/bin/apr-config 修改LDFLAGS=" " 為LDFLAGS="-lz" 然後再apxs -ica mod_deflate.c 就OK了.

2：apach2安裝mod_deflate後restart,直接

module deflate_module is built-in and can't be loaded ...

這說明該模塊已經安裝，不必再LoadModule deflate_module啟用它。

只需做<ifmodule mod_deflate.c>配置

參考文章
https://my.oschina.net/rasine/blog/343769