PHP中的pack和unpack函數

PHP技術大全 / 2019-03-15 15:05:24

PHP有兩個重要的冷門函數: pack 和 unpack 。在網絡編程,讀寫圖像文件等場景,這兩個函數幾乎必不可少。鑒于文件讀寫/網絡編程,或者說字節流處理的重要性,掌握這兩個函數是邁向高級PHP編程的基礎。

本文先介紹 字節 和 字符 的區別,說明兩個函數存在的必要性和重要性。然后介紹基本用法和使用場景,讓讀者對其有大體了解,為實際使用中奠定基礎。

字節和字符

PHP的優勢是簡單易用,熟練運用 字符串 和 數組 相關函數就能抗住一般的需求。日常工作中多用到字符串,所以PHP開發對字符都比較熟悉,稍微資深點基本能也能弄清字符編碼。但字符的伴生概念:字節,不少PHP開發并不知曉/熟悉。

這不怪他們。PHP世界里極少出現“字節(流)”的概念:沒有 byte 關鍵字(當然也沒有 char),官方文檔也沒提字節;沒有原生的數組支持(常用的 array 其實是 hashtable );當然字符串(string)能表達其他語言中的字節數組(Byte Array, byte[] )。

字節和 字符 有什么聯系和區別呢?簡單來說 字節是計算機存儲和操作的最小單位,字符是人們閱讀的最小單位 ;字節是 存儲(物理)概念 ,字符是 邏輯概念 ;字節代表 數據 (內涵和本質),字符代表其 含義 ; 字符由字節組成 。

舉幾個例子說明兩者區別:“中國”包含2個字符,GBK編碼表示需要4個字節,UTF-8編碼需要6個字節;數字“1234567890”,包含10個字符,用 int32 類型表示只需4個字節;下面的圖片占用42582個字節,用字符表示是“我老婆”,只占用3個字符:

再舉一個常用的例子說明字符和字節的區別。開發中我們常用 md5 算法獲取數據的哈希值,算法返回一個128位(bit)的數據(16個字節)。為方便查看其值,人們約定成俗地用十六進制表示,結果就是我們熟知的32位長度的字符串(不區分大小寫)。32長度字符串不是 md5 算法的必然結果, 16字節數據才是其本質 。如果你愿意,可以用一個小于 2^128 的數字表示哈希結果,也可以將16字節 base64 編碼后作為其結果。所以常用的32位哈希值與 md5 返回的16字節關系為:一個是字符表示,另一個則是其本質(字符數組)(PHP的 md5 函數第二個參數值為 true 便可得到16字節數據,或 hash 函數第三個參數為 true )。

相關概念還有 字節序 、 字符編碼 等,本文不做展開。感興趣的讀者可參考本人之前的博客“文件和字符編碼”或相關材料。

引言

PHP中專門處理字符串的函數有幾十個,加上正則、時間等函數,字符串處理的函數不下百個。相比之下字節處理門庭冷落,相關函數寥寥無幾。除了常用的 ord/chr ,哈希加密函數返回的原始字節、openssl庫的 openssl_random_pseudo_bytes 等函數 真正處理或返回 字節外,最重要的兩個字節處理函數是 pack 和 unpack 。

本節從問題引出 pack 函數的使用。

問題

考慮一個簡單的問題:宇宙的終極答案 42 在內存中是如何表示的(或者說怎么獲取其字節數組)?

因為42是一個整數,根據硬件不同,其占用字節大小可能為1, 2, 4, 8等。這里我們限定一個整數占用4個字節,于是問題的等價表述為:怎樣將一個整數轉換成字節數組(本機序,4個字節)?

分析

因為是多字節,所以要考慮字節序的問題。42不超過255,只占用一個字節,故而其他三個字節都是0。據此得到結論:如果是大端序(低位字節存放在地址高位),四個字節分別是: 0 0 0 42 ;如果是小端序,結果則是: 42 0 0 0 。

那怎么知道機器的字節序呢?PHP沒有提供相關功能,也不能像 C 語言直接取地址訪問字節數據。無所不能的PHP該怎么搞定字節序,或者說完成數據向字節的轉換?

方案

PHP應用層面,數據向字節(數組)的轉換是 pack 的專場,字節(數組)向數據的轉換則是 unpack 的專場。除這兩個函數,字節數組(或二進制數據)向數據的轉換幾無可能(如果有請不吝指教)。

現在我們用 pack 函數獲取42在內存中的字節數組。相關代碼如下:

function intToBytes(int $num) : string {
return pack("l", $num);
}

function outputBytes(string $bytes) {
echo "bytes: ";
for ($i = 0; $i < strlen($bytes); ++ $i) {
echo ord($bytes[$i]), " ";
}
echo PHP_EOL;
}

outputBytes(intToBytes(42));

// 程序輸出:
bytes: 42 0 0 0

本人計算機用的英特爾的CPU,x86架構是小端序,所以程序輸出符合預期。

延伸一下,怎么判斷機器的字節序?有了 pack 函數,答案非常簡單:

function bigEndian() : bool {
$data = 0x1200;
$bytes = pack("s", $data);

return ord($bytes[0]) === 0x12;
}

調用函數便返回本機是否大端序。

上述是 pack 函數簡單的使用場景,接下來分別介紹 pack 和 unpack 函數。

pack 和 unpack

pack 函數

pack 是“打包/封包”的意思。如其名, pack 函數的工作是將數據按照格式打包成字節數組。函數原型為:

pack ( string $format [, mixed $… ] ) : string

形式上與 printf 系列函數相同:第一個參數是格式字符串,其余參數是要格式化的參數。不同之處在于 pack 函數的格式中 不能出現元字符和量詞外的其他字符 ,所以不需要 % 符號。

上文的例子中使用了”l”和”s”兩個格式化元字符, pack 函數的元字符主要分為三類:

  1. 字符串: a 、 A 等;將數據轉成字符串,功能上與 sprintf 類似,例如整數32轉換成字符串”32″;

  2. 字節: h 和 H ;對字節進行16進制編碼,區別在于低位還是高位在前,功能上與 dechex 等函數類似;

  3. char/short/int/long/float/double六種基本類型: c/s/i/l 等;將數據轉換成對應類型的字節數組,除 char 類型外(暫)沒有其他函數可替代;

注意: char 和 a/A 等的區別是 a/A 等輸入為字符(串),而’s/S’的輸入要求是小于256的 整數,輸入 字符會得到0 。

量詞比較簡單:數字和” “兩種。例如”i2″表示將兩個參數按照整數轉換,”c “表示后續都按照 char 類型轉換。

unpack

unpack 是 pack 的反向操作:將字節數組解析成有意義的數據。其函數原型為:

unpack ( string $format , string $data [, int $offset = 0 ] ) : array

unpack 函數需要注意的是第一個參數和返回值。返回值好理解, pack 函數相當于將除格式化參數外的參數數組(想象成 call_user_func_array 的參數)變成一個字節數組; unpack 做相反的事情:釋放數據,得到輸入時的參數數組。

返回一個數組,其鍵分別是什么呢?這便是格式化參數( $format )在 pack 和 unpack 的不同之處: unpack 應該對釋放出來的數據命名,用”/”分隔各組數據。由于格式化參數允許有非元字符和量詞外的字符,為了區分數據,不同數據間的”/”分隔符必不可少。

一個例子:

$bytes = pack("iaa*", 42, ":", "The answer to life, the universe and everything");

outputBytes($bytes);


$result = unpack("inumber/acolon/a*word", $bytes);
print_r($result);

// 程序輸出:
bytes: 42 0 0 0 58 84 104 101 32 97 110 115 119 101 114 32 116 111 32 108 105 102 101 44 32 116 104 101 32 117 110 105 118 101 114 115 101 32 97 110 100 32 101 118 101 114 121 116 104 105 110 103
Array
(
[num] => 42
[colon] => :
[word] => The answer to life, the universe and everything
)

如果不對釋放出來的數據命名會怎么樣?例如上例中 unpack 的格式化參數為: “i/a/a*” ,結果是什么呢?其結果為:

Array
(
[1] => The answer to life, the universe and everything
)

為何?官方文檔上如是說:

CautionIf you do not name an element, numeric indices starting from 1 are used. Be aware that if you have more than one unnamed element, some data is overwritten because the numbering restarts from 1 for each element.

翻譯過來就是:如果你不對數據命名,默認的1, 2, 3…就用來當作鍵值。如果有多組數據,每組都用同樣的下標,會導致數據覆蓋。

所以能理解 “i/a/a*” 為何只剩最后一組數據了吧?

應用場景

讀取圖像、word/excel文件,解析binlog、二進制ip數據庫文件等場合, pack 和 unpack 幾乎必不可少。本文舉例說一下 pack 和 unpack 在網絡編程時 協議解析 的用途。

假設我們的tcp包格式為:前四個字節表示包大小,其余字節為數據內容。于是客戶(發送)端的send 函數可以長這樣:

public function send($data) {
// 這里假設$data已經做了序列化、加密等操作,是字節數組
// 計算報文長度,封裝報文
$len = strlen($data);
$header = pack("L", $len);
// 轉換成網絡(大端)序
$header = xxx
// 封包
$binary = $header . $data;
// 調用fwrite/socket_send等將數據寫入內核緩沖區
...
}

服務(接收)端根據協議解析接收到的數據流:

public function decodable($session, $buffer) {
$dataLen = strlen($buffer);
// 非法數據包
if ($dataLen < 4) {
// 關閉連接、記錄ip等
....
return NOT_OK;
}
// 獲取前四個字節
$header = substr($buffer, 0, 4);
// 轉換成主機序
$header = xxx
// 解析數據長度
$len = unpack("L", $header);
// 單個報文不能超過8M,例如限制上傳的圖像大小
if ($len > 8 * 1024 * 1024) {
// 關閉連接等
return NOT_OK;
}

// 檢查數據包是否滿足協議要求
if ($dataLen - 4 >= $len) {
return OK;
}
// 數據未全部到達,繼續等待
return NEED_DATA;
}

通過 pack 和 unpack ,我們順利的處理報文協議和二進制字節流的發送和解析。

如果你用 n 作為報文分隔符, pack 和 unpack 也許用不到。但在網絡通訊中直接傳遞字符畢竟少數(相當于明文傳送),大多數情況下的二進制數據流的解析還是要靠 pack 和 unpack

總結

除分配內存,最重要的系統調用莫過于文件讀寫和網絡連接,而兩者的本質操作對象都是字節流。 pack 和 unpack 為PHP提供了底層字節操作的能力,在二進制數據處理中十分有用。有志于跳出web編程的PHP開發應該都要掌握這兩個函數。

參考

  1. 文件和字符編碼

  2. PHP Manual: pack

  3. PHP Manual: unpack

  4. Handling binary data in PHP with pack() and unpack()

  5. PHP: 深入pack/unpack

干貨分享

敬請關注“PHP技術大全”微信公眾號


青海快三开奖信息