一尘不染

将字节数组转换为base128有效的JSON字符串

json

我想使用JSON发送大字节数组启发了我,为了减少开销,我想使用base128编码(实际上可以产生有效的json字符串)。但不幸的是,我无法找到一些在JS中进行转换的过程。我将发布过程作为对此问题的答案,但是可能是某人的过程更短,或者可能是在JSON中有效发送二进制数据的更好的主意。


阅读 277

收藏
2020-07-27

共1个答案

一尘不染

ES6:

编码

let bytesToBase128 = (bytesArr) => {
    // 128 characters to encode as json-string
    let c= "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz¼½ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿ" 
    let fbits=[]; 
    let bits = (n,b=8) => [...Array(b)].map((x,i)=>n>>i&1); 
    bytesArr.map(x=> fbits.push(...bits(x)));

    let fout=[]; 
    for(let i =0; i<fbits.length/7; i++) { 
        fout.push(parseInt(fbits.slice(i*7, i*7+7).reverse().join(''),2))  
    };

    return (fout.map(x => c[x])).join('');
}

// Example
// bytesToBase128([23, 45, 65, 129, 254, 42, 1, 255]) => "NÚ4AèßÊ0ÿ1"

解码

let base128ToBytes = (base128str) => {
    // 128 characters to encode as json-string
    let c= "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz¼½ÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖ×ØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõö÷øùúûüýþÿ"

    dfout = base128str.split('').map(x=>c.indexOf(x));
    let dfbits = [];
    let bits = (n,b=8) => [...Array(b)].map((x,i)=>n>>i&1);
    dfout.map(x=> dfbits.push(...bits(x,7) ));

    let dfbytes=[]; 
    let m1 = dfbits.length%8 ? 1 : 0;
    for(let i =0; i<dfbits.length/8-m1; i++) { 
        dfbytes.push(parseInt(dfbits.slice(i*8, i*8+8).reverse().join(''),2))  
    };

    return dfbytes;
}

// Example
// base128ToBytes("NÚ4AèßÊ0ÿ1") => [23, 45, 65, 129, 254, 42, 1, 255]

我在这里嵌入bits功能-这里。这里的掩盖思想是将字节数组转换为位数组,然后将每7位(值从0到127)作为字符编号icharakter list c。在解码中,我们将每个字符数更改为7位数字并创建数组,然后将每个8位数据包打包为该数组,并将其解释为字节。

要查看ASCI中的字符并从中选择128个(任意),请在控制台中键入

[...Array(256)].map((x,i) => String.fromCharCode(i)).join('');

我尽量避免在不同的上下文中具有“特殊含义”的字符 ! @ # $ % ' & ...

这是工作示例(转换Float32Array为json)。

在Chrome,Firefox和Safari上测试

结论

将bytes数组转换为base128字符串(有效的json)后,输出字符串小于15%输入数组。

更新资料

多挖一点,然后暴露出来,当我们发送代码大于128(¼½ÀÁÂÃÄ...)的字符时,chrome实际上发送了两个字符(字节),而不是一个:(-我以这种方式进行测试:在网址栏中输入
chrome: // net-internals /#events (并发送POST请求),并在 _URL_REQUEST >
HTTP_STREAM_REQUEST> UPLOAD_DATA_STREAM_INIT>
total_size中_我们看到当正文包含大于128的字符字符时,请求的大小是原来的两倍。因此,实际上,发送此字符:(我们没有收益。对于base64字符串,我们没有观察到这种负面行为-
但是我离开了此过程,因为它们可能会被用于发送以外的其他目的(例如比base64更好的替代localstorage中的存储二进制数据的方式-
但是可能存在更好的方法…?)。

2020-07-27