nodejs-解析块状Twitter json

一尘不染

nodejs-解析块状Twitter json

node.js

nodejs服务器从Twitter“获取”此JSON流并将其发送到客户端：

stream.twitter.com/1/statuses/filter.json?track=gadget

返回给客户端的数据是“块状” JSON，并且客户端上的JSON.parse（chunk）和eval（’（’+ chunk
+’）’）都会导致解析错误。连接被卡住的部分并等待“结束”事件也不是解决方案

我注意到以前的示例在客户端上使用了类似的东西，这些东西以前似乎很有效：

  socket.onmessage = function(chunk) { 
  data = eval("(" + chunk.data + ")");
  alert(data.user.screen_name);

我在客户端使用它，它导致解析错误：

var socket = new io.Socket();
    socket.on('message', function(chunk) { 
    var data = eval('(' + chunk + ')'); // parsing error
    alert(data.screen_name):

我知道它成功返回了带有以下内容的JSON块：

  var socket = new io.Socket();
        socket.on('message', function(chunk) {  
        alert(chunk): // shows a JSON chunk

服务器：

  response.on('data', function (chunk) {
    client.each(function(e) {
      e.send(chunk);  
  });

发生了什么变化还是我做错了什么？

更新： ‘end’事件不会因为其流而触发？

http.get({
  headers: { 'content-type': 'application/json' },
  host: 'stream.twitter.com',
  path: '/1/statuses/filter.json?track...
}, function(res) {

  res.setEncoding('utf8');
  res.on('data', function (chunk) {
    client.each(function(e) {
      e.send(chunk);  
  });  
 });

  // does not fire
  res.on('end', function () {

  });

...

我正在研究与HTTP 1.0和HTTP 1.1在发送分块数据方面的区别。

阅读 266

2020-07-07

共1个答案

一尘不染

查看Twitter文档中标题为“ 解析响应”的部分。

从Streaming API解析JSON响应很简单，每个对象都在自己的行上返回，并以回车结尾。对象元素（例如，状态对象的文本元素）中可能出现换行符（\
n），但回车符（\ r）不应出现。

在服务器端，继续堆积块，直到看到回车"\r"。找到回车符后，提取字符串直到回车符，这将给我们一条鸣叫。

var message = ""; // variable that collects chunks
var tweetSeparator = "\r";

res.on('data', function(chunk) {
    message += chunk;

    var tweetSeparatorIndex = message.indexOf(tweetSeparator);
    var didFindTweet = tweetSeparatorIndex != -1;

    if (didFindTweet) {
        var tweet = message.slice(0, tweetSeparatorIndex);
        clients.forEach(function(client) {
            client.send(tweet);
        });
        message = message.slice(tweetSeparatorIndex + 1);
    }
});

客户端变得简单。只需将套接字消息整体解析为JSON。

socket.on('message', function(data) {
    var tweet = JSON.parse(data);
});

2020-07-07