java – 在处理程序中组装一个Netty消息

我正在为我的项目制作Netty原型.我试图在Netty上实现一个简单的面向文本/字符串的协议.在我的管道中,我使用以下内容:
public class TextProtocolPipelineFactory implements ChannelPipelineFactory
{
@Override
public ChannelPipeline getPipeline() throws Exception 
{
    // Create a default pipeline implementation.
    ChannelPipeline pipeline = pipeline();

    // Add the text line codec combination first,pipeline.addLast("framer",new DelimiterBasedFrameDecoder(2000000,Delimiters.lineDelimiter()));
    pipeline.addLast("decoder",new StringDecoder());
    pipeline.addLast("encoder",new StringEncoder());

    // and then business logic.
    pipeline.addLast("handler",new TextProtocolHandler());

    return pipeline;
}
}

我在管道中有DelimiterBasedFrameDecoder,String Decoder和String Encoder.

由于此设置,我的传入消息被拆分为多个字符串.这导致我的处理程序的“messageReceived”方法的多次调用.这可以.但是,这需要我在内存中累积这些消息,并在收到消息的最后一个字符串数据包时重新构造消息.

我的问题是,什么是“积累字符串”然后“将它们重新构造成最终消息”的最有效的内存方式.到目前为止我有3个选项.他们是:

>使用StringBuilder累积和toString构造. (这给出了最差的内存性能.事实上,对于具有大量并发用户的大型有效负载,这会产生不可接受的性能)
>通过ByteArrayOutputStream累积到ByteArray中,然后使用字节数组构造(这提供了比选项1更好的性能,但它仍然占用了相当多的内存)
>累积到Dymamic Channel Buffer并使用toString(charset)构建.我还没有介绍过这种设置,但我很好奇这与上述两个选项相比如何.有没有人使用动态通道缓冲区解决了这个问题?

我是Netty的新手,我可能在架构上做错了.非常感谢您的意见.

提前致谢
Sohil

添加我的自定义FrameDecoder实现供Norman审查

public final class TextProtocolFrameDecoder extends FrameDecoder 
{
public static ChannelBuffer messageDelimiter() 
{
      return ChannelBuffers.wrappedBuffer(new byte[] {'E','O','F'});
    }

@Override
protected Object decode(ChannelHandlerContext ctx,Channel channel,ChannelBuffer buffer) 
throws Exception 
{
    int eofIndex = find(buffer,messageDelimiter());

    if(eofIndex != -1)
    {
        ChannelBuffer frame = buffer.readBytes(buffer.readableBytes());
        return frame;
    }

    return null;
}

private static int find(ChannelBuffer haystack,ChannelBuffer needle) {
    for (int i = haystack.readerIndex(); i < haystack.writerIndex(); i ++) {
        int haystackIndex = i;
        int needleIndex;
        for (needleIndex = 0; needleIndex < needle.capacity(); needleIndex ++) {
            if (haystack.getByte(haystackIndex) != needle.getByte(needleIndex)) {
                break;
            } else {
                haystackIndex ++;
                if (haystackIndex == haystack.writerIndex() &&
                    needleIndex != needle.capacity() - 1) {
                    return -1;
                }
            }
        }

        if (needleIndex == needle.capacity()) {
            // Found the needle from the haystack!
            return i - haystack.readerIndex();
        }
    }
    return -1;
   }
  }

解决方法

如果您要实现自己的FrameDecoder,我认为您将获得最佳性能.这将允许您缓冲所有数据,直到您真正需要将其分派给链中的下一个处理程序.请参考 FrameDecoder apidocs.

如果您不想自己处理CRLF的检测,也可以保留DelimiterBasedFrameDecoder并在其后面添加一个自定义FrameDecoder来组装代表一行文本的ChannelBuffers.

在这两种情况下,FrameDecoder都会尽量减少内存副本,尝试只是“包装”缓冲区而不是每次都复制它们.

也就是说,如果你想拥有最好的性能,那就选择第一种方法,如果你想轻松实现第二种方法;)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Netty实现httpserver简单示例 3个Java类实现最基本的接收请求,响应一个文本的简单http服务器。 https://www.cnblogs.com/demingblog/p/99707
Java NIO系列1 概观 Java NIO。中间的N你既可以理解为(new),也就是新的IO,相对于java1.5之前的IO它确实是新的;也可以理解为(no blocking),也就是非阻塞的IO
关键字:使用Netty实现HTTP服务器,使用Netty实现httpserver,Netty Http server Netty是一个异步事件驱动的网络应用程序框架用于快速开发可维护的高性能协议服务器
netty心跳机制示例,使用Netty实现心跳机制,使用netty4,IdleStateHandler 实现。Netty心跳机制,netty心跳检测,netty,心跳 本文假设你已经了解了Netty的
关键字:Netty开发redis客户端,Netty发送redis命令,netty解析redis消息, netty redis ,redis RESP协议。redis客户端,netty redis协议
前提 最近一直在看Netty相关的内容,也在编写一个轻量级的RPC框架来练手,途中发现了Netty的源码有很多亮点,某些实现甚至可以用苛刻来形容。另外,Netty提供的工具类也是相当优秀,可以开箱即用
前言 最近在调研Netty的使用,在编写编码解码模块的时候遇到了一个中文字符串编码和解码异常的情况,后来发现是笔者犯了个低级错误。这里做一个小小的回顾。 错误重现 在设计Netty的自定义协议的时候,
我正在研究Netty应用程序.我想在不同的端口上运行多个服务器,如果没有(阻塞)closeFuture().sync(),它就无法工作. 我使用以下代码在ServerManager类中启动服务器: gpcmServer = new GpcmServer(port); gpspServer = new GpspServer(port); 在这些类中,我按如下方式启动服务器: public Gpsp
之前写了一篇文章:Java网络IO编程总结(BIO、NIO、AIO均含完整实例代码),介绍了如何使用Java原生IO支持进行网络编程,本文介绍一种更为简单的方式,即JavaNIO框架。
游戏一般是长连接,自定义协议,不用http协议,BIO,NIO,AIO这些我就不说了,自己查资料
netty处理客户端传过来的get、post、websocket数据例子
利用Netty中提供的HttpChunk简单实现文件传输
我正在为我的项目制作Netty原型.我试图在Netty上实现一个简单的面向文本/字符串的协议.在我的管道中,我使用以下内容: public class TextProtocolPipelineFactory implements ChannelPipelineFactory { @Override public ChannelPipeline getPipeline() throws Except
我是Netty的新手,我正在使用它来创建一个简单的http代理服务器,它接收来自客户端的请求,将请求转发给另一个服务器,然后将响应复制回原始请求的响应.一个额外的要求是我能够支持超时,因此如果代理服务器花费太长时间来响应,代理将自行响应并关闭与代理服务器的连接.我已经使用Jetty实现了这样的应用程序,但是使用Jetty我需要使用太多的线程来阻止入站请求被阻
对于我使用netty nio lib在 Java中开发的下载客户端,我还实现了带宽限制功能.从技术上讲,我是通过GlobalTrafficShapingHandler对象完成的.基于这个类’JavaDoc我初始化nio客户端管道如下: ... trafficHandler = new GlobalTrafficShapingHandler( new HashedWheelTimer
我正在使用Netty 4.1 Beta3构建一个消息传递应用程序来设计我的服务器,并且服务器理解MQTT协议. 这是我的MqttServer.java类,它设置Netty服务器并将其绑定到特定端口. EventLoopGroup bossPool=new NioEventLoopGroup(); EventLoopGroup workerPool=new NioEventLoopG
我在我的Apache服务器上设置了MOD_SPDY,现在想要改进我的客户端代码,使用Netty的SPDY实现通过SPDY通道将我的请求发送到服务器. 这是我第一次使用Netty的经历,所以我想我得到了我需要以某种方式配置我的频道,然后通过它发送请求.问题是,它似乎不清楚如何配置通道,甚至在此之后,如何跟踪可能同时执行的通道内的多个HTTP请求. 我用Google搜索并找到了SPDY包: http:
您好我有一个Netty Server,其处理程序应该接受字符串.它似乎只接收最多1024个字节的内容.如何增加缓冲区大小.我已经尝试过了 bootstrap.setOption("child.sendBufferSize", 1048576); bootstrap.setOption("child.receiveBufferSize", 1048576); 没有成功. 处理程序如下 public
我需要使客户端能够进行很多连接.我使用Netty 4.0.不幸的是,所有现有的示例都不显示如何创建大量的连接. public class TelnetClient { private Bootstrap b; public TelnetClient() { b = new Bootstrap(); } public void connect(Stri
根据Netty in Action v10的说法,引用计数用于处理ByteBuf的汇总.但是JVM不知道netty引用计数,所以JVM仍然可以使用ByteBuf.如果是这样,为什么还需要关心引用计数和手动调用release()方法? 我从书中引用了一些, Netty in Action v10>添加一些上下文. One of the tradeoffs of reference-counting