如何解决通过TCP / IP套接字发送大数据

我有一个小项目，在Java中运行服务器，在32768 bytes中运行客户端。服务器将图像发送到客户端。一些图像很大（有时可达10MiB），因此我将图像字节分割并以using (var stream = new MemoryStream(ImageData)) { for (int j = 1; j <= dataSplitParameters.NumberOfChunks; j++) { byte[] chunk; if (j == dataSplitParameters.NumberOfChunks) chunk = new byte[dataSplitParameters.FinalChunkSize]; else chunk = new byte[dataSplitParameters.ChunkSize]; int result = stream.Read(chunk,chunk.Length); string line = DateTime.Now + ",Status OK," + ImageName+ ",ImageChunk," + j + "," + dataSplitParameters.NumberOfChunks + "," + chunk.Length; //write read params streamWriter.WriteLine(line); streamWriter.Flush(); //write the data binaryWriter.Write(chunk); binaryWriter.Flush(); Console.WriteLine(line); string deliveryReport = streamReader.ReadLine(); Console.WriteLine(deliveryReport); } }的大块发送。我的C＃服务器代码如下：

long dataRead = 0;
for (int j = 1; j <= numberOfChunks; j++) {
    String line = bufferedReader.readLine();
    tokens = line.split(",");
    System.out.println(line);

    int toRead = Integer.parseInt(tokens[tokens.length - 1]);
    byte[] chunk = new byte[toRead];
    int read = inputStream.read(chunk,toRead);
    //do something with the data
    dataRead += read;

    String progressReport = pageLabel + ",progress: " + dataRead + "/" + dataLength + " bytes.";
    bufferedOutputStream.write((progressReport + "\n").getBytes());
    bufferedOutputStream.flush();

    System.out.println(progressReport);
}

我的Java客户端代码如下：

Document Page 1,progress: 49153/226604 bytes.
�9��%>�YI!��F�����h�
Exception in thread "main" java.lang.NumberFormatException: For input string: .....

问题是，当我运行代码时，客户端崩溃并显示一条错误消息，指出它正在读取虚假数据，或者客户端和服务器都挂起。这是错误：

path.join(process.resourcesPath,'..','mvdb.json')

我在做什么错了？

解决方法

基本问题。

将输入流包装到缓冲读取器中后，您必须停止访问输入流。该bufferedReader已被 buffered 缓冲，它将读取所需的数据， NOT 不受限于完全读取下一个换行符号并在此处停止。

java端的BufferedReader读取的内容不止于此，因此它已经消耗了一大堆图像数据，因此没有任何出路。通过创建BufferedReader，您使这项工作变得不可能了，因此您无法做到这一点。

潜在问题。

您只有一个TCP / IP连接。在此上，您发送一些不相关的文本（页面，进度等），然后发送未知数量的图像数据，然后发送另一个不相关的进度更新。

这从根本上打破了。图像解析器如何知道发送图像的一半，您会收到一条状态更新行？文本也是二进制数据，没有神奇的标识符让客户知道：该字节是图像数据的一部分，但是此字节是在进度信息之间发送的一些文本。

简单修复。

您会认为简单的解决方法是..那么，那就别再这样做了！您为什么要发送此进度？客户端完全有能力知道它读取了多少字节，没有必要发送该字节。只是..获取您的二进制数据。打开输出流。发送所有数据。在客户端，打开输入流，读取所有数据。不要涉及字符串。请勿使用任何带有“与字符配合使用”的效果（因此，BufferedReader吗？不，可以使用BufferedInputStream）。

...但是现在客户不知道标题，也不知道总大小！

因此制定一个有线协议。可能微不足道。

这是您的有线协议：

4个字节，大端：SizeOfName
SizeOfName字节数。 UTF-8编码的文档标题。
4个字节，大端：SizeOfData
SizeOfData字节数。图片数据。

那就是您实际上是否希望客户端能够渲染进度条并知道标题。如果不需要，则不执行任何操作，直接向上发送字节，并发出文件已通过以下方式完全发送文件：关闭连接。

以下是一些示例Java代码：

try (InputStream in = ....) {
  int nameSize = readInt(in);
  byte[] nameBytes = in.readNBytes(nameSize);
  String name = new String(nameBytes,StandardCharsets.UTF_8);
  int dataSize = readInt(in);
  try (OutputStream out = 
    Files.newOutputStream(Paths.get("/Users/TriSky/image.png")) {

    byte[] buffer = new byte[65536];
    while (dataSize > 0) {
      int r = in.read(buffer);
      if (r == -1) throw new IOException("Early end-of-stream");
      out.write(buffer,r);
      dataSize -= r;
    }
  }
}

public int readInt(InputStream in) throws IOException {
    byte[] b = in.readNBytes(4);
    return ByteBuffer.wrap(b).getInt();
}

关闭笔记

应用程序中的另一个错误是您使用了错误的方法。 Java的“ read（bytes）”方法不会（不必要）完全填充该字节数组。所有read（byte []）都会读取至少1个字节（除非关闭流，然后不读取任何内容，然后返回-1。这个想法是：read将读取 optimal 的bytes：现在已经准备好要提供给您的字节数是多少？谁知道-如果您忽略in.read（bytes）的返回值，则代码必定被破坏了，而您正在这样做。例如，您真正想要的是readNBytes，它保证它完全填充了该字节数组（或直到流结束，以先发生的为准）。

请注意，在上面的传输代码中，我也使用基本读取，但是在这里我不会忽略返回值。

您的Java代码似乎正在使用BufferedReader。它将数据读入自己的缓冲区中，这意味着它在底层套接字输入流中不再可用-这是您的第一个问题。 inputStream.read的使用方式还有第二个问题-无法保证读取所需的所有字节，您必须在其周围放一个循环。

这不是一个特别容易解决的问题。当您在同一流中混合二进制和文本数据时，很难将其读回。在Java中，有一个名为DataInputStream的类可以有所帮助-它有一个readLine方法来读取一行文本，还有一个方法来读取二进制数据：

DataInputStream dataInput = new DataInputStream(inputStream);

for (int j = 1; j <= numberOfChunks; j++) {
    String line = dataInput.readLine();
    ...
    byte[] chunk = new byte[toRead];
    int read = dataInput.readFully(chunk);
    ...
}

DataInputStream有局限性：不推荐使用readLine方法，因为它假定文本以latin-1编码，并且不允许您使用其他文本编码。如果您想走这条路，则需要创建自己的类来读取流格式。

有些图像很大（有时可达10MiB），所以我将图像字节分割并以32768字节的块发送。

您知道这完全没有必要吧？将数兆字节的数据发送到TCP套接字，并将所有数据流传输到接收端，这绝对没有问题。

当您尝试发送图像时，您必须将图像作为普通文件打开，然后将图像子串成一些块，每个块将其更改为“base64encode”当您发送并且客户端对其进行解码时，因为图像数据不是普通数据，所以 base64encode 将此符号更改为普通字符，例如 AfHM65Hkgf7MM

通过TCP / IP套接字发送大数据