实现FTP断点续传

 

应用需求：

        网盘开发工作逐步进入各部分的整合阶段，当用户在客户端修改或新增加一个文件时，该文件要同步上传到服务器端对应的用户目录下，因此针对数据传输（即：上传、下载）这一块现在既定了三种传输方式，即：Ftp传输、HTTP传输以及基于UDT的传输。且这三种数据传输方式是可配的，可以通过不同的接口调用。相比这三种方式，基于UDT的大量文件传输是比较值得研究与创新的地方，它在底层是基于UDP，在上层实现了可靠性的控制；同时它充分考虑到了基于在公网环境下基于Tcp进行传输时拥塞控制算法的缺点，实现了自己的拥塞控制算法，在实际测试中其性能也是明显高于基于Tcp的传输。关于UDT实现文件传输只进行了技术调研，还没有真正实现，这一部分内容将在后续文章中提及。这三天的时间只实现了基于FTP的支持断点续传的文件上传、下载。

实现原理：

        离我们最近的断点续传的应用例子是：迅雷。当使用迅雷下载一个大文件时，它实现了下面的功能：1> 电脑突然断电或程序突然退出后，当我们重新启动迅雷时它还会从程序退出时已经下载的文件点继续向后下载，而不是文件又从头开始下载。2> 可以设置采用多个线程同时下载，每个线程只下载文件中的某一部分，例如：使用三个线程下载一个9000个字节的文件，则第一个线程下载第1—3000个字节，第二个线程下载第3001—6000个字节，第三个线程下载第6001—9000个字节。这三个线程是同时下载一个文件，只是下载不同的部分，它会把下载的文件片段暂存在某个位置，当三个线程全部下载完成时再拼成一个完整的文件。这里不用多说，其优点显而易见。

        其实，断点续传实现的原理很简单，就是无论是上传还是下载时都可以实时记录下已经上传了或下载了多少字节，如果中间因为某种原因传输断开，下载启动时只需要再重新从已经下载的位置继续下载或上传就可以了。

利用Qftp实现断点续传：

        QT中有一个实现Ftp的类：Qftp，它提供了基本的ftp的使用方式，连接ftp服务器：connectToHost；登录：login；上传：put；下载：get，使用这些方法可以实现与ftp服务器交互实现文件上传、下载。但是使用它原生提供的put与get方法，无法实现断点续传。因此，为了实现断点续传我们需要重新实现文件传输，并在其中添加断点续传的控制。其实Ftp文件传输的本质也是使用Tcp来实现底层的文件传输。大体思路就是：利用Qftp的connectToHost登录ftp服务器，使用login登录ftp服务器，使用rawCommand发送ftp原生态的命令，使用QTcpSocket实现文件数据的传输。

        首先，使用QTcpSocket实现文件数据的传输，需要设置ftp服务器为“PASV”被动接收方式，即ftp服务器被动地接收来自客户端的连接请求。

        Ftp服务器所有可以发送的原生命令有：http://www.nsftools.com/tips/RawFTP.htm。

        实现断点上传的命令发送流程：

        1、rawCommand("TYPE I")；设置传输数据的类型：二进制数据或ASCII

        2、rawCommand("PASV")；设置服务器为被动接收方式。发送PASV命令后，服务器会返回自己开启的数据传输的端口，等待客户端连接进行数据传输。返回的数据格式为：“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”，然后从返回的信息里面或去相关的信息，ftp服务器的IP地址：192.168.2.18；ftp服务器开启的用于数据传输的端口：118*256 + 32 = 30240；获得该信息后就需要建立TcpSocket的通信链路，连接ftp服务器。

        3、rawCommand("APPE  remote-file-path")；设置服务器端remote-file-path为追加的方式。如果此时改文件不存在，则服务器端会创建一个。

        4、完成上述流程后，就可以打开本地文件进行读取，并通过tcpsocket链路发送出去(write)。

        实现断点下载的命令发送流程：       

        1、rawCommand("TYPE I")；设置传输数据的类型：二进制数据或ASCII

        2、rawCommand("PASV")；设置服务器为被动接收方式。发送PASV命令后，服务器会返回自己开启的数据传输的端口，等待客户端连接进行数据传输。返回的数据格式为：“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”，然后从返回的信息里面或去相关的信息，ftp服务器的IP地址：192.168.2.18；ftp服务器开启的用于数据传输的端口：118*256 + 32 = 30240；获得该信息后就需要建立TcpSocket的通信链路，连接ftp服务器。

        3、rawCommand("REST  size")；该命令设置ftp服务器从本地文件的哪个地方开始进行数据传输。

        4、rawCommand(“RETR  remote-file-path”)；开始从远程主机传输文件。

        文件上传时在设置APPE返回之后，就可以打开本地文件进行上传；文件下载时，收到PASV的返回信息建立tcpsocket的连接后，需要建立readyRead()的信号槽，在该槽函数中实现数据的读取。

关键代码：

1. 处理rawCommand()发送原生命令返回后的槽函数：

void LHTFileTransfer::ProcRawCommandReply(int nReplyCode, QString strDetail)
{
    //! TYPE
    if (200 == nReplyCode)
    {
             m_ftpHandle->rawCommand("PASV");

             if (currentItem.task_type.compare("Upload") == 0)
             {
                 op = QString("Put");
             }
             else if (currentItem.task_type.compare("DownLoad") == 0)
             {
                 op = QString("Get");
             }
    }

    //! PASV
    else if(227 == nReplyCode)
    {
        const QString backResult = strDetail;

        if (NULL != m_sendDataSocket)
        {
            m_sendDataSocket->close();
            delete m_sendDataSocket;
        }

         m_sendDataSocket = new QTcpSocket();

        connect(m_sendDataSocket, SIGNAL(readyRead()), this, SLOT(ProcReadyRead()), Qt::UniqueConnection);
        connect(m_sendDataSocket, SIGNAL(readChannelFinished()), this, SLOT(ProcReadChannelFinished()), Qt::UniqueConnection);
        connect(m_sendDataSocket, SIGNAL(bytesWritten(qint64)), this, SLOT(ProcBytesWritten(qint64)), Qt::UniqueConnection);

        QStringList lstr = backResult.split("(").last().split(")").first().split(",");
        int nAddress = lstr.at(0).toInt()<<24 |
                       lstr.at(1).toInt()<<16 |
                       lstr.at(2).toInt()<<8 |
                       lstr.at(3).toInt();
        QHostAddress hostAddress(nAddress);
        int nPort = lstr.at(lstr.length() - 2).toInt() * 256 + lstr.last().toInt();
        m_sendDataSocket->connectToHost(hostAddress, nPort);

        //! APPE , 需要接远程文件的绝对路径
        QString appeShell;
        if (op.compare("Put") == 0)
        {
            appeShell = QString("APPE %1").arg(currentItem.file_remote_path);
        }
        else if (op.compare("Get") == 0)
        {
            //! 这里的REST后面的大小应该为本地保存的问价的大小
            appeShell = QString("REST 0");
        }

        m_ftpHandle->rawCommand(appeShell);
    }

    //! 发送数据
    else if (150 == nReplyCode)
    {
        if (op.compare("Put") == 0)
        {
            m_fileHandle = new QFile(currentItemFilePath);

            if (!m_fileHandle->open(QIODevice::ReadOnly))
            {
                qDebug() << "file open error ...";
                return ;
            }

            const qint64 fileSize = m_fileHandle->size();

            m_fileHandle->seek(currentItem.uploaded_size);

            while(!m_fileHandle->atEnd())
            {
                const qint64 nBlockSize = 16 * 1024 ;
                char buf[16 * 1024];

                qint64 nowPos = m_fileHandle->pos();

                qint64 readLen = m_fileHandle->read(buf, nBlockSize);

                if (readLen !=0 && readLen != -1)
                {
                    m_sendDataSocket->write(buf, readLen);
                    m_sendDataSocket->flush();
                    emit DataTransferProgress(nowPos, fileSize);
                }
            }

            m_sendDataSocket->flush();
            m_sendDataSocket->close();
            m_sendDataSocket = NULL ;

            emit DataTransferProgress(m_fileHandle->pos(), m_fileHandle->size());

            m_procTask.remove(currentItemFilePath);

            m_fileHandle->close();

            //emit StartNextTask();

        }
        else if(op.compare("Get") == 0)
        {
            m_fileHandle = new QFile(currentItem.file_remote_path);

            if (!m_fileHandle->open(QIODevice::WriteOnly))
            {
                qDebug() << "file open error ...";
                return ;
            }
        }
    }

    else if(350 == nReplyCode)
    {
        QString shell = QString("RETR %1").arg(currentItemFilePath);
        m_ftpHandle->rawCommand(shell);
    }
}

2. 断点下载时实现buffer读取的函数：

void LHTFileTransfer::ProcReadyRead()
{
    qDebug() << "[DownLoad] ProcReadyReady ....";
    QByteArray buffer = m_sendDataSocket->readAll();
    m_fileHandle->write(buffer);

    m_fileHandle->flush();

    emit DataTransferProgress(m_fileHandle->size(), 0);
}

面临的问题以及后续需要优化的地方：

1. 字符编码问题，即当需要上传的文件名是中文名称时，需要对其进行转码。

2. 现在实现的是单线程，尚未添加多线程断点下载以及队列的实现。