GNU/Linux 시스템 호출을 사용하여 Haskell에서 Socket to Socket 데이터 전송을위한 'splice'호출

Question

업데이트 : Mr. Nemo의 대답이 문제를 해결하는 데 도움이되었습니다. 아래 코드에는 수정 사항이 포함되어 있습니다! 아래 전화 번호는 nb False과 nb True입니다.

또한 (데이터 전송을 위해 잘 알려진 소켓 소켓 OS 특정 휴대용 구현 루프를 가지고)splice라는 새로운 하스켈 패키지가있다.

나는 다음 (하스켈) 코드를 가지고 :

#ifdef LINUX_SPLICE 
#include <fcntl.h> 
{-# LANGUAGE CPP #-} 
{-# LANGUAGE ForeignFunctionInterface #-} 
#endif 

module Network.Socket.Splice (
    Length 
    , zeroCopy 
    , splice 
#ifdef LINUX_SPLICE 
    , c_splice 
#endif 
) where 

import Data.Word 
import Foreign.Ptr 

import Network.Socket 
import Control.Monad 
import Control.Exception 
import System.Posix.Types 
import System.Posix.IO 

#ifdef LINUX_SPLICE 
import Data.Int 
import Data.Bits 
import Unsafe.Coerce 
import Foreign.C.Types 
import Foreign.C.Error 
import System.Posix.Internals 
#else 
import System.IO 
import Foreign.Marshal.Alloc 
#endif 


zeroCopy :: Bool 
zeroCopy = 
#ifdef LINUX_SPLICE 
    True 
#else 
    False 
#endif 


type Length = 
#ifdef LINUX_SPLICE 
    (#type size_t) 
#else 
    Int 
#endif 


-- | The 'splice' function pipes data from 
-- one socket to another in a loop. 
-- On Linux this happens in kernel space with 
-- zero copying between kernel and user spaces. 
-- On other operating systems, a portable 
-- implementation utilizes a user space buffer 
-- allocated with 'mallocBytes'; 'hGetBufSome' 
-- and 'hPut' are then used to avoid repeated 
-- tiny allocations as would happen with 'recv' 
-- 'sendAll' calls from the 'bytestring' package. 
splice :: Length -> Socket -> Socket -> IO() 
splice l (MkSocket x _ _ _ _) (MkSocket y _ _ _ _) = do 

    let e = error "splice ended" 

#ifdef LINUX_SPLICE 

    (r,w) <- createPipe 
    print ('+',r,w) 
    let s = Fd x -- source 
    let t = Fd y -- target 
    let c = throwErrnoIfMinus1 "Network.Socket.Splice.splice" 
    let u = unsafeCoerce :: (#type ssize_t) -> (#type size_t) 
    let fs = sPLICE_F_MOVE .|. sPLICE_F_MORE 
    let nb v = do setNonBlockingFD x v 
       setNonBlockingFD y v 
    nb False 
    finally 
    (forever $ do 
     b <- c $ c_splice s nullPtr w nullPtr l fs 
     if b > 0 
     then c_splice r nullPtr t nullPtr (u b) fs) 
     else e 
    (do closeFd r 
     closeFd w 
     nb True 
     print ('-',r,w)) 

#else 

    -- ..  

#endif 


#ifdef LINUX_SPLICE 
-- SPLICE 

-- fcntl.h 
-- ssize_t splice(
-- int   fd_in, 
-- loff_t*  off_in, 
-- int   fd_out, 
-- loff_t*  off_out, 
-- size_t  len, 
-- unsigned int flags 
--); 

foreign import ccall "splice" 
    c_splice 
    :: Fd 
    -> Ptr (#type loff_t) 
    -> Fd 
    -> Ptr (#type loff_t) 
    -> (#type size_t) 
    -> Word 
    -> IO (#type ssize_t) 

sPLICE_F_MOVE :: Word 
sPLICE_F_MOVE = (#const "SPLICE_F_MOVE") 

sPLICE_F_MORE :: Word 
sPLICE_F_MORE = (#const "SPLICE_F_MORE") 
#endif 

참고 : 지금 위코드는 단지 작품! 다음은 Nemo에게 더 이상 유효하지 않습니다! (이미 소켓 API send 및 recv 호출을 사용하여 데이터 교환 데이터의 최소량을 전송하는데 사용되거나 핸들로 변환 hGetLine 및 hPut 함께 사용되는) 두 개방형 접속 소켓과 상기 정의 된 바와 같은 I가 splice 전화

및 첫 번째 c_splice 호출 사이트에서

Network.Socket.Splice.splice: resource exhausted (Resource temporarily unavailable) 

: 나는 점점 계속 c_splice 반환 -1와 어 resource exhausted | resource temporarily unavailable를 읽고 값 (아마 EAGAIN) 일부 errno을 설정 엉 위로 보았다.

다른 Length 값을 가진 splice을 호출하여 테스트했습니다. 1024, 8192.

Answer 1

하스켈에 대해 모르겠지만 "자원 일시적으로 사용할 수 없음"은 EAGAIN입니다.

기본적으로 Haskell sets its sockets to non-blocking mode처럼 보입니다. 따라서 데이터가 없을 때 읽으 려하거나 버퍼가 꽉 차있을 때 쓰기를 시도하면 EAGAIN으로 실패합니다.

소켓을 블로킹 모드로 변경하는 방법을 알아 내면 문제를 해결할 수 있습니다.

[업데이트]

는 다른 방법으로, 읽거나 소켓을 작성하기 전에 select 또는 poll를 호출합니다. 그러나 EAGAIN을 처리해야합니다. 희소 한 경우가 있기 때문에 select은 실제로 소켓이 준비되지 않았을 때 소켓이 준비되었음을 나타냅니다.

Answer 2

sendfile() syscall이 도움이 될까요? 그렇다면 sendfile package을 사용할 수 있습니다.