작업 스레드와 Azure CloudBlobClient

Question

저는 며칠 전에 작업을 진행했으며 다중 스레드 및 BLOB 클라이언트에 관한 이전 질문을 읽고 제안 사항을 구현했습니다.

아래에서 문제를 해결했습니다.

아무런 오류도 발생하지 않고 단지 threadtest 컨테이너 (이미 있음)에는 아무 것도 기록되지 않습니다. 때로는 하나의 얼룩이 쓰여지는 경우가 있습니다.

잠을 1 초로 늘리면 모든 것이 잘됩니다.

코드의 이유는 Azure의 BLOB 작성 기능을 벤치 마크하는 것입니다. (저는 현재 70 시간을하고 8 개 단일 스레드 인스턴스를 가지고있다하지만이 알아낼 수 있다면 그 이상 얻을 수 있습니다 나는 확신)

using System; 
using System.Net; 
using System.Threading; 
using Microsoft.WindowsAzure; 
using Microsoft.WindowsAzure.ServiceRuntime; 
using Microsoft.WindowsAzure.StorageClient; 
using System.Threading.Tasks; 

namespace ThreadedWriterTest 
{ 
    public class WorkerRole : RoleEntryPoint 
    { 
     private static CloudStorageAccount storageAccount; 

     public override void Run() 
     { 
      while (true) 
      { 
       Thread.Sleep(10); 
       Task.Factory.StartNew(()=> writeStuff()); 
      } 
     } 

     private void writeStuff() 
     { 
      CloudBlobClient threadClient = storageAccount.CreateCloudBlobClient(); 
      threadClient.GetBlobReference("threadtest/" + Guid.NewGuid().ToString()).UploadText("Hello " + Guid.NewGuid().ToString()); 
     } 



     public override bool OnStart() 
     { 
      ServicePointManager.DefaultConnectionLimit = 12; 
      storageAccount = CloudStorageAccount.Parse(CloudConfigurationManager.GetSetting("XXX")); 
      return base.OnStart(); 
     } 
    } 
} 

Answer 1

너무 많은 동시 스레드를 생성 한 위의 코드, 내 순진 접근 Thread.Sleep()으로 조절하면 스레드 수를 제한하는 데 충분하지 않았습니다.

세마포어 (기본적으로 얼마나 많은 스레드가 동시에 실행되고 있는지 계산하는 메커니즘)를 도입하면이 문제를 극적으로 해결할 수 있습니다. 나는 꾸준히 동시성 제한과 인스턴스 수를 늘리고 있으며 이미 1 시간에 100 만회를 넘고 있습니다. (실제 코드는 홀수 한 ~ 4MB의 랜덤 길이 데이터 16-32K를 생성합니다 - 동시 인스턴스 10 개가있는 4 개의 인스턴스)

using System; 
using System.Net; 
using System.Threading; 
using Microsoft.WindowsAzure; 
using Microsoft.WindowsAzure.ServiceRuntime; 
using Microsoft.WindowsAzure.StorageClient; 
using System.Threading.Tasks; 

namespace ThreadedWriterTest 
{ 
    public class WorkerRole : RoleEntryPoint 
    { 
     private static CloudStorageAccount storageAccount; 
     private static Semaphore semaphore = new Semaphore(3, 3); 

     public override void Run() 
     { 
      while (true) 
      { 
       semaphore.WaitOne(); 
       Task.Factory.StartNew(()=> writeStuff()); 
      } 
     } 

     private void writeStuff() 
     { 
      CloudBlobClient threadClient = storageAccount.CreateCloudBlobClient(); 
      threadClient.GetBlobReference("threadtest/" + Guid.NewGuid().ToString()).UploadText("Hello " + Guid.NewGuid().ToString()); 
      semaphore.Release(); 
     } 



     public override bool OnStart() 
     { 
      ServicePointManager.DefaultConnectionLimit = 12; 
      storageAccount = CloudStorageAccount.Parse(CloudConfigurationManager.GetSetting("XXX")); 
      return base.OnStart(); 
     } 
    } 
}