SQL Server 2008을 사용하고 있는데, 필자의 요구 사항 중 하나는 모집단 표준 편차를 계산하는 것입니다. SQL Server에는 동일한 기능인 stdevp이 내장되어 있습니다. 나는 그것을 사용하고 있지만 나는 내가 얻고있는 결과에 당황하고있다. 동일한 수의 그룹에 대한 인구 표준 편차는 0이어야하지만 여기에서는 약간의 차이는 있으나 약간의 차이
Microsoft Visual C++ 6.0으로 작성된 응용 프로그램이 있습니다. 이제 Visual Studio 2010에서 C#을 사용하여 응용 프로그램을 다시 작성했지만 정밀도 문제로 인해 결과가 일치하지 않습니다. 이러한 정밀도 문제 중 하나는 다음과 같습니다. float a = 1.0f;
float b = 3.0f;
float c = a/b;
루비에서 0.0001 단계로 0.0001에서 1까지 계산하고 싶습니다. 이 코드를 작성했지만 무한 루프가 시작됩니다. 통역사가 잘못 합산 한 것 같아. 여기 x = 0.0001
while x != 1.0
puts x
x = x + 0.0001
end
그것은 처음 10 값을 제공한다 : 0.0001
0.0002
0.00030000
고정 소수점 (유효 숫자)을 사용하여 두 개의 부동 소수점을 비교하는 확장 방법을 작성하여 허용 오차 또는 백분율 차이 대신 동일한 값인지 확인합니다. float 비교에 관한 다른 질문을 살펴보면 복잡한 구현을 볼 수 있습니다. 지나치게 단순화했거나 유효합니까? /// <summary>
/// Determines if the float value is e
SQL Server 2008에서 공간 유형의 Well-Known Text (WKT) 로의 변환과 일치하지 않는 동작이 발생합니다. 데이터가 동일하게 저장되어있는 것처럼 보입니다. 그러나 WKT 로의 변환은 기계에 따라 다르게 작동합니다! 포인트 (-124.95714099999999 39.326679) : 나는, 나는 두 개의 서로 다른 결과를 사용할 수 볼
왜 ColdFusion의 수학 연산은 부동 소수점 수학 문제의 영향을받는 것 같지 않습니까? equivlant 자바 코드는 두 개의 복식을 추가 할 때 나는 "기대 d는 무엇을 생산하지만 result = 0.06 + 0.01;
writedump(result);
writedump(result.getClass().getName());
0.07 java
나는 (큰) float 배열을 가졌으며, 각 float은 4 바이트를 차지합니다. 방법은 내 수레가 는 0과 255 사이 원거리 적은 4 바이트보다 의 각 플로트를 저장할 수 있다는 사실 주어진 있나요? 전체 배열에 대해 어느 정도의 계산을 수행 할 수 있습니다. 나는 (을)를 사용하고 있습니다.
ParaView에서 처리/시각화하기 위해 C++ 프로그램에서 일부 데이터를 인쇄하고 있지만 부동 소수점에 문제가 있습니다. Paraview는 Float32 및 Float64 데이터 유형을 모두 지원합니다. Float64는 일반적인 제한 인 +/- 1.7e +/- 308을 사용하는 double과 같습니다. 그러나 내 코드는 6.5e-318과 같은 숫자를 인쇄
위도/경도에 BigDecimal을 사용해야하는 XSD이 있습니다. 나는 현재 double/lon을 double 형으로 가지고 BigDecimal로 변환하지만 약 12 개 정도의 정밀도를 사용해야합니다. 나는 그것을 설정하는 방법을 알아낼 수 없었다. 아무도 이것으로 나를 도울 수 있습니까?