floating-point

1열

6답변

메모리를 낭비하지 않고 어떻게 10 개의 부동 소수점을 배열에 저장할 수 있습니까?

6열

3답변

Im 현재 Code Complete, Steve McConnell, 특히 부동 소수점 수 295 페이지를 읽는 중입니다. 는 다음 코드 실행시 : 0.9 1.0 수가 다른 I가 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 에서 인쇄를 얻었다 double nominal = 1.0; double sum = 0.0; for

3열

3답변

부동 소수점 방정식을 다시 적용

기울기 계산의 정확성을 향상시킬 수있는 방법이 있는지 알고 싶습니다. (이것은 몇 달 전까지 here으로 나타났습니다). 이 변경 보인다 float get_slope(float dXa, float dXb, float dYa, float dYb) { return (dXa - dXb)/(dYa - dYb); } float get_slope(flo

23열

4답변

Java BigDecimal이 1E + 1을 반환하는 이유는 무엇입니까?

이 코드는 때때로 1E + 1을 반환하지만 다른 입력 (예 : 17)의 경우 출력은 과학 표기법으로 인쇄되지 않습니다. BigDecimal bigDecimal = BigDecimal.valueOf(doubleValue).multiply(BigDecimal.valueOf(100d)).stripTrailingZeros(); System.out.println(

8열

7답변

파이썬에서 부정확 한 로그

저는 회사에서 매일 Python 2.4로 작업합니다. 나는 다용도 로그 함수 'log'를 표준 수학 라이브러리에서 사용했고 log (2 ** 31, 2)를 입력했을 때 31.000000000000004를 반환했다. 나는 2의 다른 힘으로 똑같은 일을했으며 완벽하게 작동했습니다. 'log10 (2 ** 31)/log10 (2)'을 실행했고 라운드 31.0을

2열

3답변

Perl의 Statistics :: Descriptive에서 무한 루프를 일으키는 반올림 오류를 해결하려면 어떻게해야합니까?

주파수 분포를 계산하고 부동 소수점 반올림 오류 문제를 해결하기 위해 Perl에서 Statistics::Descriptive 라이브러리를 사용하고 있습니다. 통계 모듈에 다른 숫자와 sprintf'd라는 두 개의 값 0.205와 0.205를 전달하고 빈도 분포를 계산하도록 요청하지만 무한 루프에 걸려 있습니다. 나는 그것을하고있어 볼 수있는 디버거를 통해

6열

6답변

특정 숫자의 부동 소수점 숫자로 인쇄

소수 자릿수를 제어하는 방법을 알고 있지만 구체적으로 0 수를 어떻게 제어합니까? 예를 들어 다음 '%2.2f' 연산자는 관계없이 수는 얼마나 많은 유효 숫자의 소수의 동일한 수를 할 것입니다 104.06250000 -> 104.0625 119.00000 -> 119.0 72.000000 -> 72.0

2열

1답변

IntPtr 매개 변수를 float 값으로 채우는 방법은 무엇입니까?

C# .NET에서 C 라이브러리를 사용하기 위해 dllImport를 사용하고 있습니다. 이 라이브러리의 메소드 중 하나는 데이터 유형 void *를 매개 변수로 사용합니다. 나는 void *와 일치하는 C#에서 IntPtr 데이터 형식을 사용할 수 있다는 것을 알았습니다. 이제이 IntPtr 매개 변수의 값을 설정하는 방법을 간단히 알 수 없습니다. 사실이

2열

3답변

1000의 JSP/JSTL 나누기가 때때로 나머지를 제공합니까?

1000으로 나눌 때 "정확하게"나눗셈을하지 않는 버그를 뛰어 넘는 경우가 있습니다. 예를 들어 .09055를 얻는 대신 90.55를 1000으로 나눌 때 .090549999999가됩니다. <c:out value="${bean.paPrice/1000}" /> 왜 이런 일이 발생합니까? 이것은 부동 소수점 연산의 결과입니까? Google 검색에서 이것이

11열

1답변

부동 소수점 오류 -1. # J의 의미는 무엇입니까?

최근에 우리 응용 프로그램에서 데이터를 내보낼 때 (드물게) 내보내기 로그에 "-1. # J"처럼 보이는 float 값이 포함되는 경우가 있습니다. 플로트가 어떻게 바이너리로 보이는지, 또는 Visual Studio가 어떻게 표시하는지 모를 정도로 재현 할 수 없었습니다. printf의 소스 코드를 살펴 보았지만 아무 것도 찾지 못했습니다. (100 % 확