Articial Intelligence 중요특허 1(3) - Renesas

【0056】[실시 형태 2] 다음으로 실시 형태 2에 대해 설명한다. 실시 형태 2와 관련된 데이터 처리 장치 1은 실시 형태 1과 관련된 데이터 처리 장치 1과 비교하여 적화연산 정밀도를 높히기 때문에, 각 입력 데이터에 대해 곱할 수 있는 계수가 하나에서 M개(M는 2 이상의 자연수)로 확장되는 점에서 다르다. 각 입력 데이터에 대해 곱할 수 있는 계수가 하나에서 M개(M는 2 이상의 자연수)로 확장되는 것에 대응하고, 각 입력 데이터에 대한 계수 어드레스도 하나에서 M개로 확장된다. 하나의 이원화된 입력 데이터에 대한 계수 어드레스의 수가 하나에서 M개로 확장되는 이외의 구성 및 동작은 실시 형태 1에서 설명한 데이터 처리 장치 1과 같으므로 동일한 구성에 대해서는 동일한 부호를 교부해, 중복한 설명은 생략한다.

 

【0057】 (구성) 도 13은 실시 형태 2와 관련된 추론부 14 및 RAM13A의 구성 예를 나타내는 도이다. 도 13에 도시된 바와 같이, 실시 형태 2와 관련된 RAM13A는 실시 형태 1과 관련된 계수 어드레스 정보 저장부 131을 대신하여 계수 어드레스 정보 저장부 131 A를 구비한다.

 

【0058】도 14는 실시 형태 2와 관련된 데이터 처리 장치가 수행하는 적화연산 처리의 개요를 설명하는 도이다. 도 14에 도시된 바와 같이, 실시 형태 2와 관련된 데이터 처리 장치 1에서는 계수 어드레스 정보는 M×N의 행렬로서 표현될 수 있다. 도 14를 참조하여 M×N의 행렬 각 열에 포함되는 M개의 계수 어드레스는 M개의 계수 어드레스에 의해 참조되는 M개의 계수의 합이 원래 가중치 파라미터에 가장 가깝게 이루어지도록, 추론 처리에 앞서 미리 결정된다. 행렬의 최좌단( 제1열)을 참조하여(계수 어드레스 A0로 참조되는 계수 값)+(계수 어드레스 A3로 참조되는 계수 값)+(계수 어드레스 A0로 참조되는 계수 값)+ … +(계수 어드레스 A1로 참조되는 계수 값)는 양자화 전의 가중치 파라미터의 제1 성분(요소)과 거의 동등하게 되도록 조정되어 있다. 환언하면, 양자화 전의 가중치 파라미터가 1 또는 복수의 계수 총합값과 거의 동등하게 되도록 분해되는 것에 대응하고, 계수 어드레스 정보가 정해진다. 계수 어드레스의 조합의 조정 방법으로 예를 들면 M개의 계수 어드레스의 조합에서 표현 가능한 가중치 파라미터 값 테이블을 미리 생성하고 원래의 가중치 파라미터와 가장 가까운 테이블 값이 생성되는 계수 어드레스 M개의 조합을 계수 어드레스 정보 저장부 131 A에 저장 해 둘 수 있다.

 

【0059】(효과) 실시 형태 2에 의하면 데이터 처리 장치 1은 하나의 이원화된 입력 데이터에 대해, 복수개의 계수 어드레스를 계수 어드레스 정보 저장부 131에 저장한다. 따라서 실시 형태 1과 관련된 데이터 처리 장치 1과 비교하여 가중치 파라미터를 더욱 정밀하게 유사할 수 있다. 따라서, 실시 형태 2와 관련된 데이터 처리 장치 1은 신경망의 추론 처리에 있어서 보다 높은 인식 정밀도를 실현할 수 있다.

 

【0074】
(효과) 실시 형태 3과 관련된 데이터 처리 장치 1 B는 실시 형태 2와 관련된 데이터 처리 장치 1 A와 비교하여 액세스 횟수 축적부 143을 추가로 구비한다. 액세스 횟수 축적부 143은 계수 어드레스 정보 저장부 131 A에서 읽어내지는 계수 어드레스에 대해 읽기 액세스가 있던 횟수를 카운트한다. 환언하면, 액세스 횟수 축적부 143은 계수 저장부 132에 저장되는 각 계수를 곱화연산에 사용하는 횟수를 카운트하기 때문에, FPU141B로 각 계수를 누적 가산하는 횟수를 알 수 있다. 따라서 데이터 처리 장치 1 B는 계수 어드레스 정보 저장부 131 A에서 계수 어드레스를 취득할 때마다, 계수 어드레스에 대응하는 계수를 읽어내기 위해 계수 저장부 132에 액세스할 필요가 없어진다. 즉 데이터 처리 장치 1 B는 FPU141B에서의 곱화연산을 위해 각 계수에 대해 1도만 계수 저장부 132를 액세스하면 좋다. 일반적으로 참조 횟수의 카운트에 필요한 전력보다 메모리 액세스에 필요한 전력이 크기 때문에 실시 형태 3과 관련된 데이터 처리 장치 1 B는 신경망에 의한 추론 처리에 필요한 전력을 억제할 수 있다. 신경망에서는 곱화연산 처리에 이용되는 가중치 파라미터의 수가 대규모가 되기 때문에 실시 형태 3과 관련된 데이터 처리 장치 1 B에 의한 전력 억제 효과는 크다.

 

 

어드레스 A2의 참조 횟수) ×(계수 어드레스 A2에 저장되는 계수)+(계수 어드레스 A3의 참조 횟수) ×(계수 어드레스 A3에 저장되는 계수)+(계수 어드레스 A4의 참조 횟수) ×(계수 어드레스 A4에 저장되는 계수)+(계수 어드레스 A5의 참조 횟수) ×(계수 어드레스 A5에 저장되는 계수)+(계수 어드레스 A6의 참조 횟수) ×(계수 어드레스 A6에 저장되는 계수)+(계수 어드레스 A7의 참조 횟수) ×(계수 어드레스 A7에 저장되는 계수)를 계산함으로써 산출된다. 도 15의 예에서는 출력 데이터는 FPU141B에 의해 3×0.283+3×(-0.332) +2×1.232+2×0.432+0×(-0.543) +0×0.123+1×(-1.121) +1×0.635를 연산함으로써 산출된다.