ggml issue - beyondnlp/nlp GitHub Wiki

I used gptneox git repo

사용중 다음과 같은 에러를 만났는데 내가 찾아낸 것까지를 공유하려한다. I encountered the following error while using it, and I would like to share what I found.

문제 발생 지점은 ggml_element_size()함수의 tensor->type이다. The problem occurs in tensor->type of the ggml_element_size() function.

이 변수의 값이 지정된 범위를 초과해서 segmenation fault가 발생한다. A segmentation fault occurs because the value of this variable exceeds the specified range.

그래서 tensor->type이 변경되는 위치를 찾고자 했다. So I wanted to find the location where tensor->type changes.

main함수내의 ctx.model.kv_self.v[0].type이 위에서 이야기한 tensor->type가 동일한 변수인데 gdb로 해당 값이 변하는 위치를 지속적으로 추적하였다. The ctx.model.kv_self.v[0].type in the main function is a variable with the same tensor->type as mentioned above, and I continuously tracked the location where the value changes using gdb.

debugging option을 켜고 threading 문제일수 있어서 single thread로 진행되어 많은 시간이 소요되었다. I turned on the debugging option and it was possible that it was a threading issue, so it was done in a single thread and took a lot of time.

( 다행히 문제는 single thread에서도 제현되었다. 즉 thread issue는 아니다 ) (Fortunately, the problem is also manifested in a single thread, so it is not a thread issue)

코드가 죽는 위치 Where code dies https://github.com/byroneverson/llm.cpp/blob/80f3a1ef957072205c7ed7d4e27ece67a0206a3a/arch/gptneox/gptneox.cpp#L2541C13-L2541C42

값이 변경되는 위치 Where the value changes https://github.com/byroneverson/llm.cpp/blob/80f3a1ef957072205c7ed7d4e27ece67a0206a3a/ggml.c#L7754

자료구조를 100% 완전히 파악한것은 아니라서 어디에서 문제가 생겼고 그 문제를 처음 발생하는 위치는 찾았지만 정확한 해결 포인트는 아직 찾고 있는 중이다. I didn't completely understand the data structure 100%, so I found where the problem occurred and where it first occurred. The exact solution point is still being sought.