java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class 에러 해결방법

Maven을 사용하여 Spark Scala 프로젝트를 빌드시 발생된 오류 해결방법

오류형태:

"main" 스레드의 Apache Spark 예외 java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

 

변경전:
<artifactId>spark-core_2.10</artifactId>
<artifactId>spark-streaming_2.10</artifactId>

변경후:
<artifactId>spark-core_2.11</artifactId>
<artifactId>spark-streaming_2.11</artifactId>


원인:
pom 파일에서 잘못된 스파크 버전을 참조함

 

 

추가 조치: 캐시 삭제
위의 방법으로도 해결되지 않으면 Maven 저장소 캐시를 삭제하고 재빌드해 보십시오.

Maven 저장소 캐시를 삭제하는 방법은 다음과 같습니다.

macOS: rm -rf ~/.m2/repository
Windows: del /F /Q %USERPROFILE%\.m2\repository