데이터 저장시 인코딩 오류

크롤링 후 데이터 저장시 인코딩을 utfmb4로 설정했는데도 

 

'utf-8' codec can't encode characters in position 188-189: surrogates not allowed

오류가 뜨면  이모티콘 오류를 고려해보자.

 

 

 

이모지를 제거하는 함수 만들어서 사용해 해결!

def rmEmoji(inputData):
    return inputData.encode('utf-8', 'ignore').decode('utf-8')