정방폭포의 한쪽 석벽에는 '서불과차'라는 글이 새겨져 있는데, 이에 관해서는 다음과 다음 전설이 전해 내려온다.
아주 옛날 중국 진시황은 세상을 모두 자기의 손아귀에 넣고 권세를 누리며 부러울 것 없이 살았다. 그런데 그 부러울 것 없는 진시황에게도 어쩌지 못하는 고민이 있었으니, 그건 자신의 나이를 부정할 수는 없는 것이었다.
왕으로서의 위엄이나 왜적을 막아내는 장수로서의 용맹스러움은 나무랄 데 없었으나 점점 늙고 쇠약해져가는 자신의 모습은 스스로도 어쩔 수 없음에 늘 진시황은 고민하였다.
늙지 않고 영생을 누리고 싶었던 진시황이 하루는 모든 신하를 불러 놓고 명을 내렸다.
"이 세상에서 불로장생 할 수 있는 방법을 아는 자가 없느냐?" 서불이라는 꾀 많은 신하는 진시황의 앞으로 나서서 또박또박 그 물음에 대답을 하였다.

"소인이 듣기로는 저 동쪽 나라 작은 섬 영주라는 곳에는 영산이 있는데 그곳에 가면 불로초가 있다고 합니다. 제가 그곳에 가서 그 불로초를 캐오겠습니다."
자신의 큰 소원이 이루어지게 된 진시황은 서불이 원하는 동남동녀 각 500명을 뽑아주고, 큰 배와 먹을 것을 잔뜩 내려주었다. 동쪽의 거친 바다를 건너오던 서불 일행은 깊은 바다 속 큰 용을 만나 큰 위기를 맞으나 서불의 쩌렁쩌렁한 호령으로 금방 물리쳤다.
제주에 도착하자 서불은 데리고 온 동남동녀 500쌍에게 제주의 영산 한라산에 가서 불로초를 캐오라고 명한다. 동남동녀 500쌍은 한라산에서 불로초를 찾아 온 산을 헤매었지만 결국 불로초를 찾지 못하고, 한라산의 특이한 식물 시로미를 캔 뒤 정방폭포 서쪽 절벽에 '서불과지'라는 마애각을 남기고 서쪽으로 돌아갔다.