मैं विंडोज़ में पाइस्पार्क स्थापित करने की कोशिश कर रहा हूं।

मैंने निम्नलिखित पर सेटक्स लागू किया:

PYSPARK_DRIVER_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\Scripts\jupyter.exe"
HADOOP_HOME "C:\spark\hadoop"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"
PYSPARK_DRIVER_PYTHON_OPTS "notebook"
PYSPARK_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\python.exe"
SCALA_HOME "C:\spark\scala"
SPARK_HOME "C:\spark\spark"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"

पथ में सिस्टम चर में मैंने निम्नलिखित संलग्न किया है:

C:\Program Files\Java\jdk1.8.0_172\bin
C:\spark\spark\bin
C:\spark\spark\python
C:\spark\spark\python\lib
C:\spark\spark\python\pyspark
C:\spark\spark\python\pyspark\sql
C:\spark\spark\python\pyspark\mllib
C:\spark\spark\python\pyspark\ml
C:\spark\spark\python\lib
C:\spark\scala\bin
C:\Program Files\Java\jdk1.8.0_172\bin\java.exe
C:\Program Files\Java\jdk1.8.0_172\bin

मैंने ट्यूटोरियल का अनुसरण किया। मैं एनाकोंडा पायथन संस्करण 3.6 चला रहा हूं, अपाचे स्पार्क 2.3.2, स्काला 2.12.7 एमएसआई, और हडूप 2.7

मैंने cmd लाइन पर एनाकोंडा, पायथन और जावा संस्करणों को सत्यापित किया। यह सुनिश्चित करता है कि यह भाग से सही ढंग से जुड़ा हुआ है। जब मैं cmd ​​प्रॉम्प्ट में pyspark चलाता हूं, तो मुझे एक त्रुटि मिलती है \Anaconda3\envs\xgboost\python.exe] इस समय अप्रत्याशित था और सिस्टम निर्दिष्ट पथ नहीं ढूंढ सकता। पथ सूची को सत्यापित करने के लिए मैं इसे सही फ़ोल्डर में जाने की पुष्टि करने के लिए पते में एक पेस्ट कॉपी करता हूं। कुछ ब्लॉगों में समाधान ने सिस्टम चर में अतिरिक्त पथ जोड़ने का सुझाव दिया जो मैंने किया है, इसलिए ट्यूटोरियल में दिखाए गए पथ की तुलना में अधिक पथ सूचीबद्ध हैं। इस त्रुटि को कैसे सुधारा जा सकता है?

0
Sade 3 अक्टूबर 2018, 21:28

1 उत्तर

सबसे बढ़िया उत्तर

ऐसा लगता है कि आपको फ़ोल्डर नामों में रिक्त स्थान के साथ समस्या हो रही है, विशेष रूप से C:\Users\Sade D में स्थान, जहां ऐसा प्रतीत होता है कि आपने एनाकोंडा स्थापित किया है।

एनाकोंडा की स्थापना रद्द करने का प्रयास करें और इसे बिना किसी स्थान के किसी फ़ोल्डर में पुनः स्थापित करें। वीडियो C:\ProgramData\Anaconda3 का उपयोग करता है (आप इसे 5:34 पर देख सकते हैं): C:\Users\Sade D के बजाय उस फ़ोल्डर में इंस्टॉल करने का प्रयास करें।

0
Luke Woodward 3 अक्टूबर 2018, 20:26