代码之家 › 专栏 › 技术社区 › aiman

Spark Salesforce:如何在Spark Salesforce连接器中指定服务器地址?

salesforce apache-spark java

aiman · 技术社区 · 6 年前

我需要创建Spark的 Dataset<Row> 来自Salesforce表。
我编写了一段代码片段,用于执行相同的操作:

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import com.springml.spark.salesforce.*;

public class SaleforceReader {
    public static void main(String args[])
    {
        System.out.println("=========================Salesforce Ingest Begins=========================");
        SparkSession spark = SparkSession.builder().getOrCreate();

        Dataset<Row> df = spark.read().format("com.springml.spark.salesforce")
                    .option("username", "someusername")
                    .option("password", "somepassword")
                    .option("soql", "select id, name from mytable")
                    .option("version", "37.0")
                    .load();

        df.show(false);

        spark.close();
        System.out.println("=========================Salesforce Ingest ENDS=========================");
    }

}

许多教程和门户网站都提供了上述代码片段。但是这段代码没有指定任何要连接的Salesforce服务器。
com.springml.spark.salesforce 连接器。
我们有类似的吗 .option("login", "//some.salesforce.server.com:port") ?

<dependency>
  <groupId>com.springml</groupId>
  <artifactId>spark-salesforce_2.11</artifactId>
  <version>1.1.0</version>
</dependency>

1 回复 | 直到 6 年前

aiman 6 年前

.option("login", "//some.salesforce.server.com:port") 工作。
代码如下:

public static void main(String args[])
    {
        System.out.println("=========================Salesforce Ingest Begins=========================");
        SparkSession spark = SparkSession.builder().getOrCreate();

        Dataset<Row> df = spark.read().format("com.springml.spark.salesforce")
                    .option("username", "someuser@someDomain")
                    .option("password", "mypasswordMYSECURITYTOKEN")
                    .option("login", "https://login.salesforce.com/login/page")
                    .option("soql", "SELECT id from myTable")
                    .option("version", "37.0")
                    .load();

        df.show(false);

        spark.close();
        System.out.println("=========================Salesforce Ingest ENDS=========================");
    }

推荐文章