Как использовать java.net.URLConnection для запуска и обработки HTTP-запросов

При работе с HTTP почти всегда полезно ссылаться на HttpURLConnection, а не на базовый класс URLConnection (так как URLConnection является абстрактным классом, когда вы запрашиваете URLConnection.openConnection() по URL-адресу HTTP, все равно вернусь).

Затем вместо того, чтобы полагаться на URLConnection#setDoOutput(true), чтобы неявно установить метод запроса на POST, вместо httpURLConnection.setRequestMethod("POST"), который может быть более естественным (и который также позволяет вам указывать другие методы запроса, такие как PUT, DELETE,...).

Он также предоставляет полезные HTTP-константы, чтобы вы могли:

int responseCode = httpURLConnection.getResponseCode();

if (responseCode == HttpURLConnection.HTTP_OK) {

Вдохновленный этим и другими вопросами о SO, я создал минимальный открытый basic-http-client источник, который воплощает большинство методов, найденных здесь.

google-http-java-client также является отличным ресурсом с открытым исходным кодом.

Есть два варианта, которые вы можете использовать с URL-адресами HTTP: GET/POST

Запрос GET: -

HttpURLConnection.setFollowRedirects(true); // defaults to true

String url = "https://name_of_the_url";
URL request_url = new URL(url);
HttpURLConnection http_conn = (HttpURLConnection)request_url.openConnection();
http_conn.setConnectTimeout(100000);
http_conn.setReadTimeout(100000);
http_conn.setInstanceFollowRedirects(true);
System.out.println(String.valueOf(http_conn.getResponseCode()));

Запрос POST: -

HttpURLConnection.setFollowRedirects(true); // defaults to true

String url = "https://name_of_the_url"
URL request_url = new URL(url);
HttpURLConnection http_conn = (HttpURLConnection)request_url.openConnection();
http_conn.setConnectTimeout(100000);
http_conn.setReadTimeout(100000);
http_conn.setInstanceFollowRedirects(true);
http_conn.setDoOutput(true);
PrintWriter out = new PrintWriter(http_conn.getOutputStream());
if (urlparameter != null) {
   out.println(urlparameter);
}
out.close();
out = null;
System.out.println(String.valueOf(http_conn.getResponseCode()));

Я предлагаю вам взглянуть на код kevinsawicki/http-request, в основном это оболочка поверх HttpUrlConnection, он предоставляет гораздо более простой API, если вы просто хочу сделать запросы прямо сейчас, или вы можете взглянуть на источники (они не слишком большие), чтобы посмотреть, как обрабатываются соединения.

Пример. Сделайте запрос GET с типом контента application/json и некоторыми параметрами запроса:

// GET http://google.com?q=baseball%20gloves&size=100
String response = HttpRequest.get("http://google.com", true, "q", "baseball gloves", "size", 100)
        .accept("application/json")
        .body();
System.out.println("Response was: " + response);

Я тоже был вдохновлен этим ответом.

Я часто участвую в проектах, где мне нужно сделать HTTP, и я, возможно, не захочу использовать много сторонних зависимостей (которые приносят другие и т.д. и т.д. и т.д.).

Я начал писать свои собственные утилиты, основанные на некоторых из этих разговоров (не все, что было сделано):

package org.boon.utils;


import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
import java.util.Map;

import static org.boon.utils.IO.read;

public class HTTP {

Тогда есть только куча или статические методы.

public static String get(
        final String url) {

    Exceptions.tryIt(() -> {
        URLConnection connection;
        connection = doGet(url, null, null, null);
        return extractResponseString(connection);
    });
    return null;
}

public static String getWithHeaders(
        final String url,
        final Map<String, ? extends Object> headers) {
    URLConnection connection;
    try {
        connection = doGet(url, headers, null, null);
        return extractResponseString(connection);
    } catch (Exception ex) {
        Exceptions.handle(ex);
        return null;
    }
}

public static String getWithContentType(
        final String url,
        final Map<String, ? extends Object> headers,
        String contentType) {
    URLConnection connection;
    try {
        connection = doGet(url, headers, contentType, null);
        return extractResponseString(connection);
    } catch (Exception ex) {
        Exceptions.handle(ex);
        return null;
    }
}
public static String getWithCharSet(
        final String url,
        final Map<String, ? extends Object> headers,
        String contentType,
        String charSet) {
    URLConnection connection;
    try {
        connection = doGet(url, headers, contentType, charSet);
        return extractResponseString(connection);
    } catch (Exception ex) {
        Exceptions.handle(ex);
        return null;
    }
}

Затем пост...

public static String postBody(
        final String url,
        final String body) {
    URLConnection connection;
    try {
        connection = doPost(url, null, "text/plain", null, body);
        return extractResponseString(connection);
    } catch (Exception ex) {
        Exceptions.handle(ex);
        return null;
    }
}

public static String postBodyWithHeaders(
        final String url,
        final Map<String, ? extends Object> headers,
        final String body) {
    URLConnection connection;
    try {
        connection = doPost(url, headers, "text/plain", null, body);
        return extractResponseString(connection);
    } catch (Exception ex) {
        Exceptions.handle(ex);
        return null;
    }
}



public static String postBodyWithContentType(
        final String url,
        final Map<String, ? extends Object> headers,
        final String contentType,
        final String body) {

    URLConnection connection;
    try {
        connection = doPost(url, headers, contentType, null, body);


        return extractResponseString(connection);


    } catch (Exception ex) {
        Exceptions.handle(ex);
        return null;
    }


}


public static String postBodyWithCharset(
        final String url,
        final Map<String, ? extends Object> headers,
        final String contentType,
        final String charSet,
        final String body) {

    URLConnection connection;
    try {
        connection = doPost(url, headers, contentType, charSet, body);


        return extractResponseString(connection);


    } catch (Exception ex) {
        Exceptions.handle(ex);
        return null;
    }


}

private static URLConnection doPost(String url, Map<String, ? extends Object> headers,
                                    String contentType, String charset, String body
                                    ) throws IOException {
    URLConnection connection;/* Handle output. */
    connection = new URL(url).openConnection();
    connection.setDoOutput(true);
    manageContentTypeHeaders(contentType, charset, connection);

    manageHeaders(headers, connection);


    IO.write(connection.getOutputStream(), body, IO.CHARSET);
    return connection;
}

private static void manageHeaders(Map<String, ? extends Object> headers, URLConnection connection) {
    if (headers != null) {
        for (Map.Entry<String, ? extends Object> entry : headers.entrySet()) {
            connection.setRequestProperty(entry.getKey(), entry.getValue().toString());
        }
    }
}

private static void manageContentTypeHeaders(String contentType, String charset, URLConnection connection) {
    connection.setRequestProperty("Accept-Charset", charset == null ? IO.CHARSET : charset);
    if (contentType!=null && !contentType.isEmpty()) {
        connection.setRequestProperty("Content-Type", contentType);
    }
}

private static URLConnection doGet(String url, Map<String, ? extends Object> headers,
                                    String contentType, String charset) throws IOException {
    URLConnection connection;/* Handle output. */
    connection = new URL(url).openConnection();
    manageContentTypeHeaders(contentType, charset, connection);

    manageHeaders(headers, connection);

    return connection;
}

private static String extractResponseString(URLConnection connection) throws IOException {
/* Handle input. */
    HttpURLConnection http = (HttpURLConnection)connection;
    int status = http.getResponseCode();
    String charset = getCharset(connection.getHeaderField("Content-Type"));

    if (status==200) {
        return readResponseBody(http, charset);
    } else {
        return readErrorResponseBody(http, status, charset);
    }
}

private static String readErrorResponseBody(HttpURLConnection http, int status, String charset) {
    InputStream errorStream = http.getErrorStream();
    if ( errorStream!=null ) {
        String error = charset== null ? read( errorStream ) :
            read( errorStream, charset );
        throw new RuntimeException("STATUS CODE =" + status + "\n\n" + error);
    } else {
        throw new RuntimeException("STATUS CODE =" + status);
    }
}

private static String readResponseBody(HttpURLConnection http, String charset) throws IOException {
    if (charset != null) {
        return read(http.getInputStream(), charset);
    } else {
        return read(http.getInputStream());
    }
}

private static String getCharset(String contentType) {
    if (contentType==null)  {
        return null;
    }
    String charset = null;
    for (String param : contentType.replace(" ", "").split(";")) {
        if (param.startsWith("charset=")) {
            charset = param.split("=", 2)[1];
            break;
        }
    }
    charset = charset == null ?  IO.CHARSET : charset;

    return charset;
}

Хорошо, вы поняли, что...

Вот тесты:

static class MyHandler implements HttpHandler {
    public void handle(HttpExchange t) throws IOException {

        InputStream requestBody = t.getRequestBody();
        String body = IO.read(requestBody);
        Headers requestHeaders = t.getRequestHeaders();
        body = body + "\n" + copy(requestHeaders).toString();
        t.sendResponseHeaders(200, body.length());
        OutputStream os = t.getResponseBody();
        os.write(body.getBytes());
        os.close();
    }
}


@Test
public void testHappy() throws Exception {

    HttpServer server = HttpServer.create(new InetSocketAddress(9212), 0);
    server.createContext("/test", new MyHandler());
    server.setExecutor(null); // creates a default executor
    server.start();

    Thread.sleep(10);


    Map<String,String> headers = map("foo", "bar", "fun", "sun");

    String response = HTTP.postBodyWithContentType("http://localhost:9212/test", headers, "text/plain", "hi mom");

    System.out.println(response);

    assertTrue(response.contains("hi mom"));
    assertTrue(response.contains("Fun=[sun], Foo=[bar]"));


    response = HTTP.postBodyWithCharset("http://localhost:9212/test", headers, "text/plain", "UTF-8", "hi mom");

    System.out.println(response);

    assertTrue(response.contains("hi mom"));
    assertTrue(response.contains("Fun=[sun], Foo=[bar]"));

    response = HTTP.postBodyWithHeaders("http://localhost:9212/test", headers, "hi mom");

    System.out.println(response);

    assertTrue(response.contains("hi mom"));
    assertTrue(response.contains("Fun=[sun], Foo=[bar]"));


    response = HTTP.get("http://localhost:9212/test");

    System.out.println(response);


    response = HTTP.getWithHeaders("http://localhost:9212/test", headers);

    System.out.println(response);

    assertTrue(response.contains("Fun=[sun], Foo=[bar]"));



    response = HTTP.getWithContentType("http://localhost:9212/test", headers, "text/plain");

    System.out.println(response);

    assertTrue(response.contains("Fun=[sun], Foo=[bar]"));



    response = HTTP.getWithCharSet("http://localhost:9212/test", headers, "text/plain", "UTF-8");

    System.out.println(response);

    assertTrue(response.contains("Fun=[sun], Foo=[bar]"));

    Thread.sleep(10);

    server.stop(0);


}

@Test
public void testPostBody() throws Exception {

    HttpServer server = HttpServer.create(new InetSocketAddress(9220), 0);
    server.createContext("/test", new MyHandler());
    server.setExecutor(null); // creates a default executor
    server.start();

    Thread.sleep(10);


    Map<String,String> headers = map("foo", "bar", "fun", "sun");

    String response = HTTP.postBody("http://localhost:9220/test", "hi mom");

    assertTrue(response.contains("hi mom"));


    Thread.sleep(10);

    server.stop(0);


}

@Test(expected = RuntimeException.class)
public void testSad() throws Exception {

    HttpServer server = HttpServer.create(new InetSocketAddress(9213), 0);
    server.createContext("/test", new MyHandler());
    server.setExecutor(null); // creates a default executor
    server.start();

    Thread.sleep(10);


    Map<String,String> headers = map("foo", "bar", "fun", "sun");

    String response = HTTP.postBodyWithContentType("http://localhost:9213/foo", headers, "text/plain", "hi mom");

    System.out.println(response);

    assertTrue(response.contains("hi mom"));
    assertTrue(response.contains("Fun=[sun], Foo=[bar]"));

    Thread.sleep(10);

    server.stop(0);


}

Здесь вы можете найти остальные:

https://github.com/RichardHightower/boon

Моя цель - предоставить общие вещи, которые хотелось бы сделать немного более простым способом, чем тогда.

Update

Новый HTTP-клиент, поставляемый с Java 9, но как часть Модуль инкубатора с именем jdk.incubator.httpclient. Модули инкубатора средство поместить неконфигурированные API в руки разработчиков, в то время как API продвигается к завершению или удалению в будущем выпуск.

В Java 9 вы можете отправить запрос GET, например:

// GET
HttpResponse response = HttpRequest
    .create(new URI("http://www.stackoverflow.com"))
    .headers("Foo", "foovalue", "Bar", "barvalue")
    .GET()
    .response();

Затем вы можете проверить возвращенный HttpResponse:

int statusCode = response.statusCode();
String responseBody = response.body(HttpResponse.asString());

Поскольку этот новый HTTP-клиент находится в модуле java.httpclient jdk.incubator.httpclient, вы должны объявить эту зависимость в файле module-info.java:

module com.foo.bar {
    requires jdk.incubator.httpclient;
}

Первоначально я был введен в заблуждение этой статьей, которая поддерживает HttpClient.

Позже я понял, что HttpURLConnection собирается остаться из этого статьи

В соответствии с блогом Google:

У Apache HTTP-клиента меньше ошибок на Eclair и Froyo. Это лучший выбор для этих выпусков. Для Gingerbread HttpURLConnection - лучший выбор. Его простой API и небольшой размер делают его очень подходящим для Android.

Прозрачное сжатие и ответное кэширование уменьшают использование сети, улучшают скорость и экономят аккумулятор. Новые приложения должны использовать HttpURLConnection; это то, где мы будем тратить нашу энергию в будущем.

После прочтения этой статьи и некоторых других вопросов, связанных с потоком, я убежден, что HttpURLConnection будет длиться дольше.

Некоторые из вопросов SE, благоприятствующих HttpURLConnections:

На Android сделайте запрос POST с данными кодированной формы URL-адресов без использования UrlEncodedFormEntity

HttpPost работает в Java-проекте, а не в Android

Вы также можете использовать JdkRequest из jcabi-http (я разработчик), который делает все это для вас, украшая HttpURLConnection, запуская HTTP-запросы и анализируя ответы, например:

String html = new JdkRequest("http://www.google.com").fetch().body();

Отметьте этот пост блога для получения дополнительной информации: http://www.yegor256.com/2014/04/11/jcabi-http-intro.html

Существует также OkHttp, который по умолчанию является HTTP-клиентом:

• Поддержка HTTP/2 позволяет всем запросам одного и того же хоста совместно использовать сокет.
• Пул соединений уменьшает задержку запроса (если HTTP/2 не доступен).
• Прозрачный GZIP сокращает размеры загрузок.
• Кэширование ответов полностью исключает сеть для повторных запросов.

Сначала создайте экземпляр OkHttpClient:

OkHttpClient client = new OkHttpClient();

Затем подготовьте запрос GET:

Request request = new Request.Builder()
      .url(url)
      .build();

наконец, используйте OkHttpClient для отправки подготовленного Request:

Response response = client.newCall(request).execute();

Для получения дополнительной информации вы можете обратиться к документации OkHttp

если вы используете http get, удалите эту строку

urlConnection.setDoOutput(true);

Я рекомендую http-request, основанный на apache http api. (Я разработчик)

Выполнять запрос HTTP GET

static final HttpRequest<String> httpRequest =
     HttpRequestBuilder.createGet(someUri, String.class)
     .responseDeserializer(ResponseDeserializer.ignorableDeserializer()).build();

ResponseHandler<String> responseHandler = httpRequest.execute(requestParameters);

int statusCode = responseHandler.getStatusCode();
String responseBody = responseHandler.get(); // see javadoc of get method

или

 ResponseHandler<String> responseHandler = 
      httpRequest.executeWithQuery(queryString); //queryString example "param1=param1&param2=param2"

Выполните запрос HTTP POST

Замените HttpRequestBuilder.createGet на HttpRequestBuilder.createPost

Добавить заголовки

static final HttpRequest<String> httpRequest =
      HttpRequestBuilder.createGet(someUri, String.class)
           .responseDeserializer(ResponseDeserializer.ignorableDeserializer())
           .addDefaultHeader("Accept", "application/json")
           .build();

Преобразовать ответ типа

скажем, ответ JSON, и вы это знаете

{"name":"myname","lastname":"mylastname","age":25}

Вы должны создать класс User:

public User{
    private String Name;
    private String Lastname;
    private int Age;

   // getters and setters
}

static final HttpRequest<User> httpRequest =
     HttpRequestBuilder.createGet(someUri, User.class).build();

ResponseHandler<User> responseHandler = httpRequest.execute(requestParameters);
User userFromResponse = responseHandler.orElse(null); //returns null if content isn't present
System.out.print(user.getName()); //myname

Примечание. Вам не нужно беспокоиться об исключениях. Все исключения завернуты.