xref: /unit/src/nxt_router.c (revision 119)
120Sigor@sysoev.ru 
220Sigor@sysoev.ru /*
320Sigor@sysoev.ru  * Copyright (C) Igor Sysoev
420Sigor@sysoev.ru  * Copyright (C) Valentin V. Bartenev
520Sigor@sysoev.ru  * Copyright (C) NGINX, Inc.
620Sigor@sysoev.ru  */
720Sigor@sysoev.ru 
853Sigor@sysoev.ru #include <nxt_router.h>
9115Sigor@sysoev.ru #include <nxt_conf.h>
1088Smax.romanov@nginx.com #include <nxt_application.h>
1120Sigor@sysoev.ru 
1220Sigor@sysoev.ru 
13115Sigor@sysoev.ru typedef struct {
14115Sigor@sysoev.ru     nxt_str_t  application_type;
15115Sigor@sysoev.ru     uint32_t   application_workers;
16115Sigor@sysoev.ru } nxt_router_listener_conf_t;
17115Sigor@sysoev.ru 
18115Sigor@sysoev.ru 
1953Sigor@sysoev.ru static nxt_router_temp_conf_t *nxt_router_temp_conf(nxt_task_t *task,
2053Sigor@sysoev.ru     nxt_router_t *router);
2153Sigor@sysoev.ru static void nxt_router_listen_sockets_sort(nxt_router_t *router,
2253Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf);
2353Sigor@sysoev.ru 
24115Sigor@sysoev.ru static nxt_int_t nxt_router_conf_create(nxt_task_t *task,
25115Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf, u_char *start, u_char *end);
2653Sigor@sysoev.ru static nxt_int_t nxt_router_listen_sockets_stub_create(nxt_task_t *task,
2753Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf);
2865Sigor@sysoev.ru static nxt_socket_conf_t *nxt_router_socket_conf(nxt_task_t *task, nxt_mp_t *mp,
2965Sigor@sysoev.ru     nxt_sockaddr_t *sa);
3053Sigor@sysoev.ru 
3153Sigor@sysoev.ru static nxt_int_t nxt_router_engines_create(nxt_task_t *task,
3253Sigor@sysoev.ru     nxt_router_t *router, nxt_router_temp_conf_t *tmcf,
3353Sigor@sysoev.ru     const nxt_event_interface_t *interface);
34115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_conf_create(nxt_router_temp_conf_t *tmcf,
35115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf);
36115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_conf_update(nxt_router_temp_conf_t *tmcf,
37115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf);
38115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_conf_delete(nxt_router_temp_conf_t *tmcf,
39115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf);
40115Sigor@sysoev.ru static void nxt_router_engine_socket_count(nxt_queue_t *sockets);
41115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_joints_create(nxt_mp_t *mp,
4265Sigor@sysoev.ru     nxt_router_engine_conf_t *recf, nxt_queue_t *sockets, nxt_array_t *array,
4365Sigor@sysoev.ru     nxt_work_handler_t handler);
44115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_joints_delete(nxt_router_engine_conf_t *recf,
45115Sigor@sysoev.ru     nxt_queue_t *sockets);
4653Sigor@sysoev.ru 
4753Sigor@sysoev.ru static nxt_int_t nxt_router_threads_create(nxt_task_t *task, nxt_runtime_t *rt,
4853Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf);
4953Sigor@sysoev.ru static nxt_int_t nxt_router_thread_create(nxt_task_t *task, nxt_runtime_t *rt,
5053Sigor@sysoev.ru     nxt_event_engine_t *engine);
5153Sigor@sysoev.ru 
5253Sigor@sysoev.ru static void nxt_router_engines_post(nxt_router_temp_conf_t *tmcf);
5353Sigor@sysoev.ru static void nxt_router_engine_post(nxt_router_engine_conf_t *recf);
5453Sigor@sysoev.ru 
5553Sigor@sysoev.ru static void nxt_router_thread_start(void *data);
5653Sigor@sysoev.ru static void nxt_router_listen_socket_create(nxt_task_t *task, void *obj,
5753Sigor@sysoev.ru     void *data);
5853Sigor@sysoev.ru static void nxt_router_listen_socket_update(nxt_task_t *task, void *obj,
5953Sigor@sysoev.ru     void *data);
6053Sigor@sysoev.ru static void nxt_router_listen_socket_delete(nxt_task_t *task, void *obj,
6153Sigor@sysoev.ru     void *data);
6253Sigor@sysoev.ru static void nxt_router_listen_socket_close(nxt_task_t *task, void *obj,
6353Sigor@sysoev.ru     void *data);
6453Sigor@sysoev.ru static void nxt_router_listen_socket_release(nxt_task_t *task,
6553Sigor@sysoev.ru     nxt_socket_conf_joint_t *joint);
6653Sigor@sysoev.ru static void nxt_router_thread_exit_handler(nxt_task_t *task, void *obj,
6753Sigor@sysoev.ru     void *data);
6853Sigor@sysoev.ru static void nxt_router_conf_release(nxt_task_t *task,
6953Sigor@sysoev.ru     nxt_socket_conf_joint_t *joint);
7053Sigor@sysoev.ru 
7153Sigor@sysoev.ru static void nxt_router_conn_init(nxt_task_t *task, void *obj, void *data);
7253Sigor@sysoev.ru static void nxt_router_conn_http_header_parse(nxt_task_t *task, void *obj,
7353Sigor@sysoev.ru     void *data);
7488Smax.romanov@nginx.com static void nxt_router_process_http_request(nxt_task_t *task,
7588Smax.romanov@nginx.com     nxt_conn_t *c, nxt_app_parse_ctx_t *ap);
7688Smax.romanov@nginx.com static void nxt_router_conn_ready(nxt_task_t *task, void *obj, void *data);
7753Sigor@sysoev.ru static void nxt_router_conn_close(nxt_task_t *task, void *obj, void *data);
7853Sigor@sysoev.ru static void nxt_router_conn_free(nxt_task_t *task, void *obj, void *data);
7953Sigor@sysoev.ru static void nxt_router_conn_error(nxt_task_t *task, void *obj, void *data);
8053Sigor@sysoev.ru static void nxt_router_conn_timeout(nxt_task_t *task, void *obj, void *data);
8162Sigor@sysoev.ru static nxt_msec_t nxt_router_conn_timeout_value(nxt_conn_t *c, uintptr_t data);
8220Sigor@sysoev.ru 
83*119Smax.romanov@nginx.com static nxt_router_t  *nxt_router;
8420Sigor@sysoev.ru 
8520Sigor@sysoev.ru nxt_int_t
8620Sigor@sysoev.ru nxt_router_start(nxt_task_t *task, nxt_runtime_t *rt)
8720Sigor@sysoev.ru {
88115Sigor@sysoev.ru     nxt_int_t     ret;
89115Sigor@sysoev.ru     nxt_router_t  *router;
9053Sigor@sysoev.ru 
9188Smax.romanov@nginx.com     ret = nxt_app_http_init(task, rt);
9288Smax.romanov@nginx.com     if (nxt_slow_path(ret != NXT_OK)) {
9388Smax.romanov@nginx.com         return ret;
9488Smax.romanov@nginx.com     }
9588Smax.romanov@nginx.com 
9653Sigor@sysoev.ru     router = nxt_zalloc(sizeof(nxt_router_t));
9753Sigor@sysoev.ru     if (nxt_slow_path(router == NULL)) {
9853Sigor@sysoev.ru         return NXT_ERROR;
9953Sigor@sysoev.ru     }
10053Sigor@sysoev.ru 
10153Sigor@sysoev.ru     nxt_queue_init(&router->engines);
10253Sigor@sysoev.ru     nxt_queue_init(&router->sockets);
10353Sigor@sysoev.ru 
104*119Smax.romanov@nginx.com     nxt_router = router;
105*119Smax.romanov@nginx.com 
106115Sigor@sysoev.ru     return NXT_OK;
107115Sigor@sysoev.ru }
108115Sigor@sysoev.ru 
109115Sigor@sysoev.ru 
110115Sigor@sysoev.ru nxt_int_t
111115Sigor@sysoev.ru nxt_router_new_conf(nxt_task_t *task, nxt_runtime_t *rt, nxt_router_t *router,
112115Sigor@sysoev.ru     u_char *start, u_char *end)
113115Sigor@sysoev.ru {
114115Sigor@sysoev.ru     nxt_int_t                    ret;
115115Sigor@sysoev.ru     nxt_router_temp_conf_t       *tmcf;
116115Sigor@sysoev.ru     const nxt_event_interface_t  *interface;
11753Sigor@sysoev.ru 
11853Sigor@sysoev.ru     tmcf = nxt_router_temp_conf(task, router);
11953Sigor@sysoev.ru     if (nxt_slow_path(tmcf == NULL)) {
12020Sigor@sysoev.ru         return NXT_ERROR;
12120Sigor@sysoev.ru     }
12220Sigor@sysoev.ru 
123115Sigor@sysoev.ru     ret = nxt_router_conf_create(task, tmcf, start, end);
12453Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
12553Sigor@sysoev.ru         return ret;
12653Sigor@sysoev.ru     }
12753Sigor@sysoev.ru 
12853Sigor@sysoev.ru     nxt_router_listen_sockets_sort(router, tmcf);
12953Sigor@sysoev.ru 
13053Sigor@sysoev.ru     ret = nxt_router_listen_sockets_stub_create(task, tmcf);
13153Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
13253Sigor@sysoev.ru         return ret;
13353Sigor@sysoev.ru     }
13453Sigor@sysoev.ru 
13553Sigor@sysoev.ru     interface = nxt_service_get(rt->services, "engine", NULL);
13653Sigor@sysoev.ru 
13753Sigor@sysoev.ru     ret = nxt_router_engines_create(task, router, tmcf, interface);
13853Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
13953Sigor@sysoev.ru         return ret;
14053Sigor@sysoev.ru     }
14153Sigor@sysoev.ru 
14253Sigor@sysoev.ru     ret = nxt_router_threads_create(task, rt, tmcf);
14353Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
14453Sigor@sysoev.ru         return ret;
14553Sigor@sysoev.ru     }
14653Sigor@sysoev.ru 
14753Sigor@sysoev.ru     nxt_router_engines_post(tmcf);
14853Sigor@sysoev.ru 
14953Sigor@sysoev.ru     nxt_queue_add(&router->sockets, &tmcf->updating);
15053Sigor@sysoev.ru     nxt_queue_add(&router->sockets, &tmcf->creating);
15153Sigor@sysoev.ru 
152115Sigor@sysoev.ru //    nxt_mp_destroy(tmcf->mem_pool);
153115Sigor@sysoev.ru 
15453Sigor@sysoev.ru     return NXT_OK;
15553Sigor@sysoev.ru }
15653Sigor@sysoev.ru 
15753Sigor@sysoev.ru 
15853Sigor@sysoev.ru static nxt_router_temp_conf_t *
15953Sigor@sysoev.ru nxt_router_temp_conf(nxt_task_t *task, nxt_router_t *router)
16053Sigor@sysoev.ru {
16165Sigor@sysoev.ru     nxt_mp_t                *mp, *tmp;
16253Sigor@sysoev.ru     nxt_router_conf_t       *rtcf;
16353Sigor@sysoev.ru     nxt_router_temp_conf_t  *tmcf;
16453Sigor@sysoev.ru 
16565Sigor@sysoev.ru     mp = nxt_mp_create(1024, 128, 256, 32);
16653Sigor@sysoev.ru     if (nxt_slow_path(mp == NULL)) {
16753Sigor@sysoev.ru         return NULL;
16853Sigor@sysoev.ru     }
16953Sigor@sysoev.ru 
17065Sigor@sysoev.ru     rtcf = nxt_mp_zget(mp, sizeof(nxt_router_conf_t));
17153Sigor@sysoev.ru     if (nxt_slow_path(rtcf == NULL)) {
17253Sigor@sysoev.ru         goto fail;
17353Sigor@sysoev.ru     }
17453Sigor@sysoev.ru 
17553Sigor@sysoev.ru     rtcf->mem_pool = mp;
17653Sigor@sysoev.ru     rtcf->router = router;
17753Sigor@sysoev.ru     rtcf->count = 1;
17853Sigor@sysoev.ru 
17965Sigor@sysoev.ru     tmp = nxt_mp_create(1024, 128, 256, 32);
18053Sigor@sysoev.ru     if (nxt_slow_path(tmp == NULL)) {
18153Sigor@sysoev.ru         goto fail;
18253Sigor@sysoev.ru     }
18353Sigor@sysoev.ru 
18465Sigor@sysoev.ru     tmcf = nxt_mp_zget(tmp, sizeof(nxt_router_temp_conf_t));
18553Sigor@sysoev.ru     if (nxt_slow_path(tmcf == NULL)) {
18653Sigor@sysoev.ru         goto temp_fail;
18753Sigor@sysoev.ru     }
18853Sigor@sysoev.ru 
18953Sigor@sysoev.ru     tmcf->mem_pool = tmp;
19053Sigor@sysoev.ru     tmcf->conf = rtcf;
19153Sigor@sysoev.ru 
19253Sigor@sysoev.ru     tmcf->engines = nxt_array_create(tmcf->mem_pool, 4,
19353Sigor@sysoev.ru                                      sizeof(nxt_router_engine_conf_t));
19453Sigor@sysoev.ru     if (nxt_slow_path(tmcf->engines == NULL)) {
19553Sigor@sysoev.ru         goto temp_fail;
19653Sigor@sysoev.ru     }
19753Sigor@sysoev.ru 
19853Sigor@sysoev.ru     nxt_queue_init(&tmcf->deleting);
19953Sigor@sysoev.ru     nxt_queue_init(&tmcf->keeping);
20053Sigor@sysoev.ru     nxt_queue_init(&tmcf->updating);
20153Sigor@sysoev.ru     nxt_queue_init(&tmcf->pending);
20253Sigor@sysoev.ru     nxt_queue_init(&tmcf->creating);
20353Sigor@sysoev.ru 
20453Sigor@sysoev.ru     return tmcf;
20553Sigor@sysoev.ru 
20653Sigor@sysoev.ru temp_fail:
20753Sigor@sysoev.ru 
20865Sigor@sysoev.ru     nxt_mp_destroy(tmp);
20953Sigor@sysoev.ru 
21053Sigor@sysoev.ru fail:
21153Sigor@sysoev.ru 
21265Sigor@sysoev.ru     nxt_mp_destroy(mp);
21353Sigor@sysoev.ru 
21453Sigor@sysoev.ru     return NULL;
21553Sigor@sysoev.ru }
21653Sigor@sysoev.ru 
21753Sigor@sysoev.ru 
218115Sigor@sysoev.ru static nxt_conf_map_t  nxt_router_conf[] = {
219115Sigor@sysoev.ru     {
220115Sigor@sysoev.ru         nxt_string("threads"),
221115Sigor@sysoev.ru         NXT_CONF_MAP_INT32,
222115Sigor@sysoev.ru         offsetof(nxt_router_conf_t, threads),
223115Sigor@sysoev.ru     },
224115Sigor@sysoev.ru 
225115Sigor@sysoev.ru     {
226115Sigor@sysoev.ru         nxt_null_string, 0, 0,
227115Sigor@sysoev.ru     },
228115Sigor@sysoev.ru };
229115Sigor@sysoev.ru 
230115Sigor@sysoev.ru 
231115Sigor@sysoev.ru static nxt_conf_map_t  nxt_router_listener_conf[] = {
232115Sigor@sysoev.ru     {
233115Sigor@sysoev.ru         nxt_string("_application_type"),
234115Sigor@sysoev.ru         NXT_CONF_MAP_STR,
235115Sigor@sysoev.ru         offsetof(nxt_router_listener_conf_t, application_type),
236115Sigor@sysoev.ru     },
237115Sigor@sysoev.ru 
238115Sigor@sysoev.ru     {
239115Sigor@sysoev.ru         nxt_string("_application_workers"),
240115Sigor@sysoev.ru         NXT_CONF_MAP_INT32,
241115Sigor@sysoev.ru         offsetof(nxt_router_listener_conf_t, application_workers),
242115Sigor@sysoev.ru     },
243115Sigor@sysoev.ru 
244115Sigor@sysoev.ru     {
245115Sigor@sysoev.ru         nxt_null_string, 0, 0,
246115Sigor@sysoev.ru     },
247115Sigor@sysoev.ru };
248115Sigor@sysoev.ru 
249115Sigor@sysoev.ru 
250115Sigor@sysoev.ru static nxt_conf_map_t  nxt_router_http_conf[] = {
251115Sigor@sysoev.ru     {
252115Sigor@sysoev.ru         nxt_string("header_buffer_size"),
253115Sigor@sysoev.ru         NXT_CONF_MAP_SIZE,
254115Sigor@sysoev.ru         offsetof(nxt_socket_conf_t, header_buffer_size),
255115Sigor@sysoev.ru     },
256115Sigor@sysoev.ru 
257115Sigor@sysoev.ru     {
258115Sigor@sysoev.ru         nxt_string("large_header_buffer_size"),
259115Sigor@sysoev.ru         NXT_CONF_MAP_SIZE,
260115Sigor@sysoev.ru         offsetof(nxt_socket_conf_t, large_header_buffer_size),
261115Sigor@sysoev.ru     },
262115Sigor@sysoev.ru 
263115Sigor@sysoev.ru     {
264115Sigor@sysoev.ru         nxt_string("header_read_timeout"),
265115Sigor@sysoev.ru         NXT_CONF_MAP_MSEC,
266115Sigor@sysoev.ru         offsetof(nxt_socket_conf_t, header_read_timeout),
267115Sigor@sysoev.ru     },
268115Sigor@sysoev.ru 
269115Sigor@sysoev.ru     {
270115Sigor@sysoev.ru         nxt_null_string, 0, 0,
271115Sigor@sysoev.ru     },
272115Sigor@sysoev.ru };
273115Sigor@sysoev.ru 
274115Sigor@sysoev.ru 
27553Sigor@sysoev.ru static nxt_int_t
276115Sigor@sysoev.ru nxt_router_conf_create(nxt_task_t *task, nxt_router_temp_conf_t *tmcf,
277115Sigor@sysoev.ru     u_char *start, u_char *end)
27853Sigor@sysoev.ru {
279115Sigor@sysoev.ru     nxt_mp_t                    *mp;
280115Sigor@sysoev.ru     uint32_t                    next;
281115Sigor@sysoev.ru     nxt_int_t                   ret;
282115Sigor@sysoev.ru     nxt_str_t                   name;
283115Sigor@sysoev.ru     nxt_sockaddr_t              *sa;
284115Sigor@sysoev.ru     nxt_conf_value_t            *conf, *listeners, *router, *http, *listener;
285115Sigor@sysoev.ru     nxt_socket_conf_t           *skcf;
286115Sigor@sysoev.ru     nxt_router_listener_conf_t  lscf;
287115Sigor@sysoev.ru 
288115Sigor@sysoev.ru     static nxt_str_t  router_path = nxt_string("/router");
289115Sigor@sysoev.ru     static nxt_str_t  http_path = nxt_string("/http");
290115Sigor@sysoev.ru     static nxt_str_t  listeners_path = nxt_string("/listeners");
291115Sigor@sysoev.ru 
292115Sigor@sysoev.ru     conf = nxt_conf_json_parse(tmcf->mem_pool, start, end);
293115Sigor@sysoev.ru     if (conf == NULL) {
294115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "configuration parsing error");
295115Sigor@sysoev.ru         return NXT_ERROR;
296115Sigor@sysoev.ru     }
297115Sigor@sysoev.ru 
298115Sigor@sysoev.ru     router = nxt_conf_get_path(conf, &router_path);
29953Sigor@sysoev.ru 
300115Sigor@sysoev.ru     if (router == NULL) {
301115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "no \"/router\" block");
302115Sigor@sysoev.ru         return NXT_ERROR;
303115Sigor@sysoev.ru     }
304115Sigor@sysoev.ru 
305115Sigor@sysoev.ru     ret = nxt_conf_map_object(router, nxt_router_conf, tmcf->conf);
306115Sigor@sysoev.ru     if (ret != NXT_OK) {
307115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "router map error");
308115Sigor@sysoev.ru         return NXT_ERROR;
309115Sigor@sysoev.ru     }
310115Sigor@sysoev.ru 
311117Sigor@sysoev.ru     if (tmcf->conf->threads == 0) {
312117Sigor@sysoev.ru         tmcf->conf->threads = nxt_ncpu;
313117Sigor@sysoev.ru     }
314117Sigor@sysoev.ru 
315115Sigor@sysoev.ru     http = nxt_conf_get_path(conf, &http_path);
316115Sigor@sysoev.ru 
317115Sigor@sysoev.ru     if (http == NULL) {
318115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "no \"/http\" block");
319115Sigor@sysoev.ru         return NXT_ERROR;
320115Sigor@sysoev.ru     }
321115Sigor@sysoev.ru 
322115Sigor@sysoev.ru     listeners = nxt_conf_get_path(conf, &listeners_path);
323115Sigor@sysoev.ru 
324115Sigor@sysoev.ru     if (listeners == NULL) {
325115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "no \"/listeners\" block");
326115Sigor@sysoev.ru         return NXT_ERROR;
327115Sigor@sysoev.ru     }
32853Sigor@sysoev.ru 
32953Sigor@sysoev.ru     mp = tmcf->conf->mem_pool;
33053Sigor@sysoev.ru 
331115Sigor@sysoev.ru     next = 0;
332115Sigor@sysoev.ru 
333115Sigor@sysoev.ru     for ( ;; ) {
334115Sigor@sysoev.ru         listener = nxt_conf_next_object_member(listeners, &name, &next);
335115Sigor@sysoev.ru         if (listener == NULL) {
336115Sigor@sysoev.ru             break;
337115Sigor@sysoev.ru         }
33853Sigor@sysoev.ru 
339115Sigor@sysoev.ru         sa = nxt_sockaddr_parse(mp, &name);
340115Sigor@sysoev.ru         if (sa == NULL) {
341115Sigor@sysoev.ru             nxt_log(task, NXT_LOG_CRIT, "invalid listener \"%V\"", &name);
342115Sigor@sysoev.ru             return NXT_ERROR;
343115Sigor@sysoev.ru         }
344115Sigor@sysoev.ru 
345115Sigor@sysoev.ru         sa->type = SOCK_STREAM;
346115Sigor@sysoev.ru 
347115Sigor@sysoev.ru         nxt_debug(task, "router listener: \"%*s\"",
348115Sigor@sysoev.ru                   sa->length, nxt_sockaddr_start(sa));
34953Sigor@sysoev.ru 
350115Sigor@sysoev.ru         skcf = nxt_router_socket_conf(task, mp, sa);
351115Sigor@sysoev.ru         if (skcf == NULL) {
352115Sigor@sysoev.ru             return NXT_ERROR;
353115Sigor@sysoev.ru         }
35453Sigor@sysoev.ru 
355115Sigor@sysoev.ru         ret = nxt_conf_map_object(listener, nxt_router_listener_conf, &lscf);
356115Sigor@sysoev.ru         if (ret != NXT_OK) {
357115Sigor@sysoev.ru             nxt_log(task, NXT_LOG_CRIT, "listener map error");
358115Sigor@sysoev.ru             return NXT_ERROR;
359115Sigor@sysoev.ru         }
36053Sigor@sysoev.ru 
361115Sigor@sysoev.ru         nxt_debug(task, "router type: %V", &lscf.application_type);
362115Sigor@sysoev.ru         nxt_debug(task, "router workers: %D", lscf.application_workers);
36353Sigor@sysoev.ru 
364115Sigor@sysoev.ru         ret = nxt_conf_map_object(http, nxt_router_http_conf, skcf);
365115Sigor@sysoev.ru         if (ret != NXT_OK) {
366115Sigor@sysoev.ru             nxt_log(task, NXT_LOG_CRIT, "http map error");
367115Sigor@sysoev.ru             return NXT_ERROR;
368115Sigor@sysoev.ru         }
369115Sigor@sysoev.ru 
370115Sigor@sysoev.ru         skcf->listen.handler = nxt_router_conn_init;
371115Sigor@sysoev.ru         skcf->router_conf = tmcf->conf;
372115Sigor@sysoev.ru 
373115Sigor@sysoev.ru         nxt_queue_insert_tail(&tmcf->pending, &skcf->link);
374115Sigor@sysoev.ru     }
37553Sigor@sysoev.ru 
37653Sigor@sysoev.ru     return NXT_OK;
37753Sigor@sysoev.ru }
37853Sigor@sysoev.ru 
37953Sigor@sysoev.ru 
38053Sigor@sysoev.ru static nxt_socket_conf_t *
38165Sigor@sysoev.ru nxt_router_socket_conf(nxt_task_t *task, nxt_mp_t *mp, nxt_sockaddr_t *sa)
38253Sigor@sysoev.ru {
38353Sigor@sysoev.ru     nxt_socket_conf_t  *conf;
38453Sigor@sysoev.ru 
38565Sigor@sysoev.ru     conf = nxt_mp_zget(mp, sizeof(nxt_socket_conf_t));
38653Sigor@sysoev.ru     if (nxt_slow_path(conf == NULL)) {
38753Sigor@sysoev.ru         return NULL;
38853Sigor@sysoev.ru     }
38953Sigor@sysoev.ru 
390115Sigor@sysoev.ru     conf->sockaddr = sa;
391115Sigor@sysoev.ru 
39253Sigor@sysoev.ru     conf->listen.sockaddr = sa;
393103Sigor@sysoev.ru     conf->listen.socklen = sa->socklen;
394103Sigor@sysoev.ru     conf->listen.address_length = sa->length;
39553Sigor@sysoev.ru 
39653Sigor@sysoev.ru     conf->listen.socket = -1;
39753Sigor@sysoev.ru     conf->listen.backlog = NXT_LISTEN_BACKLOG;
39853Sigor@sysoev.ru     conf->listen.flags = NXT_NONBLOCK;
39953Sigor@sysoev.ru     conf->listen.read_after_accept = 1;
40053Sigor@sysoev.ru 
40153Sigor@sysoev.ru     return conf;
40253Sigor@sysoev.ru }
40353Sigor@sysoev.ru 
40453Sigor@sysoev.ru 
40553Sigor@sysoev.ru static void
40653Sigor@sysoev.ru nxt_router_listen_sockets_sort(nxt_router_t *router,
40753Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf)
40853Sigor@sysoev.ru {
40953Sigor@sysoev.ru     nxt_queue_link_t   *nqlk, *oqlk, *next;
41053Sigor@sysoev.ru     nxt_socket_conf_t  *nskcf, *oskcf;
41153Sigor@sysoev.ru 
41253Sigor@sysoev.ru     for (nqlk = nxt_queue_first(&tmcf->pending);
41353Sigor@sysoev.ru          nqlk != nxt_queue_tail(&tmcf->pending);
41453Sigor@sysoev.ru          nqlk = next)
41553Sigor@sysoev.ru     {
41653Sigor@sysoev.ru         next = nxt_queue_next(nqlk);
41753Sigor@sysoev.ru         nskcf = nxt_queue_link_data(nqlk, nxt_socket_conf_t, link);
41853Sigor@sysoev.ru 
41953Sigor@sysoev.ru         for (oqlk = nxt_queue_first(&router->sockets);
42053Sigor@sysoev.ru              oqlk != nxt_queue_tail(&router->sockets);
42153Sigor@sysoev.ru              oqlk = nxt_queue_next(oqlk))
42253Sigor@sysoev.ru         {
42353Sigor@sysoev.ru             oskcf = nxt_queue_link_data(oqlk, nxt_socket_conf_t, link);
42453Sigor@sysoev.ru 
425115Sigor@sysoev.ru             if (nxt_sockaddr_cmp(nskcf->sockaddr, oskcf->sockaddr)) {
426115Sigor@sysoev.ru                 nskcf->socket = oskcf->socket;
427115Sigor@sysoev.ru                 nskcf->listen.socket = oskcf->listen.socket;
428115Sigor@sysoev.ru 
42953Sigor@sysoev.ru                 nxt_queue_remove(oqlk);
43053Sigor@sysoev.ru                 nxt_queue_insert_tail(&tmcf->keeping, oqlk);
43153Sigor@sysoev.ru 
43253Sigor@sysoev.ru                 nxt_queue_remove(nqlk);
43353Sigor@sysoev.ru                 nxt_queue_insert_tail(&tmcf->updating, nqlk);
43453Sigor@sysoev.ru 
43553Sigor@sysoev.ru                 break;
43653Sigor@sysoev.ru             }
43753Sigor@sysoev.ru         }
43853Sigor@sysoev.ru     }
43953Sigor@sysoev.ru 
44053Sigor@sysoev.ru     nxt_queue_add(&tmcf->deleting, &router->sockets);
441115Sigor@sysoev.ru     nxt_queue_init(&router->sockets);
44253Sigor@sysoev.ru }
44353Sigor@sysoev.ru 
44453Sigor@sysoev.ru 
44553Sigor@sysoev.ru static nxt_int_t
44653Sigor@sysoev.ru nxt_router_listen_sockets_stub_create(nxt_task_t *task,
44753Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf)
44853Sigor@sysoev.ru {
449115Sigor@sysoev.ru     nxt_int_t            ret;
450115Sigor@sysoev.ru     nxt_socket_t         s;
451115Sigor@sysoev.ru     nxt_queue_link_t     *qlk, *nqlk;
452115Sigor@sysoev.ru     nxt_socket_conf_t    *skcf;
453115Sigor@sysoev.ru     nxt_router_socket_t  *rtsk;
45453Sigor@sysoev.ru 
45553Sigor@sysoev.ru     for (qlk = nxt_queue_first(&tmcf->pending);
45653Sigor@sysoev.ru          qlk != nxt_queue_tail(&tmcf->pending);
45753Sigor@sysoev.ru          qlk = nqlk)
45853Sigor@sysoev.ru     {
459115Sigor@sysoev.ru         rtsk = nxt_malloc(sizeof(nxt_router_socket_t));
460115Sigor@sysoev.ru         if (nxt_slow_path(rtsk == NULL)) {
46153Sigor@sysoev.ru             return NXT_ERROR;
46253Sigor@sysoev.ru         }
46353Sigor@sysoev.ru 
464115Sigor@sysoev.ru         rtsk->count = 0;
465115Sigor@sysoev.ru 
466115Sigor@sysoev.ru         skcf = nxt_queue_link_data(qlk, nxt_socket_conf_t, link);
467115Sigor@sysoev.ru         skcf->socket = rtsk;
468115Sigor@sysoev.ru 
469115Sigor@sysoev.ru         s = nxt_listen_socket_create0(task, skcf->sockaddr, NXT_NONBLOCK);
470115Sigor@sysoev.ru         if (nxt_slow_path(s == -1)) {
471115Sigor@sysoev.ru             return NXT_ERROR;
472115Sigor@sysoev.ru         }
473115Sigor@sysoev.ru 
474115Sigor@sysoev.ru         ret = nxt_listen_socket(task, s, NXT_LISTEN_BACKLOG);
475115Sigor@sysoev.ru         if (nxt_slow_path(ret != NXT_OK)) {
476115Sigor@sysoev.ru             return NXT_ERROR;
477115Sigor@sysoev.ru         }
478115Sigor@sysoev.ru 
479115Sigor@sysoev.ru         skcf->listen.socket = s;
480115Sigor@sysoev.ru 
481115Sigor@sysoev.ru         rtsk->fd = s;
482115Sigor@sysoev.ru 
48353Sigor@sysoev.ru         nqlk = nxt_queue_next(qlk);
48453Sigor@sysoev.ru         nxt_queue_remove(qlk);
48553Sigor@sysoev.ru         nxt_queue_insert_tail(&tmcf->creating, qlk);
48653Sigor@sysoev.ru     }
48753Sigor@sysoev.ru 
48853Sigor@sysoev.ru     return NXT_OK;
48953Sigor@sysoev.ru }
49053Sigor@sysoev.ru 
49153Sigor@sysoev.ru 
49253Sigor@sysoev.ru static nxt_int_t
49353Sigor@sysoev.ru nxt_router_engines_create(nxt_task_t *task, nxt_router_t *router,
49453Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf, const nxt_event_interface_t *interface)
49553Sigor@sysoev.ru {
49653Sigor@sysoev.ru     nxt_int_t                 ret;
49753Sigor@sysoev.ru     nxt_uint_t                n, threads;
49853Sigor@sysoev.ru     nxt_queue_link_t          *qlk;
49953Sigor@sysoev.ru     nxt_router_engine_conf_t  *recf;
50053Sigor@sysoev.ru 
50153Sigor@sysoev.ru     threads = tmcf->conf->threads;
50253Sigor@sysoev.ru 
50353Sigor@sysoev.ru     tmcf->engines = nxt_array_create(tmcf->mem_pool, threads,
50453Sigor@sysoev.ru                                      sizeof(nxt_router_engine_conf_t));
50553Sigor@sysoev.ru     if (nxt_slow_path(tmcf->engines == NULL)) {
50653Sigor@sysoev.ru         return NXT_ERROR;
50753Sigor@sysoev.ru     }
50853Sigor@sysoev.ru 
50953Sigor@sysoev.ru     n = 0;
51053Sigor@sysoev.ru 
51153Sigor@sysoev.ru     for (qlk = nxt_queue_first(&router->engines);
51253Sigor@sysoev.ru          qlk != nxt_queue_tail(&router->engines);
51353Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
51453Sigor@sysoev.ru     {
51553Sigor@sysoev.ru         recf = nxt_array_zero_add(tmcf->engines);
51653Sigor@sysoev.ru         if (nxt_slow_path(recf == NULL)) {
51753Sigor@sysoev.ru             return NXT_ERROR;
51853Sigor@sysoev.ru         }
51953Sigor@sysoev.ru 
520115Sigor@sysoev.ru         recf->engine = nxt_queue_link_data(qlk, nxt_event_engine_t, link0);
52153Sigor@sysoev.ru         // STUB
52253Sigor@sysoev.ru         recf->task = recf->engine->task;
52353Sigor@sysoev.ru 
52453Sigor@sysoev.ru         if (n < threads) {
525115Sigor@sysoev.ru             ret = nxt_router_engine_conf_update(tmcf, recf);
52653Sigor@sysoev.ru 
52753Sigor@sysoev.ru         } else {
528115Sigor@sysoev.ru             ret = nxt_router_engine_conf_delete(tmcf, recf);
52953Sigor@sysoev.ru         }
53053Sigor@sysoev.ru 
53153Sigor@sysoev.ru         if (nxt_slow_path(ret != NXT_OK)) {
53253Sigor@sysoev.ru             return ret;
53353Sigor@sysoev.ru         }
53453Sigor@sysoev.ru 
53553Sigor@sysoev.ru         n++;
53653Sigor@sysoev.ru     }
53753Sigor@sysoev.ru 
53853Sigor@sysoev.ru     tmcf->new_threads = n;
53953Sigor@sysoev.ru 
54053Sigor@sysoev.ru     while (n < threads) {
54153Sigor@sysoev.ru         recf = nxt_array_zero_add(tmcf->engines);
54253Sigor@sysoev.ru         if (nxt_slow_path(recf == NULL)) {
54353Sigor@sysoev.ru             return NXT_ERROR;
54453Sigor@sysoev.ru         }
54553Sigor@sysoev.ru 
54653Sigor@sysoev.ru         recf->engine = nxt_event_engine_create(task, interface, NULL, 0, 0);
54753Sigor@sysoev.ru         if (nxt_slow_path(recf->engine == NULL)) {
54853Sigor@sysoev.ru             return NXT_ERROR;
54953Sigor@sysoev.ru         }
55053Sigor@sysoev.ru         // STUB
55153Sigor@sysoev.ru         recf->task = recf->engine->task;
55253Sigor@sysoev.ru 
553115Sigor@sysoev.ru         ret = nxt_router_engine_conf_create(tmcf, recf);
55453Sigor@sysoev.ru         if (nxt_slow_path(ret != NXT_OK)) {
55553Sigor@sysoev.ru             return ret;
55653Sigor@sysoev.ru         }
55753Sigor@sysoev.ru 
558115Sigor@sysoev.ru         nxt_queue_insert_tail(&router->engines, &recf->engine->link0);
559115Sigor@sysoev.ru 
56053Sigor@sysoev.ru         n++;
56153Sigor@sysoev.ru     }
56253Sigor@sysoev.ru 
56353Sigor@sysoev.ru     return NXT_OK;
56453Sigor@sysoev.ru }
56553Sigor@sysoev.ru 
56653Sigor@sysoev.ru 
56753Sigor@sysoev.ru static nxt_int_t
568115Sigor@sysoev.ru nxt_router_engine_conf_create(nxt_router_temp_conf_t *tmcf,
569115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf)
57053Sigor@sysoev.ru {
571115Sigor@sysoev.ru     nxt_mp_t               *mp;
572115Sigor@sysoev.ru     nxt_int_t              ret;
573115Sigor@sysoev.ru     nxt_thread_spinlock_t  *lock;
57453Sigor@sysoev.ru 
57553Sigor@sysoev.ru     recf->creating = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
57653Sigor@sysoev.ru     if (nxt_slow_path(recf->creating == NULL)) {
57753Sigor@sysoev.ru         return NXT_ERROR;
57853Sigor@sysoev.ru     }
57953Sigor@sysoev.ru 
580115Sigor@sysoev.ru     mp = tmcf->conf->mem_pool;
581115Sigor@sysoev.ru 
582115Sigor@sysoev.ru     ret = nxt_router_engine_joints_create(mp, recf, &tmcf->creating,
583115Sigor@sysoev.ru                             recf->creating, nxt_router_listen_socket_create);
584115Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
585115Sigor@sysoev.ru         return ret;
586115Sigor@sysoev.ru     }
587115Sigor@sysoev.ru 
588115Sigor@sysoev.ru     ret = nxt_router_engine_joints_create(mp, recf, &tmcf->updating,
58953Sigor@sysoev.ru                             recf->creating, nxt_router_listen_socket_create);
59053Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
59153Sigor@sysoev.ru         return ret;
59253Sigor@sysoev.ru     }
59353Sigor@sysoev.ru 
594115Sigor@sysoev.ru     lock = &tmcf->conf->router->lock;
595115Sigor@sysoev.ru 
596115Sigor@sysoev.ru     nxt_thread_spin_lock(lock);
597115Sigor@sysoev.ru 
598115Sigor@sysoev.ru     nxt_router_engine_socket_count(&tmcf->creating);
599115Sigor@sysoev.ru     nxt_router_engine_socket_count(&tmcf->updating);
600115Sigor@sysoev.ru 
601115Sigor@sysoev.ru     nxt_thread_spin_unlock(lock);
602115Sigor@sysoev.ru 
603115Sigor@sysoev.ru     return ret;
60453Sigor@sysoev.ru }
60553Sigor@sysoev.ru 
60653Sigor@sysoev.ru 
60753Sigor@sysoev.ru static nxt_int_t
608115Sigor@sysoev.ru nxt_router_engine_conf_update(nxt_router_temp_conf_t *tmcf,
609115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf)
61053Sigor@sysoev.ru {
611115Sigor@sysoev.ru     nxt_mp_t               *mp;
612115Sigor@sysoev.ru     nxt_int_t              ret;
613115Sigor@sysoev.ru     nxt_thread_spinlock_t  *lock;
61453Sigor@sysoev.ru 
61553Sigor@sysoev.ru     recf->creating = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
61653Sigor@sysoev.ru     if (nxt_slow_path(recf->creating == NULL)) {
61753Sigor@sysoev.ru         return NXT_ERROR;
61853Sigor@sysoev.ru     }
61953Sigor@sysoev.ru 
620115Sigor@sysoev.ru     mp = tmcf->conf->mem_pool;
621115Sigor@sysoev.ru 
622115Sigor@sysoev.ru     ret = nxt_router_engine_joints_create(mp, recf, &tmcf->creating,
62353Sigor@sysoev.ru                             recf->creating, nxt_router_listen_socket_create);
62453Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
62553Sigor@sysoev.ru         return ret;
62653Sigor@sysoev.ru     }
62753Sigor@sysoev.ru 
62853Sigor@sysoev.ru     recf->updating = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
62953Sigor@sysoev.ru     if (nxt_slow_path(recf->updating == NULL)) {
63053Sigor@sysoev.ru         return NXT_ERROR;
63153Sigor@sysoev.ru     }
63253Sigor@sysoev.ru 
633115Sigor@sysoev.ru     ret = nxt_router_engine_joints_create(mp, recf, &tmcf->updating,
63453Sigor@sysoev.ru                             recf->updating, nxt_router_listen_socket_update);
63553Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
63653Sigor@sysoev.ru         return ret;
63753Sigor@sysoev.ru     }
63853Sigor@sysoev.ru 
63953Sigor@sysoev.ru     recf->deleting = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
64053Sigor@sysoev.ru     if (nxt_slow_path(recf->deleting == NULL)) {
64153Sigor@sysoev.ru         return NXT_ERROR;
64253Sigor@sysoev.ru     }
64353Sigor@sysoev.ru 
644115Sigor@sysoev.ru     ret = nxt_router_engine_joints_delete(recf, &tmcf->deleting);
645115Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
646115Sigor@sysoev.ru         return ret;
647115Sigor@sysoev.ru     }
648115Sigor@sysoev.ru 
649115Sigor@sysoev.ru     lock = &tmcf->conf->router->lock;
650115Sigor@sysoev.ru 
651115Sigor@sysoev.ru     nxt_thread_spin_lock(lock);
652115Sigor@sysoev.ru 
653115Sigor@sysoev.ru     nxt_router_engine_socket_count(&tmcf->creating);
654115Sigor@sysoev.ru 
655115Sigor@sysoev.ru     nxt_thread_spin_unlock(lock);
656115Sigor@sysoev.ru 
657115Sigor@sysoev.ru     return ret;
65853Sigor@sysoev.ru }
65953Sigor@sysoev.ru 
66053Sigor@sysoev.ru 
66153Sigor@sysoev.ru static nxt_int_t
662115Sigor@sysoev.ru nxt_router_engine_conf_delete(nxt_router_temp_conf_t *tmcf,
663115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf)
66453Sigor@sysoev.ru {
66553Sigor@sysoev.ru     nxt_int_t  ret;
66653Sigor@sysoev.ru 
66753Sigor@sysoev.ru     recf->deleting = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
66853Sigor@sysoev.ru     if (nxt_slow_path(recf->deleting == NULL)) {
66953Sigor@sysoev.ru         return NXT_ERROR;
67053Sigor@sysoev.ru     }
67153Sigor@sysoev.ru 
672115Sigor@sysoev.ru     ret = nxt_router_engine_joints_delete(recf, &tmcf->updating);
67353Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
67453Sigor@sysoev.ru         return ret;
67553Sigor@sysoev.ru     }
67653Sigor@sysoev.ru 
677115Sigor@sysoev.ru     return nxt_router_engine_joints_delete(recf, &tmcf->deleting);
67853Sigor@sysoev.ru }
67953Sigor@sysoev.ru 
68053Sigor@sysoev.ru 
68153Sigor@sysoev.ru static nxt_int_t
682115Sigor@sysoev.ru nxt_router_engine_joints_create(nxt_mp_t *mp, nxt_router_engine_conf_t *recf,
683115Sigor@sysoev.ru     nxt_queue_t *sockets, nxt_array_t *array,
68453Sigor@sysoev.ru     nxt_work_handler_t handler)
68553Sigor@sysoev.ru {
68653Sigor@sysoev.ru     nxt_work_t               *work;
68753Sigor@sysoev.ru     nxt_queue_link_t         *qlk;
68853Sigor@sysoev.ru     nxt_socket_conf_joint_t  *joint;
68953Sigor@sysoev.ru 
69053Sigor@sysoev.ru     for (qlk = nxt_queue_first(sockets);
69153Sigor@sysoev.ru          qlk != nxt_queue_tail(sockets);
69253Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
69353Sigor@sysoev.ru     {
69453Sigor@sysoev.ru         work = nxt_array_add(array);
69553Sigor@sysoev.ru         if (nxt_slow_path(work == NULL)) {
69653Sigor@sysoev.ru             return NXT_ERROR;
69753Sigor@sysoev.ru         }
69853Sigor@sysoev.ru 
69953Sigor@sysoev.ru         work->next = NULL;
70053Sigor@sysoev.ru         work->handler = handler;
70153Sigor@sysoev.ru         work->task = &recf->task;
70253Sigor@sysoev.ru         work->obj = recf->engine;
70353Sigor@sysoev.ru 
70465Sigor@sysoev.ru         joint = nxt_mp_alloc(mp, sizeof(nxt_socket_conf_joint_t));
70553Sigor@sysoev.ru         if (nxt_slow_path(joint == NULL)) {
70653Sigor@sysoev.ru             return NXT_ERROR;
70753Sigor@sysoev.ru         }
70853Sigor@sysoev.ru 
70953Sigor@sysoev.ru         work->data = joint;
71053Sigor@sysoev.ru 
71153Sigor@sysoev.ru         joint->count = 1;
71253Sigor@sysoev.ru         joint->socket_conf = nxt_queue_link_data(qlk, nxt_socket_conf_t, link);
71388Smax.romanov@nginx.com         joint->engine = recf->engine;
714115Sigor@sysoev.ru 
715115Sigor@sysoev.ru         nxt_queue_insert_tail(&joint->engine->joints, &joint->link);
71653Sigor@sysoev.ru     }
71753Sigor@sysoev.ru 
71820Sigor@sysoev.ru     return NXT_OK;
71920Sigor@sysoev.ru }
72020Sigor@sysoev.ru 
72120Sigor@sysoev.ru 
722115Sigor@sysoev.ru static void
723115Sigor@sysoev.ru nxt_router_engine_socket_count(nxt_queue_t *sockets)
724115Sigor@sysoev.ru {
725115Sigor@sysoev.ru     nxt_queue_link_t   *qlk;
726115Sigor@sysoev.ru     nxt_socket_conf_t  *skcf;
727115Sigor@sysoev.ru 
728115Sigor@sysoev.ru     for (qlk = nxt_queue_first(sockets);
729115Sigor@sysoev.ru          qlk != nxt_queue_tail(sockets);
730115Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
731115Sigor@sysoev.ru     {
732115Sigor@sysoev.ru         skcf = nxt_queue_link_data(qlk, nxt_socket_conf_t, link);
733115Sigor@sysoev.ru         skcf->socket->count++;
734115Sigor@sysoev.ru     }
735115Sigor@sysoev.ru }
736115Sigor@sysoev.ru 
737115Sigor@sysoev.ru 
73820Sigor@sysoev.ru static nxt_int_t
739115Sigor@sysoev.ru nxt_router_engine_joints_delete(nxt_router_engine_conf_t *recf,
740115Sigor@sysoev.ru     nxt_queue_t *sockets)
74120Sigor@sysoev.ru {
74253Sigor@sysoev.ru     nxt_work_t        *work;
74353Sigor@sysoev.ru     nxt_queue_link_t  *qlk;
74420Sigor@sysoev.ru 
74553Sigor@sysoev.ru     for (qlk = nxt_queue_first(sockets);
74653Sigor@sysoev.ru          qlk != nxt_queue_tail(sockets);
74753Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
74853Sigor@sysoev.ru     {
749115Sigor@sysoev.ru         work = nxt_array_add(recf->deleting);
75053Sigor@sysoev.ru         if (nxt_slow_path(work == NULL)) {
75153Sigor@sysoev.ru             return NXT_ERROR;
75253Sigor@sysoev.ru         }
75320Sigor@sysoev.ru 
75453Sigor@sysoev.ru         work->next = NULL;
75553Sigor@sysoev.ru         work->handler = nxt_router_listen_socket_delete;
75653Sigor@sysoev.ru         work->task = &recf->task;
75753Sigor@sysoev.ru         work->obj = recf->engine;
75853Sigor@sysoev.ru         work->data = nxt_queue_link_data(qlk, nxt_socket_conf_t, link);
75920Sigor@sysoev.ru     }
76020Sigor@sysoev.ru 
76153Sigor@sysoev.ru     return NXT_OK;
76253Sigor@sysoev.ru }
76320Sigor@sysoev.ru 
76420Sigor@sysoev.ru 
76553Sigor@sysoev.ru static nxt_int_t
76653Sigor@sysoev.ru nxt_router_threads_create(nxt_task_t *task, nxt_runtime_t *rt,
76753Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf)
76853Sigor@sysoev.ru {
76953Sigor@sysoev.ru     nxt_int_t                 ret;
77053Sigor@sysoev.ru     nxt_uint_t                i, threads;
77153Sigor@sysoev.ru     nxt_router_engine_conf_t  *recf;
77220Sigor@sysoev.ru 
77353Sigor@sysoev.ru     recf = tmcf->engines->elts;
77453Sigor@sysoev.ru     threads = tmcf->conf->threads;
77520Sigor@sysoev.ru 
77653Sigor@sysoev.ru     for (i = tmcf->new_threads; i < threads; i++) {
77753Sigor@sysoev.ru         ret = nxt_router_thread_create(task, rt, recf[i].engine);
77853Sigor@sysoev.ru         if (nxt_slow_path(ret != NXT_OK)) {
77953Sigor@sysoev.ru             return ret;
78053Sigor@sysoev.ru         }
78120Sigor@sysoev.ru     }
78220Sigor@sysoev.ru 
78320Sigor@sysoev.ru     return NXT_OK;
78420Sigor@sysoev.ru }
78553Sigor@sysoev.ru 
78653Sigor@sysoev.ru 
78753Sigor@sysoev.ru static nxt_int_t
78853Sigor@sysoev.ru nxt_router_thread_create(nxt_task_t *task, nxt_runtime_t *rt,
78953Sigor@sysoev.ru     nxt_event_engine_t *engine)
79053Sigor@sysoev.ru {
79188Smax.romanov@nginx.com     nxt_mp_t             *mp;
79253Sigor@sysoev.ru     nxt_int_t            ret;
79388Smax.romanov@nginx.com     nxt_port_t           *port;
79488Smax.romanov@nginx.com     nxt_process_t        *process;
79553Sigor@sysoev.ru     nxt_thread_link_t    *link;
79653Sigor@sysoev.ru     nxt_thread_handle_t  handle;
79753Sigor@sysoev.ru 
79853Sigor@sysoev.ru     link = nxt_zalloc(sizeof(nxt_thread_link_t));
79953Sigor@sysoev.ru 
80053Sigor@sysoev.ru     if (nxt_slow_path(link == NULL)) {
80153Sigor@sysoev.ru         return NXT_ERROR;
80253Sigor@sysoev.ru     }
80353Sigor@sysoev.ru 
80453Sigor@sysoev.ru     link->start = nxt_router_thread_start;
80553Sigor@sysoev.ru     link->engine = engine;
80653Sigor@sysoev.ru     link->work.handler = nxt_router_thread_exit_handler;
80753Sigor@sysoev.ru     link->work.task = task;
80853Sigor@sysoev.ru     link->work.data = link;
80953Sigor@sysoev.ru 
81053Sigor@sysoev.ru     nxt_queue_insert_tail(&rt->engines, &engine->link);
81153Sigor@sysoev.ru 
81288Smax.romanov@nginx.com     process = nxt_runtime_process_find(rt, nxt_pid);
81388Smax.romanov@nginx.com     if (nxt_slow_path(process == NULL)) {
81488Smax.romanov@nginx.com         return NXT_ERROR;
81588Smax.romanov@nginx.com     }
81688Smax.romanov@nginx.com 
81788Smax.romanov@nginx.com     port = nxt_process_port_new(process);
81888Smax.romanov@nginx.com     if (nxt_slow_path(port == NULL)) {
81988Smax.romanov@nginx.com         return NXT_ERROR;
82088Smax.romanov@nginx.com     }
82188Smax.romanov@nginx.com 
82288Smax.romanov@nginx.com     ret = nxt_port_socket_init(task, port, 0);
82388Smax.romanov@nginx.com     if (nxt_slow_path(ret != NXT_OK)) {
82488Smax.romanov@nginx.com         return ret;
82588Smax.romanov@nginx.com     }
82688Smax.romanov@nginx.com 
82788Smax.romanov@nginx.com     mp = nxt_mp_create(1024, 128, 256, 32);
82888Smax.romanov@nginx.com     if (nxt_slow_path(mp == NULL)) {
82988Smax.romanov@nginx.com         return NXT_ERROR;
83088Smax.romanov@nginx.com     }
83188Smax.romanov@nginx.com 
83288Smax.romanov@nginx.com     port->mem_pool = mp;
83388Smax.romanov@nginx.com     port->engine = 0;
83488Smax.romanov@nginx.com     port->type = NXT_PROCESS_ROUTER;
83588Smax.romanov@nginx.com 
83688Smax.romanov@nginx.com     engine->port = port;
83788Smax.romanov@nginx.com 
83888Smax.romanov@nginx.com     nxt_runtime_port_add(rt, port);
83988Smax.romanov@nginx.com 
84053Sigor@sysoev.ru     ret = nxt_thread_create(&handle, link);
84153Sigor@sysoev.ru 
84253Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
84353Sigor@sysoev.ru         nxt_queue_remove(&engine->link);
84453Sigor@sysoev.ru     }
84553Sigor@sysoev.ru 
84653Sigor@sysoev.ru     return ret;
84753Sigor@sysoev.ru }
84853Sigor@sysoev.ru 
84953Sigor@sysoev.ru 
85053Sigor@sysoev.ru static void
85153Sigor@sysoev.ru nxt_router_engines_post(nxt_router_temp_conf_t *tmcf)
85253Sigor@sysoev.ru {
85353Sigor@sysoev.ru     nxt_uint_t                n;
85453Sigor@sysoev.ru     nxt_router_engine_conf_t  *recf;
85553Sigor@sysoev.ru 
85653Sigor@sysoev.ru     recf = tmcf->engines->elts;
85753Sigor@sysoev.ru 
85853Sigor@sysoev.ru     for (n = tmcf->engines->nelts; n != 0; n--) {
85953Sigor@sysoev.ru         nxt_router_engine_post(recf);
86053Sigor@sysoev.ru         recf++;
86153Sigor@sysoev.ru     }
86253Sigor@sysoev.ru }
86353Sigor@sysoev.ru 
86453Sigor@sysoev.ru 
86553Sigor@sysoev.ru static void
86653Sigor@sysoev.ru nxt_router_engine_post(nxt_router_engine_conf_t *recf)
86753Sigor@sysoev.ru {
86853Sigor@sysoev.ru     nxt_uint_t  n;
86953Sigor@sysoev.ru     nxt_work_t  *work;
87053Sigor@sysoev.ru 
871115Sigor@sysoev.ru     if (recf->creating != NULL) {
872115Sigor@sysoev.ru         work = recf->creating->elts;
873115Sigor@sysoev.ru 
874115Sigor@sysoev.ru         for (n = recf->creating->nelts; n != 0; n--) {
875115Sigor@sysoev.ru             nxt_event_engine_post(recf->engine, work);
876115Sigor@sysoev.ru             work++;
877115Sigor@sysoev.ru         }
878115Sigor@sysoev.ru     }
879115Sigor@sysoev.ru 
880115Sigor@sysoev.ru     if (recf->updating != NULL) {
881115Sigor@sysoev.ru         work = recf->updating->elts;
88253Sigor@sysoev.ru 
883115Sigor@sysoev.ru         for (n = recf->updating->nelts; n != 0; n--) {
884115Sigor@sysoev.ru             nxt_event_engine_post(recf->engine, work);
885115Sigor@sysoev.ru             work++;
886115Sigor@sysoev.ru         }
887115Sigor@sysoev.ru     }
888115Sigor@sysoev.ru 
889115Sigor@sysoev.ru     if (recf->deleting != NULL) {
890115Sigor@sysoev.ru         work = recf->deleting->elts;
891115Sigor@sysoev.ru 
892115Sigor@sysoev.ru         for (n = recf->deleting->nelts; n != 0; n--) {
893115Sigor@sysoev.ru             nxt_event_engine_post(recf->engine, work);
894115Sigor@sysoev.ru             work++;
895115Sigor@sysoev.ru         }
89653Sigor@sysoev.ru     }
89753Sigor@sysoev.ru }
89853Sigor@sysoev.ru 
89953Sigor@sysoev.ru 
90053Sigor@sysoev.ru static void
901*119Smax.romanov@nginx.com nxt_router_app_data_handler(nxt_task_t *task, nxt_port_recv_msg_t *msg);
90288Smax.romanov@nginx.com 
903*119Smax.romanov@nginx.com static nxt_port_handler_t  nxt_router_app_port_handlers[] = {
90488Smax.romanov@nginx.com     NULL,
90588Smax.romanov@nginx.com     nxt_port_new_port_handler,
90688Smax.romanov@nginx.com     nxt_port_change_log_file_handler,
90788Smax.romanov@nginx.com     nxt_port_mmap_handler,
908*119Smax.romanov@nginx.com     nxt_router_app_data_handler,
90988Smax.romanov@nginx.com };
91088Smax.romanov@nginx.com 
91188Smax.romanov@nginx.com 
91288Smax.romanov@nginx.com static void
91353Sigor@sysoev.ru nxt_router_thread_start(void *data)
91453Sigor@sysoev.ru {
91588Smax.romanov@nginx.com     nxt_task_t          *task;
91653Sigor@sysoev.ru     nxt_thread_t        *thread;
91753Sigor@sysoev.ru     nxt_thread_link_t   *link;
91853Sigor@sysoev.ru     nxt_event_engine_t  *engine;
91953Sigor@sysoev.ru 
92053Sigor@sysoev.ru     link = data;
92153Sigor@sysoev.ru     engine = link->engine;
92288Smax.romanov@nginx.com     task = &engine->task;
92353Sigor@sysoev.ru 
92453Sigor@sysoev.ru     thread = nxt_thread();
92553Sigor@sysoev.ru 
92653Sigor@sysoev.ru     /* STUB */
92753Sigor@sysoev.ru     thread->runtime = engine->task.thread->runtime;
92853Sigor@sysoev.ru 
92953Sigor@sysoev.ru     engine->task.thread = thread;
93053Sigor@sysoev.ru     engine->task.log = thread->log;
93153Sigor@sysoev.ru     thread->engine = engine;
93263Sigor@sysoev.ru     thread->task = &engine->task;
93353Sigor@sysoev.ru     thread->fiber = &engine->fibers->fiber;
93453Sigor@sysoev.ru 
93588Smax.romanov@nginx.com     engine->port->socket.task = task;
936*119Smax.romanov@nginx.com     nxt_port_create(task, engine->port, nxt_router_app_port_handlers);
93788Smax.romanov@nginx.com 
93863Sigor@sysoev.ru     engine->mem_pool = nxt_mp_create(4096, 128, 1024, 64);
93953Sigor@sysoev.ru 
94053Sigor@sysoev.ru     nxt_event_engine_start(engine);
94153Sigor@sysoev.ru }
94253Sigor@sysoev.ru 
94353Sigor@sysoev.ru 
94453Sigor@sysoev.ru static void
94553Sigor@sysoev.ru nxt_router_listen_socket_create(nxt_task_t *task, void *obj, void *data)
94653Sigor@sysoev.ru {
94753Sigor@sysoev.ru     nxt_listen_event_t       *listen;
94853Sigor@sysoev.ru     nxt_listen_socket_t      *ls;
94953Sigor@sysoev.ru     nxt_socket_conf_joint_t  *joint;
95053Sigor@sysoev.ru 
95153Sigor@sysoev.ru     joint = data;
95253Sigor@sysoev.ru 
95353Sigor@sysoev.ru     ls = &joint->socket_conf->listen;
95453Sigor@sysoev.ru 
95553Sigor@sysoev.ru     listen = nxt_listen_event(task, ls);
95653Sigor@sysoev.ru     if (nxt_slow_path(listen == NULL)) {
95753Sigor@sysoev.ru         nxt_router_listen_socket_release(task, joint);
95853Sigor@sysoev.ru         return;
95953Sigor@sysoev.ru     }
96053Sigor@sysoev.ru 
96153Sigor@sysoev.ru     listen->socket.data = joint;
96253Sigor@sysoev.ru }
96353Sigor@sysoev.ru 
96453Sigor@sysoev.ru 
96553Sigor@sysoev.ru nxt_inline nxt_listen_event_t *
96653Sigor@sysoev.ru nxt_router_listen_event(nxt_queue_t *listen_connections,
96753Sigor@sysoev.ru     nxt_socket_conf_t *skcf)
96853Sigor@sysoev.ru {
969115Sigor@sysoev.ru     nxt_socket_t        fd;
970115Sigor@sysoev.ru     nxt_queue_link_t    *qlk;
97153Sigor@sysoev.ru     nxt_listen_event_t  *listen;
97253Sigor@sysoev.ru 
973115Sigor@sysoev.ru     fd = skcf->socket->fd;
97453Sigor@sysoev.ru 
975115Sigor@sysoev.ru     for (qlk = nxt_queue_first(listen_connections);
976115Sigor@sysoev.ru          qlk != nxt_queue_tail(listen_connections);
977115Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
97853Sigor@sysoev.ru     {
979115Sigor@sysoev.ru         listen = nxt_queue_link_data(qlk, nxt_listen_event_t, link);
98053Sigor@sysoev.ru 
981115Sigor@sysoev.ru         if (fd == listen->socket.fd) {
98253Sigor@sysoev.ru             return listen;
98353Sigor@sysoev.ru         }
98453Sigor@sysoev.ru     }
98553Sigor@sysoev.ru 
98653Sigor@sysoev.ru     return NULL;
98753Sigor@sysoev.ru }
98853Sigor@sysoev.ru 
98953Sigor@sysoev.ru 
99053Sigor@sysoev.ru static void
99153Sigor@sysoev.ru nxt_router_listen_socket_update(nxt_task_t *task, void *obj, void *data)
99253Sigor@sysoev.ru {
99353Sigor@sysoev.ru     nxt_event_engine_t       *engine;
99453Sigor@sysoev.ru     nxt_listen_event_t       *listen;
99553Sigor@sysoev.ru     nxt_socket_conf_joint_t  *joint, *old;
99653Sigor@sysoev.ru 
99753Sigor@sysoev.ru     engine = obj;
99853Sigor@sysoev.ru     joint = data;
99953Sigor@sysoev.ru 
100053Sigor@sysoev.ru     listen = nxt_router_listen_event(&engine->listen_connections,
100153Sigor@sysoev.ru                                      joint->socket_conf);
100253Sigor@sysoev.ru 
100353Sigor@sysoev.ru     old = listen->socket.data;
100453Sigor@sysoev.ru     listen->socket.data = joint;
100553Sigor@sysoev.ru 
100653Sigor@sysoev.ru     nxt_router_conf_release(task, old);
100753Sigor@sysoev.ru }
100853Sigor@sysoev.ru 
100953Sigor@sysoev.ru 
101053Sigor@sysoev.ru static void
101153Sigor@sysoev.ru nxt_router_listen_socket_delete(nxt_task_t *task, void *obj, void *data)
101253Sigor@sysoev.ru {
101353Sigor@sysoev.ru     nxt_socket_conf_t   *skcf;
101453Sigor@sysoev.ru     nxt_listen_event_t  *listen;
101553Sigor@sysoev.ru     nxt_event_engine_t  *engine;
101653Sigor@sysoev.ru 
101753Sigor@sysoev.ru     engine = obj;
101853Sigor@sysoev.ru     skcf = data;
101953Sigor@sysoev.ru 
102053Sigor@sysoev.ru     listen = nxt_router_listen_event(&engine->listen_connections, skcf);
102153Sigor@sysoev.ru 
102253Sigor@sysoev.ru     nxt_fd_event_delete(engine, &listen->socket);
102353Sigor@sysoev.ru 
102453Sigor@sysoev.ru     listen->timer.handler = nxt_router_listen_socket_close;
102553Sigor@sysoev.ru     listen->timer.work_queue = &engine->fast_work_queue;
102653Sigor@sysoev.ru 
102753Sigor@sysoev.ru     nxt_timer_add(engine, &listen->timer, 0);
102853Sigor@sysoev.ru }
102953Sigor@sysoev.ru 
103053Sigor@sysoev.ru 
103153Sigor@sysoev.ru static void
103253Sigor@sysoev.ru nxt_router_listen_socket_close(nxt_task_t *task, void *obj, void *data)
103353Sigor@sysoev.ru {
103453Sigor@sysoev.ru     nxt_timer_t              *timer;
103553Sigor@sysoev.ru     nxt_listen_event_t       *listen;
103653Sigor@sysoev.ru     nxt_socket_conf_joint_t  *joint;
103753Sigor@sysoev.ru 
103853Sigor@sysoev.ru     timer = obj;
103953Sigor@sysoev.ru     listen = nxt_timer_data(timer, nxt_listen_event_t, timer);
104053Sigor@sysoev.ru     joint = listen->socket.data;
104153Sigor@sysoev.ru 
104253Sigor@sysoev.ru     nxt_queue_remove(&listen->link);
104353Sigor@sysoev.ru     nxt_free(listen);
104453Sigor@sysoev.ru 
104553Sigor@sysoev.ru     nxt_router_listen_socket_release(task, joint);
104653Sigor@sysoev.ru }
104753Sigor@sysoev.ru 
104853Sigor@sysoev.ru 
104953Sigor@sysoev.ru static void
105053Sigor@sysoev.ru nxt_router_listen_socket_release(nxt_task_t *task,
105153Sigor@sysoev.ru     nxt_socket_conf_joint_t *joint)
105253Sigor@sysoev.ru {
1053118Sigor@sysoev.ru     nxt_socket_conf_t      *skcf;
1054115Sigor@sysoev.ru     nxt_router_socket_t    *rtsk;
105553Sigor@sysoev.ru     nxt_thread_spinlock_t  *lock;
105653Sigor@sysoev.ru 
1057118Sigor@sysoev.ru     skcf = joint->socket_conf;
1058118Sigor@sysoev.ru     rtsk = skcf->socket;
1059118Sigor@sysoev.ru     lock = &skcf->router_conf->router->lock;
106053Sigor@sysoev.ru 
106153Sigor@sysoev.ru     nxt_thread_spin_lock(lock);
106253Sigor@sysoev.ru 
1063