10Sigor@sysoev.ru 
20Sigor@sysoev.ru /*
30Sigor@sysoev.ru  * Copyright (C) Igor Sysoev
40Sigor@sysoev.ru  * Copyright (C) NGINX, Inc.
50Sigor@sysoev.ru  */
60Sigor@sysoev.ru 
70Sigor@sysoev.ru #include <nxt_main.h>
80Sigor@sysoev.ru 
90Sigor@sysoev.ru 
100Sigor@sysoev.ru typedef struct {
110Sigor@sysoev.ru     nxt_job_t           job;
120Sigor@sysoev.ru     nxt_buf_t           *out;
130Sigor@sysoev.ru     size_t              sent;
140Sigor@sysoev.ru     size_t              limit;
150Sigor@sysoev.ru     nxt_work_handler_t  ready_handler;
160Sigor@sysoev.ru } nxt_job_sendfile_t;
170Sigor@sysoev.ru 
180Sigor@sysoev.ru 
191Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_start(nxt_task_t *task, void *obj,
200Sigor@sysoev.ru     void *data);
211Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_handler(nxt_task_t *task, void *obj,
220Sigor@sysoev.ru     void *data);
231Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_return(nxt_task_t *task, void *obj,
240Sigor@sysoev.ru     void *data);
251Sigor@sysoev.ru static nxt_buf_t *nxt_event_conn_job_sendfile_completion(nxt_task_t *task,
2662Sigor@sysoev.ru     nxt_conn_t *c, nxt_buf_t *b);
270Sigor@sysoev.ru 
280Sigor@sysoev.ru 
290Sigor@sysoev.ru void
3062Sigor@sysoev.ru nxt_event_conn_job_sendfile(nxt_task_t *task, nxt_conn_t *c)
310Sigor@sysoev.ru {
3212Sigor@sysoev.ru     nxt_fd_event_disable(task->thread->engine, &c->socket);
330Sigor@sysoev.ru 
340Sigor@sysoev.ru     /* A work item data is not used in nxt_event_conn_job_sendfile_start(). */
351Sigor@sysoev.ru     nxt_event_conn_job_sendfile_start(task, c, NULL);
360Sigor@sysoev.ru }
370Sigor@sysoev.ru 
380Sigor@sysoev.ru 
390Sigor@sysoev.ru static void
401Sigor@sysoev.ru nxt_event_conn_job_sendfile_start(nxt_task_t *task, void *obj, void *data)
410Sigor@sysoev.ru {
4262Sigor@sysoev.ru     nxt_conn_t              *c;
430Sigor@sysoev.ru     nxt_iobuf_t             b;
440Sigor@sysoev.ru     nxt_job_sendfile_t      *jbs;
450Sigor@sysoev.ru     nxt_sendbuf_coalesce_t  sb;
460Sigor@sysoev.ru 
470Sigor@sysoev.ru     c = obj;
480Sigor@sysoev.ru 
491Sigor@sysoev.ru     nxt_debug(task, "event conn sendfile fd:%d", c->socket.fd);
500Sigor@sysoev.ru 
510Sigor@sysoev.ru     jbs = nxt_job_create(c->mem_pool, sizeof(nxt_job_sendfile_t));
520Sigor@sysoev.ru 
530Sigor@sysoev.ru     if (nxt_slow_path(jbs == NULL)) {
541Sigor@sysoev.ru         c->write_state->error_handler(task, c, NULL);
550Sigor@sysoev.ru         return;
560Sigor@sysoev.ru     }
570Sigor@sysoev.ru 
580Sigor@sysoev.ru     c->socket.write_handler = nxt_event_conn_job_sendfile_start;
590Sigor@sysoev.ru     c->socket.error_handler = c->write_state->error_handler;
600Sigor@sysoev.ru 
610Sigor@sysoev.ru     jbs->job.data = c;
620Sigor@sysoev.ru     nxt_job_set_name(&jbs->job, "job sendfile");
630Sigor@sysoev.ru 
640Sigor@sysoev.ru     jbs->limit = nxt_event_conn_write_limit(c);
650Sigor@sysoev.ru 
660Sigor@sysoev.ru     if (jbs->limit != 0) {
670Sigor@sysoev.ru 
680Sigor@sysoev.ru         sb.buf = c->write;
690Sigor@sysoev.ru         sb.iobuf = &b;
700Sigor@sysoev.ru         sb.nmax = 1;
710Sigor@sysoev.ru         sb.sync = 0;
720Sigor@sysoev.ru         sb.size = 0;
730Sigor@sysoev.ru         sb.limit = jbs->limit;
740Sigor@sysoev.ru 
751Sigor@sysoev.ru         if (nxt_sendbuf_mem_coalesce(c->socket.task, &sb) != 0 || !sb.sync) {
760Sigor@sysoev.ru 
770Sigor@sysoev.ru             jbs->job.thread_pool = c->u.thread_pool;
780Sigor@sysoev.ru             jbs->job.log = c->socket.log;
790Sigor@sysoev.ru             jbs->out = c->write;
800Sigor@sysoev.ru             c->write = NULL;
810Sigor@sysoev.ru             jbs->ready_handler = nxt_event_conn_job_sendfile_return;
820Sigor@sysoev.ru 
830Sigor@sysoev.ru             c->blocked = 1;
840Sigor@sysoev.ru 
851Sigor@sysoev.ru             nxt_job_start(task, &jbs->job, nxt_event_conn_job_sendfile_handler);
860Sigor@sysoev.ru             return;
870Sigor@sysoev.ru         }
880Sigor@sysoev.ru     }
890Sigor@sysoev.ru 
901Sigor@sysoev.ru     nxt_event_conn_job_sendfile_return(task, jbs, c);
910Sigor@sysoev.ru }
920Sigor@sysoev.ru 
930Sigor@sysoev.ru 
940Sigor@sysoev.ru static void
951Sigor@sysoev.ru nxt_event_conn_job_sendfile_handler(nxt_task_t *task, void *obj, void *data)
960Sigor@sysoev.ru {
970Sigor@sysoev.ru     ssize_t             ret;
980Sigor@sysoev.ru     nxt_buf_t           *b;
990Sigor@sysoev.ru     nxt_bool_t          first;
10062Sigor@sysoev.ru     nxt_conn_t          *c;
1010Sigor@sysoev.ru     nxt_job_sendfile_t  *jbs;
1020Sigor@sysoev.ru 
1030Sigor@sysoev.ru     jbs = obj;
1040Sigor@sysoev.ru     c = data;
1050Sigor@sysoev.ru 
1061Sigor@sysoev.ru     nxt_debug(task, "event conn job sendfile fd:%d", c->socket.fd);
1070Sigor@sysoev.ru 
1080Sigor@sysoev.ru     first = c->socket.write_ready;
1090Sigor@sysoev.ru     b = jbs->out;
1100Sigor@sysoev.ru 
1110Sigor@sysoev.ru     do {
112*771Sigor@sysoev.ru         ret = c->io->old_sendbuf(c, b, jbs->limit);
1130Sigor@sysoev.ru 
1140Sigor@sysoev.ru         if (ret == NXT_AGAIN) {
1150Sigor@sysoev.ru             break;
1160Sigor@sysoev.ru         }
1170Sigor@sysoev.ru 
1180Sigor@sysoev.ru         if (nxt_slow_path(ret == NXT_ERROR)) {
1190Sigor@sysoev.ru             goto done;
1200Sigor@sysoev.ru         }
1210Sigor@sysoev.ru 
1220Sigor@sysoev.ru         jbs->sent += ret;
1230Sigor@sysoev.ru         jbs->limit -= ret;
1240Sigor@sysoev.ru 
1250Sigor@sysoev.ru         b = nxt_sendbuf_update(b, ret);
1260Sigor@sysoev.ru 
1270Sigor@sysoev.ru         if (b == NULL) {
1280Sigor@sysoev.ru             goto done;
1290Sigor@sysoev.ru         }
1300Sigor@sysoev.ru 
1310Sigor@sysoev.ru         if (jbs->limit == 0) {
1320Sigor@sysoev.ru 
1330Sigor@sysoev.ru             if (c->rate == NULL) {
1340Sigor@sysoev.ru                 jbs->limit = c->max_chunk;
1350Sigor@sysoev.ru                 goto fast;
1360Sigor@sysoev.ru             }
1370Sigor@sysoev.ru 
1380Sigor@sysoev.ru             goto done;
1390Sigor@sysoev.ru         }
1400Sigor@sysoev.ru 
1410Sigor@sysoev.ru     } while (c->socket.write_ready);
1420Sigor@sysoev.ru 
1431Sigor@sysoev.ru     if (first && task->thread->thread_pool->work_queue.head != NULL) {
1440Sigor@sysoev.ru         goto fast;
1450Sigor@sysoev.ru     }
1460Sigor@sysoev.ru 
1470Sigor@sysoev.ru done:
1480Sigor@sysoev.ru 
1491Sigor@sysoev.ru     nxt_job_return(task, &jbs->job, jbs->ready_handler);
1500Sigor@sysoev.ru     return;
1510Sigor@sysoev.ru 
1520Sigor@sysoev.ru fast:
1530Sigor@sysoev.ru 
1544Sigor@sysoev.ru     nxt_work_set(&jbs->job.work, nxt_event_conn_job_sendfile_handler,
1554Sigor@sysoev.ru                  jbs->job.task, jbs, c);
1564Sigor@sysoev.ru 
1574Sigor@sysoev.ru     nxt_thread_pool_post(task->thread->thread_pool, &jbs->job.work);
1580Sigor@sysoev.ru }
1590Sigor@sysoev.ru 
1600Sigor@sysoev.ru 
1610Sigor@sysoev.ru static void
1621Sigor@sysoev.ru nxt_event_conn_job_sendfile_return(nxt_task_t *task, void *obj, void *data)
1630Sigor@sysoev.ru {
1640Sigor@sysoev.ru     size_t              sent;
1650Sigor@sysoev.ru     nxt_buf_t           *b;
1660Sigor@sysoev.ru     nxt_bool_t          done;
16762Sigor@sysoev.ru     nxt_conn_t          *c;
1680Sigor@sysoev.ru     nxt_job_sendfile_t  *jbs;
1690Sigor@sysoev.ru 
1700Sigor@sysoev.ru     jbs = obj;
1710Sigor@sysoev.ru     c = data;
1720Sigor@sysoev.ru 
1730Sigor@sysoev.ru     c->blocked = 0;
1740Sigor@sysoev.ru 
1750Sigor@sysoev.ru     sent = jbs->sent;
1760Sigor@sysoev.ru     c->sent += sent;
1770Sigor@sysoev.ru 
1781Sigor@sysoev.ru     nxt_debug(task, "event conn sendfile sent:%z", sent);
1790Sigor@sysoev.ru 
1800Sigor@sysoev.ru     b = jbs->out;
1810Sigor@sysoev.ru 
1820Sigor@sysoev.ru     /* The job must be destroyed before connection error handler. */
18320Sigor@sysoev.ru     nxt_job_destroy(task, jbs);
1840Sigor@sysoev.ru 
18556Sigor@sysoev.ru     if (0 /* STUB: c->write_state->process_buffers */) {
1861Sigor@sysoev.ru         b = nxt_event_conn_job_sendfile_completion(task, c, b);
1870Sigor@sysoev.ru 
1880Sigor@sysoev.ru         done = (b == NULL);
1890Sigor@sysoev.ru 
1900Sigor@sysoev.ru         /* Add data which might be added after sendfile job has started. */
1910Sigor@sysoev.ru         nxt_buf_chain_add(&b, c->write);
1920Sigor@sysoev.ru         c->write = b;
1930Sigor@sysoev.ru 
1940Sigor@sysoev.ru         if (done) {
1950Sigor@sysoev.ru             /* All data has been sent. */
1960Sigor@sysoev.ru 
1970Sigor@sysoev.ru             if (b != NULL) {
1980Sigor@sysoev.ru                 /* But new data has been added. */
1991Sigor@sysoev.ru                 nxt_event_conn_job_sendfile_start(task, c, NULL);
2000Sigor@sysoev.ru             }
2010Sigor@sysoev.ru 
2020Sigor@sysoev.ru             return;
2030Sigor@sysoev.ru         }
2040Sigor@sysoev.ru     }
2050Sigor@sysoev.ru 
20656Sigor@sysoev.ru     if (sent != 0 && c->write_state->timer_autoreset) {
2077Sigor@sysoev.ru         nxt_timer_disable(task->thread->engine, &c->write_timer);
2080Sigor@sysoev.ru     }
2090Sigor@sysoev.ru 
2100Sigor@sysoev.ru     if (c->socket.error == 0
2111Sigor@sysoev.ru         && !nxt_event_conn_write_delayed(task->thread->engine, c, sent))
2120Sigor@sysoev.ru     {
21362Sigor@sysoev.ru         nxt_conn_timer(task->thread->engine, c, c->write_state,
21462Sigor@sysoev.ru                        &c->write_timer);
2150Sigor@sysoev.ru 
21612Sigor@sysoev.ru         nxt_fd_event_oneshot_write(task->thread->engine, &c->socket);
2170Sigor@sysoev.ru     }
2180Sigor@sysoev.ru 
2190Sigor@sysoev.ru     if (sent != 0) {
22013Sigor@sysoev.ru         nxt_work_queue_add(c->write_work_queue, c->write_state->ready_handler,
22113Sigor@sysoev.ru                            task, c, c->socket.data);
2220Sigor@sysoev.ru         /*
2230Sigor@sysoev.ru          * Fall through if first operations were
2240Sigor@sysoev.ru          * successful but the last one failed.
2250Sigor@sysoev.ru          */
2260Sigor@sysoev.ru     }
2270Sigor@sysoev.ru 
2280Sigor@sysoev.ru     if (nxt_slow_path(c->socket.error != 0)) {
22913Sigor@sysoev.ru         nxt_work_queue_add(c->write_work_queue, c->write_state->error_handler,
23013Sigor@sysoev.ru                            task, c, c->socket.data);
2310Sigor@sysoev.ru     }
2320Sigor@sysoev.ru }
2330Sigor@sysoev.ru 
2340Sigor@sysoev.ru 
2350Sigor@sysoev.ru static nxt_buf_t *
23662Sigor@sysoev.ru nxt_event_conn_job_sendfile_completion(nxt_task_t *task, nxt_conn_t *c,
2370Sigor@sysoev.ru     nxt_buf_t *b)
2380Sigor@sysoev.ru {
2390Sigor@sysoev.ru     while (b != NULL) {
2400Sigor@sysoev.ru 
2410Sigor@sysoev.ru         nxt_prefetch(b->next);
2420Sigor@sysoev.ru 
2430Sigor@sysoev.ru         if (nxt_buf_is_mem(b) && b->mem.pos != b->mem.free) {
2440Sigor@sysoev.ru             break;
2450Sigor@sysoev.ru 
2460Sigor@sysoev.ru         } else if (nxt_buf_is_file(b) && b->file_pos != b->file_end) {
2470Sigor@sysoev.ru             break;
2480Sigor@sysoev.ru         }
2490Sigor@sysoev.ru 
2504Sigor@sysoev.ru         nxt_work_queue_add(c->write_work_queue,
2514Sigor@sysoev.ru                            b->completion_handler, task, b, b->parent);
2520Sigor@sysoev.ru 
2530Sigor@sysoev.ru         b = b->next;
2540Sigor@sysoev.ru     }
2550Sigor@sysoev.ru 
2560Sigor@sysoev.ru     return b;
2570Sigor@sysoev.ru }
258