10Sigor@sysoev.ru 20Sigor@sysoev.ru /* 30Sigor@sysoev.ru * Copyright (C) Igor Sysoev 40Sigor@sysoev.ru * Copyright (C) NGINX, Inc. 50Sigor@sysoev.ru */ 60Sigor@sysoev.ru 70Sigor@sysoev.ru #include <nxt_main.h> 80Sigor@sysoev.ru 90Sigor@sysoev.ru 100Sigor@sysoev.ru typedef struct { 110Sigor@sysoev.ru nxt_job_t job; 120Sigor@sysoev.ru nxt_buf_t *out; 130Sigor@sysoev.ru size_t sent; 140Sigor@sysoev.ru size_t limit; 150Sigor@sysoev.ru nxt_work_handler_t ready_handler; 160Sigor@sysoev.ru } nxt_job_sendfile_t; 170Sigor@sysoev.ru 180Sigor@sysoev.ru 191Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_start(nxt_task_t *task, void *obj, 200Sigor@sysoev.ru void *data); 211Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_handler(nxt_task_t *task, void *obj, 220Sigor@sysoev.ru void *data); 231Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_return(nxt_task_t *task, void *obj, 240Sigor@sysoev.ru void *data); 251Sigor@sysoev.ru static nxt_buf_t *nxt_event_conn_job_sendfile_completion(nxt_task_t *task, 2662Sigor@sysoev.ru nxt_conn_t *c, nxt_buf_t *b); 270Sigor@sysoev.ru 280Sigor@sysoev.ru 290Sigor@sysoev.ru void 3062Sigor@sysoev.ru nxt_event_conn_job_sendfile(nxt_task_t *task, nxt_conn_t *c) 310Sigor@sysoev.ru { 3212Sigor@sysoev.ru nxt_fd_event_disable(task->thread->engine, &c->socket); 330Sigor@sysoev.ru 340Sigor@sysoev.ru /* A work item data is not used in nxt_event_conn_job_sendfile_start(). */ 351Sigor@sysoev.ru nxt_event_conn_job_sendfile_start(task, c, NULL); 360Sigor@sysoev.ru } 370Sigor@sysoev.ru 380Sigor@sysoev.ru 390Sigor@sysoev.ru static void 401Sigor@sysoev.ru nxt_event_conn_job_sendfile_start(nxt_task_t *task, void *obj, void *data) 410Sigor@sysoev.ru { 4262Sigor@sysoev.ru nxt_conn_t *c; 430Sigor@sysoev.ru nxt_iobuf_t b; 440Sigor@sysoev.ru nxt_job_sendfile_t *jbs; 450Sigor@sysoev.ru nxt_sendbuf_coalesce_t sb; 460Sigor@sysoev.ru 470Sigor@sysoev.ru c = obj; 480Sigor@sysoev.ru 491Sigor@sysoev.ru nxt_debug(task, "event conn sendfile fd:%d", c->socket.fd); 500Sigor@sysoev.ru 510Sigor@sysoev.ru jbs = nxt_job_create(c->mem_pool, sizeof(nxt_job_sendfile_t)); 520Sigor@sysoev.ru 530Sigor@sysoev.ru if (nxt_slow_path(jbs == NULL)) { 541Sigor@sysoev.ru c->write_state->error_handler(task, c, NULL); 550Sigor@sysoev.ru return; 560Sigor@sysoev.ru } 570Sigor@sysoev.ru 580Sigor@sysoev.ru c->socket.write_handler = nxt_event_conn_job_sendfile_start; 590Sigor@sysoev.ru c->socket.error_handler = c->write_state->error_handler; 600Sigor@sysoev.ru 610Sigor@sysoev.ru jbs->job.data = c; 620Sigor@sysoev.ru nxt_job_set_name(&jbs->job, "job sendfile"); 630Sigor@sysoev.ru 640Sigor@sysoev.ru jbs->limit = nxt_event_conn_write_limit(c); 650Sigor@sysoev.ru 660Sigor@sysoev.ru if (jbs->limit != 0) { 670Sigor@sysoev.ru 680Sigor@sysoev.ru sb.buf = c->write; 690Sigor@sysoev.ru sb.iobuf = &b; 700Sigor@sysoev.ru sb.nmax = 1; 710Sigor@sysoev.ru sb.sync = 0; 720Sigor@sysoev.ru sb.size = 0; 730Sigor@sysoev.ru sb.limit = jbs->limit; 740Sigor@sysoev.ru 751Sigor@sysoev.ru if (nxt_sendbuf_mem_coalesce(c->socket.task, &sb) != 0 || !sb.sync) { 760Sigor@sysoev.ru 770Sigor@sysoev.ru jbs->job.thread_pool = c->u.thread_pool; 780Sigor@sysoev.ru jbs->job.log = c->socket.log; 790Sigor@sysoev.ru jbs->out = c->write; 800Sigor@sysoev.ru c->write = NULL; 810Sigor@sysoev.ru jbs->ready_handler = nxt_event_conn_job_sendfile_return; 820Sigor@sysoev.ru 830Sigor@sysoev.ru c->blocked = 1; 840Sigor@sysoev.ru 851Sigor@sysoev.ru nxt_job_start(task, &jbs->job, nxt_event_conn_job_sendfile_handler); 860Sigor@sysoev.ru return; 870Sigor@sysoev.ru } 880Sigor@sysoev.ru } 890Sigor@sysoev.ru 901Sigor@sysoev.ru nxt_event_conn_job_sendfile_return(task, jbs, c); 910Sigor@sysoev.ru } 920Sigor@sysoev.ru 930Sigor@sysoev.ru 940Sigor@sysoev.ru static void 951Sigor@sysoev.ru nxt_event_conn_job_sendfile_handler(nxt_task_t *task, void *obj, void *data) 960Sigor@sysoev.ru { 970Sigor@sysoev.ru ssize_t ret; 980Sigor@sysoev.ru nxt_buf_t *b; 990Sigor@sysoev.ru nxt_bool_t first; 10062Sigor@sysoev.ru nxt_conn_t *c; 1010Sigor@sysoev.ru nxt_job_sendfile_t *jbs; 1020Sigor@sysoev.ru 1030Sigor@sysoev.ru jbs = obj; 1040Sigor@sysoev.ru c = data; 1050Sigor@sysoev.ru 1061Sigor@sysoev.ru nxt_debug(task, "event conn job sendfile fd:%d", c->socket.fd); 1070Sigor@sysoev.ru 1080Sigor@sysoev.ru first = c->socket.write_ready; 1090Sigor@sysoev.ru b = jbs->out; 1100Sigor@sysoev.ru 1110Sigor@sysoev.ru do { 112*771Sigor@sysoev.ru ret = c->io->old_sendbuf(c, b, jbs->limit); 1130Sigor@sysoev.ru 1140Sigor@sysoev.ru if (ret == NXT_AGAIN) { 1150Sigor@sysoev.ru break; 1160Sigor@sysoev.ru } 1170Sigor@sysoev.ru 1180Sigor@sysoev.ru if (nxt_slow_path(ret == NXT_ERROR)) { 1190Sigor@sysoev.ru goto done; 1200Sigor@sysoev.ru } 1210Sigor@sysoev.ru 1220Sigor@sysoev.ru jbs->sent += ret; 1230Sigor@sysoev.ru jbs->limit -= ret; 1240Sigor@sysoev.ru 1250Sigor@sysoev.ru b = nxt_sendbuf_update(b, ret); 1260Sigor@sysoev.ru 1270Sigor@sysoev.ru if (b == NULL) { 1280Sigor@sysoev.ru goto done; 1290Sigor@sysoev.ru } 1300Sigor@sysoev.ru 1310Sigor@sysoev.ru if (jbs->limit == 0) { 1320Sigor@sysoev.ru 1330Sigor@sysoev.ru if (c->rate == NULL) { 1340Sigor@sysoev.ru jbs->limit = c->max_chunk; 1350Sigor@sysoev.ru goto fast; 1360Sigor@sysoev.ru } 1370Sigor@sysoev.ru 1380Sigor@sysoev.ru goto done; 1390Sigor@sysoev.ru } 1400Sigor@sysoev.ru 1410Sigor@sysoev.ru } while (c->socket.write_ready); 1420Sigor@sysoev.ru 1431Sigor@sysoev.ru if (first && task->thread->thread_pool->work_queue.head != NULL) { 1440Sigor@sysoev.ru goto fast; 1450Sigor@sysoev.ru } 1460Sigor@sysoev.ru 1470Sigor@sysoev.ru done: 1480Sigor@sysoev.ru 1491Sigor@sysoev.ru nxt_job_return(task, &jbs->job, jbs->ready_handler); 1500Sigor@sysoev.ru return; 1510Sigor@sysoev.ru 1520Sigor@sysoev.ru fast: 1530Sigor@sysoev.ru 1544Sigor@sysoev.ru nxt_work_set(&jbs->job.work, nxt_event_conn_job_sendfile_handler, 1554Sigor@sysoev.ru jbs->job.task, jbs, c); 1564Sigor@sysoev.ru 1574Sigor@sysoev.ru nxt_thread_pool_post(task->thread->thread_pool, &jbs->job.work); 1580Sigor@sysoev.ru } 1590Sigor@sysoev.ru 1600Sigor@sysoev.ru 1610Sigor@sysoev.ru static void 1621Sigor@sysoev.ru nxt_event_conn_job_sendfile_return(nxt_task_t *task, void *obj, void *data) 1630Sigor@sysoev.ru { 1640Sigor@sysoev.ru size_t sent; 1650Sigor@sysoev.ru nxt_buf_t *b; 1660Sigor@sysoev.ru nxt_bool_t done; 16762Sigor@sysoev.ru nxt_conn_t *c; 1680Sigor@sysoev.ru nxt_job_sendfile_t *jbs; 1690Sigor@sysoev.ru 1700Sigor@sysoev.ru jbs = obj; 1710Sigor@sysoev.ru c = data; 1720Sigor@sysoev.ru 1730Sigor@sysoev.ru c->blocked = 0; 1740Sigor@sysoev.ru 1750Sigor@sysoev.ru sent = jbs->sent; 1760Sigor@sysoev.ru c->sent += sent; 1770Sigor@sysoev.ru 1781Sigor@sysoev.ru nxt_debug(task, "event conn sendfile sent:%z", sent); 1790Sigor@sysoev.ru 1800Sigor@sysoev.ru b = jbs->out; 1810Sigor@sysoev.ru 1820Sigor@sysoev.ru /* The job must be destroyed before connection error handler. */ 18320Sigor@sysoev.ru nxt_job_destroy(task, jbs); 1840Sigor@sysoev.ru 18556Sigor@sysoev.ru if (0 /* STUB: c->write_state->process_buffers */) { 1861Sigor@sysoev.ru b = nxt_event_conn_job_sendfile_completion(task, c, b); 1870Sigor@sysoev.ru 1880Sigor@sysoev.ru done = (b == NULL); 1890Sigor@sysoev.ru 1900Sigor@sysoev.ru /* Add data which might be added after sendfile job has started. */ 1910Sigor@sysoev.ru nxt_buf_chain_add(&b, c->write); 1920Sigor@sysoev.ru c->write = b; 1930Sigor@sysoev.ru 1940Sigor@sysoev.ru if (done) { 1950Sigor@sysoev.ru /* All data has been sent. */ 1960Sigor@sysoev.ru 1970Sigor@sysoev.ru if (b != NULL) { 1980Sigor@sysoev.ru /* But new data has been added. */ 1991Sigor@sysoev.ru nxt_event_conn_job_sendfile_start(task, c, NULL); 2000Sigor@sysoev.ru } 2010Sigor@sysoev.ru 2020Sigor@sysoev.ru return; 2030Sigor@sysoev.ru } 2040Sigor@sysoev.ru } 2050Sigor@sysoev.ru 20656Sigor@sysoev.ru if (sent != 0 && c->write_state->timer_autoreset) { 2077Sigor@sysoev.ru nxt_timer_disable(task->thread->engine, &c->write_timer); 2080Sigor@sysoev.ru } 2090Sigor@sysoev.ru 2100Sigor@sysoev.ru if (c->socket.error == 0 2111Sigor@sysoev.ru && !nxt_event_conn_write_delayed(task->thread->engine, c, sent)) 2120Sigor@sysoev.ru { 21362Sigor@sysoev.ru nxt_conn_timer(task->thread->engine, c, c->write_state, 21462Sigor@sysoev.ru &c->write_timer); 2150Sigor@sysoev.ru 21612Sigor@sysoev.ru nxt_fd_event_oneshot_write(task->thread->engine, &c->socket); 2170Sigor@sysoev.ru } 2180Sigor@sysoev.ru 2190Sigor@sysoev.ru if (sent != 0) { 22013Sigor@sysoev.ru nxt_work_queue_add(c->write_work_queue, c->write_state->ready_handler, 22113Sigor@sysoev.ru task, c, c->socket.data); 2220Sigor@sysoev.ru /* 2230Sigor@sysoev.ru * Fall through if first operations were 2240Sigor@sysoev.ru * successful but the last one failed. 2250Sigor@sysoev.ru */ 2260Sigor@sysoev.ru } 2270Sigor@sysoev.ru 2280Sigor@sysoev.ru if (nxt_slow_path(c->socket.error != 0)) { 22913Sigor@sysoev.ru nxt_work_queue_add(c->write_work_queue, c->write_state->error_handler, 23013Sigor@sysoev.ru task, c, c->socket.data); 2310Sigor@sysoev.ru } 2320Sigor@sysoev.ru } 2330Sigor@sysoev.ru 2340Sigor@sysoev.ru 2350Sigor@sysoev.ru static nxt_buf_t * 23662Sigor@sysoev.ru nxt_event_conn_job_sendfile_completion(nxt_task_t *task, nxt_conn_t *c, 2370Sigor@sysoev.ru nxt_buf_t *b) 2380Sigor@sysoev.ru { 2390Sigor@sysoev.ru while (b != NULL) { 2400Sigor@sysoev.ru 2410Sigor@sysoev.ru nxt_prefetch(b->next); 2420Sigor@sysoev.ru 2430Sigor@sysoev.ru if (nxt_buf_is_mem(b) && b->mem.pos != b->mem.free) { 2440Sigor@sysoev.ru break; 2450Sigor@sysoev.ru 2460Sigor@sysoev.ru } else if (nxt_buf_is_file(b) && b->file_pos != b->file_end) { 2470Sigor@sysoev.ru break; 2480Sigor@sysoev.ru } 2490Sigor@sysoev.ru 2504Sigor@sysoev.ru nxt_work_queue_add(c->write_work_queue, 2514Sigor@sysoev.ru b->completion_handler, task, b, b->parent); 2520Sigor@sysoev.ru 2530Sigor@sysoev.ru b = b->next; 2540Sigor@sysoev.ru } 2550Sigor@sysoev.ru 2560Sigor@sysoev.ru return b; 2570Sigor@sysoev.ru } 258