c/mirror_zfs
1
0
Fork 0
mirror of https://git.proxmox.com/git/mirror_zfs.git synced 2024-11-17 10:01:01 +03:00
Code Issues Packages Projects Releases Wiki Activity

Reduce taskq and context-switch cost of zio pipe

Browse Source 
When doing a read from disk, ZFS creates 3 ZIO's: a zio_null(), the
logical zio_read(), and then a physical zio. Currently, each of these
results in a separate taskq_dispatch(zio_execute).

On high-read-iops workloads, this causes a significant performance
impact. By processing all 3 ZIO's in a single taskq entry, we reduce the
overhead on taskq locking and context switching.  We accomplish this by
allowing zio_done() to return a "next zio to execute" to zio_execute().

This results in a ~12% performance increase for random reads, from
96,000 iops to 108,000 iops (with recordsize=8k, on SSD's).

Reviewed by: Pavel Zakharov <pavel.zakharov@delphix.com>
Reviewed-by: Brian Behlendorf <behlendorf1@llnl.gov>
Reviewed by: George Wilson <george.wilson@delphix.com>
Signed-off-by: Matthew Ahrens <mahrens@delphix.com>
External-issue: DLPX-59292
Closes #7736
This commit is contained in:
Matthew Ahrens 2018-08-02 15:51:45 -07:00 committed by Brian Behlendorf
parent 499b5497cb
commit 62840030a7
2 changed files with 146 additions and 126 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
include/sys/zio.h
View File

@ -408,7 +408,7 @@ typedef struct zio_transform {
struct zio_transform *zt_next; struct zio_transform *zt_next;
} zio_transform_t; } zio_transform_t;
typedef int zio_pipe_stage_t(zio_t *zio); typedef zio_t *zio_pipe_stage_t(zio_t *zio);
/* /*
* The io_reexecute flags are distinct from io_flags because the child must * The io_reexecute flags are distinct from io_flags because the child must

266
module/zfs/zio.c
View File

@ -78,9 +78,6 @@ uint64_t zio_buf_cache_frees[SPA_MAXBLOCKSIZE >> SPA_MINBLOCKSHIFT];
int zio_delay_max = ZIO_DELAY_MAX; int zio_delay_max = ZIO_DELAY_MAX;
#define ZIO_PIPELINE_CONTINUE 0x100
#define ZIO_PIPELINE_STOP 0x101
#define BP_SPANB(indblkshift, level) \ #define BP_SPANB(indblkshift, level) \
(((uint64_t)1) << ((level) * ((indblkshift) - SPA_BLKPTRSHIFT))) (((uint64_t)1) << ((level) * ((indblkshift) - SPA_BLKPTRSHIFT)))
#define COMPARE_META_LEVEL 0x80000000ul #define COMPARE_META_LEVEL 0x80000000ul
@ -650,7 +647,8 @@ zio_wait_for_children(zio_t *zio, uint8_t childbits, enum zio_wait_type wait)
__attribute__((always_inline)) __attribute__((always_inline))
static inline void static inline void
zio_notify_parent(zio_t *pio, zio_t *zio, enum zio_wait_type wait) zio_notify_parent(zio_t *pio, zio_t *zio, enum zio_wait_type wait,
zio_t **next_to_executep)
{ {
uint64_t *countp = &pio->io_children[zio->io_child_type][wait]; uint64_t *countp = &pio->io_children[zio->io_child_type][wait];
int *errorp = &pio->io_child_error[zio->io_child_type]; int *errorp = &pio->io_child_error[zio->io_child_type];
@ -669,13 +667,33 @@ zio_notify_parent(zio_t *pio, zio_t *zio, enum zio_wait_type wait)
ZIO_TASKQ_INTERRUPT; ZIO_TASKQ_INTERRUPT;
pio->io_stall = NULL; pio->io_stall = NULL;
mutex_exit(&pio->io_lock); mutex_exit(&pio->io_lock);
/* /*
* Dispatch the parent zio in its own taskq so that * If we can tell the caller to execute this parent next, do
* the child can continue to make progress. This also * so. Otherwise dispatch the parent zio as its own task.
* prevents overflowing the stack when we have deeply nested *
* parent-child relationships. * Having the caller execute the parent when possible reduces
* locking on the zio taskq's, reduces context switch
* overhead, and has no recursion penalty. Note that one
* read from disk typically causes at least 3 zio's: a
* zio_null(), the logical zio_read(), and then a physical
* zio. When the physical ZIO completes, we are able to call
* zio_done() on all 3 of these zio's from one invocation of
* zio_execute() by returning the parent back to
* zio_execute(). Since the parent isn't executed until this
* thread returns back to zio_execute(), the caller should do
* so promptly.
*
* In other cases, dispatching the parent prevents
* overflowing the stack when we have deeply nested
* parent-child relationships, as we do with the "mega zio"
* of writes for spa_sync(), and the chain of ZIL blocks.
*/ */
if (next_to_executep != NULL && *next_to_executep == NULL) {
*next_to_executep = pio;
} else {
zio_taskq_dispatch(pio, type, B_FALSE); zio_taskq_dispatch(pio, type, B_FALSE);
}
} else { } else {
mutex_exit(&pio->io_lock); mutex_exit(&pio->io_lock);
} }
@ -1371,7 +1389,7 @@ zio_shrink(zio_t *zio, uint64_t size)
* ========================================================================== * ==========================================================================
*/ */
static int static zio_t *
zio_read_bp_init(zio_t *zio) zio_read_bp_init(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
@ -1415,14 +1433,14 @@ zio_read_bp_init(zio_t *zio)
if (BP_GET_DEDUP(bp) && zio->io_child_type == ZIO_CHILD_LOGICAL) if (BP_GET_DEDUP(bp) && zio->io_child_type == ZIO_CHILD_LOGICAL)
zio->io_pipeline = ZIO_DDT_READ_PIPELINE; zio->io_pipeline = ZIO_DDT_READ_PIPELINE;
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static int static zio_t *
zio_write_bp_init(zio_t *zio) zio_write_bp_init(zio_t *zio)
{ {
if (!IO_IS_ALLOCATING(zio)) if (!IO_IS_ALLOCATING(zio))
return (ZIO_PIPELINE_CONTINUE); return (zio);
ASSERT(zio->io_child_type != ZIO_CHILD_DDT); ASSERT(zio->io_child_type != ZIO_CHILD_DDT);
@ -1437,7 +1455,7 @@ zio_write_bp_init(zio_t *zio)
zio->io_pipeline = ZIO_INTERLOCK_PIPELINE; zio->io_pipeline = ZIO_INTERLOCK_PIPELINE;
if (BP_IS_EMBEDDED(bp)) if (BP_IS_EMBEDDED(bp))
return (ZIO_PIPELINE_CONTINUE); return (zio);
/* /*
* If we've been overridden and nopwrite is set then * If we've been overridden and nopwrite is set then
@ -1448,13 +1466,13 @@ zio_write_bp_init(zio_t *zio)
ASSERT(!zp->zp_dedup); ASSERT(!zp->zp_dedup);
ASSERT3U(BP_GET_CHECKSUM(bp), ==, zp->zp_checksum); ASSERT3U(BP_GET_CHECKSUM(bp), ==, zp->zp_checksum);
zio->io_flags |= ZIO_FLAG_NOPWRITE; zio->io_flags |= ZIO_FLAG_NOPWRITE;
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
ASSERT(!zp->zp_nopwrite); ASSERT(!zp->zp_nopwrite);
if (BP_IS_HOLE(bp) || !zp->zp_dedup) if (BP_IS_HOLE(bp) || !zp->zp_dedup)
return (ZIO_PIPELINE_CONTINUE); return (zio);
ASSERT((zio_checksum_table[zp->zp_checksum].ci_flags & ASSERT((zio_checksum_table[zp->zp_checksum].ci_flags &
ZCHECKSUM_FLAG_DEDUP) || zp->zp_dedup_verify); ZCHECKSUM_FLAG_DEDUP) || zp->zp_dedup_verify);
@ -1463,7 +1481,7 @@ zio_write_bp_init(zio_t *zio)
!zp->zp_encrypt) { !zp->zp_encrypt) {
BP_SET_DEDUP(bp, 1); BP_SET_DEDUP(bp, 1);
zio->io_pipeline |= ZIO_STAGE_DDT_WRITE; zio->io_pipeline |= ZIO_STAGE_DDT_WRITE;
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -1475,10 +1493,10 @@ zio_write_bp_init(zio_t *zio)
zio->io_pipeline = zio->io_orig_pipeline; zio->io_pipeline = zio->io_orig_pipeline;
} }
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static int static zio_t *
zio_write_compress(zio_t *zio) zio_write_compress(zio_t *zio)
{ {
spa_t *spa = zio->io_spa; spa_t *spa = zio->io_spa;
@ -1495,11 +1513,11 @@ zio_write_compress(zio_t *zio)
*/ */
if (zio_wait_for_children(zio, ZIO_CHILD_LOGICAL_BIT | if (zio_wait_for_children(zio, ZIO_CHILD_LOGICAL_BIT |
ZIO_CHILD_GANG_BIT, ZIO_WAIT_READY)) { ZIO_CHILD_GANG_BIT, ZIO_WAIT_READY)) {
return (ZIO_PIPELINE_STOP); return (NULL);
} }
if (!IO_IS_ALLOCATING(zio)) if (!IO_IS_ALLOCATING(zio))
return (ZIO_PIPELINE_CONTINUE); return (zio);
if (zio->io_children_ready != NULL) { if (zio->io_children_ready != NULL) {
/* /*
@ -1560,7 +1578,7 @@ zio_write_compress(zio_t *zio)
zio->io_pipeline = ZIO_INTERLOCK_PIPELINE; zio->io_pipeline = ZIO_INTERLOCK_PIPELINE;
ASSERT(spa_feature_is_active(spa, ASSERT(spa_feature_is_active(spa,
SPA_FEATURE_EMBEDDED_DATA)); SPA_FEATURE_EMBEDDED_DATA));
return (ZIO_PIPELINE_CONTINUE); return (zio);
} else { } else {
/* /*
* Round up compressed size up to the ashift * Round up compressed size up to the ashift
@ -1664,10 +1682,10 @@ zio_write_compress(zio_t *zio)
zio->io_pipeline |= ZIO_STAGE_NOP_WRITE; zio->io_pipeline |= ZIO_STAGE_NOP_WRITE;
} }
} }
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static int static zio_t *
zio_free_bp_init(zio_t *zio) zio_free_bp_init(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
@ -1679,7 +1697,7 @@ zio_free_bp_init(zio_t *zio)
ASSERT3P(zio->io_bp, ==, &zio->io_bp_copy); ASSERT3P(zio->io_bp, ==, &zio->io_bp_copy);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -1747,12 +1765,12 @@ zio_taskq_member(zio_t *zio, zio_taskq_type_t q)
return (B_FALSE); return (B_FALSE);
} }
static int static zio_t *
zio_issue_async(zio_t *zio) zio_issue_async(zio_t *zio)
{ {
zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_FALSE); zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_FALSE);
return (ZIO_PIPELINE_STOP); return (NULL);
} }
void void
@ -1967,14 +1985,13 @@ __attribute__((always_inline))
static inline void static inline void
__zio_execute(zio_t *zio) __zio_execute(zio_t *zio)
{ {
zio->io_executor = curthread;
ASSERT3U(zio->io_queued_timestamp, >, 0); ASSERT3U(zio->io_queued_timestamp, >, 0);
while (zio->io_stage < ZIO_STAGE_DONE) { while (zio->io_stage < ZIO_STAGE_DONE) {
enum zio_stage pipeline = zio->io_pipeline; enum zio_stage pipeline = zio->io_pipeline;
enum zio_stage stage = zio->io_stage; enum zio_stage stage = zio->io_stage;
int rv;
zio->io_executor = curthread;
ASSERT(!MUTEX_HELD(&zio->io_lock)); ASSERT(!MUTEX_HELD(&zio->io_lock));
ASSERT(ISP2(stage)); ASSERT(ISP2(stage));
@ -2016,12 +2033,16 @@ __zio_execute(zio_t *zio)
zio->io_stage = stage; zio->io_stage = stage;
zio->io_pipeline_trace |= zio->io_stage; zio->io_pipeline_trace |= zio->io_stage;
rv = zio_pipeline[highbit64(stage) - 1](zio);
if (rv == ZIO_PIPELINE_STOP) /*
* The zio pipeline stage returns the next zio to execute
* (typically the same as this one), or NULL if we should
* stop.
*/
zio = zio_pipeline[highbit64(stage) - 1](zio);
if (zio == NULL)
return; return;
ASSERT(rv == ZIO_PIPELINE_CONTINUE);
} }
} }
@ -2505,7 +2526,7 @@ zio_gang_tree_issue(zio_t *pio, zio_gang_node_t *gn, blkptr_t *bp, abd_t *data,
zio_nowait(zio); zio_nowait(zio);
} }
static int static zio_t *
zio_gang_assemble(zio_t *zio) zio_gang_assemble(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
@ -2517,16 +2538,16 @@ zio_gang_assemble(zio_t *zio)
zio_gang_tree_assemble(zio, bp, &zio->io_gang_tree); zio_gang_tree_assemble(zio, bp, &zio->io_gang_tree);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static int static zio_t *
zio_gang_issue(zio_t *zio) zio_gang_issue(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
if (zio_wait_for_children(zio, ZIO_CHILD_GANG_BIT, ZIO_WAIT_DONE)) { if (zio_wait_for_children(zio, ZIO_CHILD_GANG_BIT, ZIO_WAIT_DONE)) {
return (ZIO_PIPELINE_STOP); return (NULL);
} }
ASSERT(BP_IS_GANG(bp) && zio->io_gang_leader == zio); ASSERT(BP_IS_GANG(bp) && zio->io_gang_leader == zio);
@ -2540,7 +2561,7 @@ zio_gang_issue(zio_t *zio)
zio->io_pipeline = ZIO_INTERLOCK_PIPELINE; zio->io_pipeline = ZIO_INTERLOCK_PIPELINE;
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static void static void
@ -2579,7 +2600,7 @@ zio_write_gang_done(zio_t *zio)
abd_put(zio->io_abd); abd_put(zio->io_abd);
} }
static int static zio_t *
zio_write_gang_block(zio_t *pio) zio_write_gang_block(zio_t *pio)
{ {
spa_t *spa = pio->io_spa; spa_t *spa = pio->io_spa;
@ -2647,7 +2668,7 @@ zio_write_gang_block(zio_t *pio)
} }
pio->io_error = error; pio->io_error = error;
return (ZIO_PIPELINE_CONTINUE); return (pio);
} }
if (pio == gio) { if (pio == gio) {
@ -2724,7 +2745,7 @@ zio_write_gang_block(zio_t *pio)
zio_nowait(zio); zio_nowait(zio);
return (ZIO_PIPELINE_CONTINUE); return (pio);
} }
/* /*
@ -2745,7 +2766,7 @@ zio_write_gang_block(zio_t *pio)
* used for nopwrite, assuming that the salt and the checksums * used for nopwrite, assuming that the salt and the checksums
* themselves remain secret. * themselves remain secret.
*/ */
static int static zio_t *
zio_nop_write(zio_t *zio) zio_nop_write(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
@ -2773,7 +2794,7 @@ zio_nop_write(zio_t *zio)
BP_GET_COMPRESS(bp) != BP_GET_COMPRESS(bp_orig) || BP_GET_COMPRESS(bp) != BP_GET_COMPRESS(bp_orig) ||
BP_GET_DEDUP(bp) != BP_GET_DEDUP(bp_orig) || BP_GET_DEDUP(bp) != BP_GET_DEDUP(bp_orig) ||
zp->zp_copies != BP_GET_NDVAS(bp_orig)) zp->zp_copies != BP_GET_NDVAS(bp_orig))
return (ZIO_PIPELINE_CONTINUE); return (zio);
/* /*
* If the checksums match then reset the pipeline so that we * If the checksums match then reset the pipeline so that we
@ -2793,7 +2814,7 @@ zio_nop_write(zio_t *zio)
zio->io_flags |= ZIO_FLAG_NOPWRITE; zio->io_flags |= ZIO_FLAG_NOPWRITE;
} }
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -2821,7 +2842,7 @@ zio_ddt_child_read_done(zio_t *zio)
mutex_exit(&pio->io_lock); mutex_exit(&pio->io_lock);
} }
static int static zio_t *
zio_ddt_read_start(zio_t *zio) zio_ddt_read_start(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
@ -2841,7 +2862,7 @@ zio_ddt_read_start(zio_t *zio)
zio->io_vsd = dde; zio->io_vsd = dde;
if (ddp_self == NULL) if (ddp_self == NULL)
return (ZIO_PIPELINE_CONTINUE); return (zio);
for (int p = 0; p < DDT_PHYS_TYPES; p++, ddp++) { for (int p = 0; p < DDT_PHYS_TYPES; p++, ddp++) {
if (ddp->ddp_phys_birth == 0 || ddp == ddp_self) if (ddp->ddp_phys_birth == 0 || ddp == ddp_self)
@ -2854,23 +2875,23 @@ zio_ddt_read_start(zio_t *zio)
zio->io_priority, ZIO_DDT_CHILD_FLAGS(zio) | zio->io_priority, ZIO_DDT_CHILD_FLAGS(zio) |
ZIO_FLAG_DONT_PROPAGATE, &zio->io_bookmark)); ZIO_FLAG_DONT_PROPAGATE, &zio->io_bookmark));
} }
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
zio_nowait(zio_read(zio, zio->io_spa, bp, zio_nowait(zio_read(zio, zio->io_spa, bp,
zio->io_abd, zio->io_size, NULL, NULL, zio->io_priority, zio->io_abd, zio->io_size, NULL, NULL, zio->io_priority,
ZIO_DDT_CHILD_FLAGS(zio), &zio->io_bookmark)); ZIO_DDT_CHILD_FLAGS(zio), &zio->io_bookmark));
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static int static zio_t *
zio_ddt_read_done(zio_t *zio) zio_ddt_read_done(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
if (zio_wait_for_children(zio, ZIO_CHILD_DDT_BIT, ZIO_WAIT_DONE)) { if (zio_wait_for_children(zio, ZIO_CHILD_DDT_BIT, ZIO_WAIT_DONE)) {
return (ZIO_PIPELINE_STOP); return (NULL);
} }
ASSERT(BP_GET_DEDUP(bp)); ASSERT(BP_GET_DEDUP(bp));
@ -2882,12 +2903,12 @@ zio_ddt_read_done(zio_t *zio)
ddt_entry_t *dde = zio->io_vsd; ddt_entry_t *dde = zio->io_vsd;
if (ddt == NULL) { if (ddt == NULL) {
ASSERT(spa_load_state(zio->io_spa) != SPA_LOAD_NONE); ASSERT(spa_load_state(zio->io_spa) != SPA_LOAD_NONE);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
if (dde == NULL) { if (dde == NULL) {
zio->io_stage = ZIO_STAGE_DDT_READ_START >> 1; zio->io_stage = ZIO_STAGE_DDT_READ_START >> 1;
zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_FALSE); zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_FALSE);
return (ZIO_PIPELINE_STOP); return (NULL);
} }
if (dde->dde_repair_abd != NULL) { if (dde->dde_repair_abd != NULL) {
abd_copy(zio->io_abd, dde->dde_repair_abd, abd_copy(zio->io_abd, dde->dde_repair_abd,
@ -2900,7 +2921,7 @@ zio_ddt_read_done(zio_t *zio)
ASSERT(zio->io_vsd == NULL); ASSERT(zio->io_vsd == NULL);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static boolean_t static boolean_t
@ -3079,7 +3100,7 @@ zio_ddt_ditto_write_done(zio_t *zio)
ddt_exit(ddt); ddt_exit(ddt);
} }
static int static zio_t *
zio_ddt_write(zio_t *zio) zio_ddt_write(zio_t *zio)
{ {
spa_t *spa = zio->io_spa; spa_t *spa = zio->io_spa;
@ -3121,7 +3142,7 @@ zio_ddt_write(zio_t *zio)
} }
zio->io_pipeline = ZIO_WRITE_PIPELINE; zio->io_pipeline = ZIO_WRITE_PIPELINE;
ddt_exit(ddt); ddt_exit(ddt);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
ditto_copies = ddt_ditto_copies_needed(ddt, dde, ddp); ditto_copies = ddt_ditto_copies_needed(ddt, dde, ddp);
@ -3147,7 +3168,7 @@ zio_ddt_write(zio_t *zio)
zio->io_bp_override = NULL; zio->io_bp_override = NULL;
BP_ZERO(bp); BP_ZERO(bp);
ddt_exit(ddt); ddt_exit(ddt);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
dio = zio_write(zio, spa, txg, bp, zio->io_orig_abd, dio = zio_write(zio, spa, txg, bp, zio->io_orig_abd,
@ -3189,12 +3210,12 @@ zio_ddt_write(zio_t *zio)
if (dio) if (dio)
zio_nowait(dio); zio_nowait(dio);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
ddt_entry_t *freedde; /* for debugging */ ddt_entry_t *freedde; /* for debugging */
static int static zio_t *
zio_ddt_free(zio_t *zio) zio_ddt_free(zio_t *zio)
{ {
spa_t *spa = zio->io_spa; spa_t *spa = zio->io_spa;
@ -3215,7 +3236,7 @@ zio_ddt_free(zio_t *zio)
} }
ddt_exit(ddt); ddt_exit(ddt);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -3253,7 +3274,7 @@ zio_io_to_allocate(spa_t *spa, int allocator)
return (zio); return (zio);
} }
static int static zio_t *
zio_dva_throttle(zio_t *zio) zio_dva_throttle(zio_t *zio)
{ {
spa_t *spa = zio->io_spa; spa_t *spa = zio->io_spa;
@ -3263,7 +3284,7 @@ zio_dva_throttle(zio_t *zio)
!spa_normal_class(zio->io_spa)->mc_alloc_throttle_enabled || !spa_normal_class(zio->io_spa)->mc_alloc_throttle_enabled ||
zio->io_child_type == ZIO_CHILD_GANG || zio->io_child_type == ZIO_CHILD_GANG ||
zio->io_flags & ZIO_FLAG_NODATA) { zio->io_flags & ZIO_FLAG_NODATA) {
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
ASSERT(zio->io_child_type > ZIO_CHILD_GANG); ASSERT(zio->io_child_type > ZIO_CHILD_GANG);
@ -3289,22 +3310,7 @@ zio_dva_throttle(zio_t *zio)
nio = zio_io_to_allocate(zio->io_spa, zio->io_allocator); nio = zio_io_to_allocate(zio->io_spa, zio->io_allocator);
mutex_exit(&spa->spa_alloc_locks[zio->io_allocator]); mutex_exit(&spa->spa_alloc_locks[zio->io_allocator]);
if (nio == zio) return (nio);
return (ZIO_PIPELINE_CONTINUE);
if (nio != NULL) {
ASSERT(nio->io_stage == ZIO_STAGE_DVA_THROTTLE);
/*
* We are passing control to a new zio so make sure that
* it is processed by a different thread. We do this to
* avoid stack overflows that can occur when parents are
* throttled and children are making progress. We allow
* it to go to the head of the taskq since it's already
* been waiting.
*/
zio_taskq_dispatch(nio, ZIO_TASKQ_ISSUE, B_TRUE);
}
return (ZIO_PIPELINE_STOP);
} }
void void
@ -3323,7 +3329,7 @@ zio_allocate_dispatch(spa_t *spa, int allocator)
zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_TRUE); zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, B_TRUE);
} }
static int static zio_t *
zio_dva_allocate(zio_t *zio) zio_dva_allocate(zio_t *zio)
{ {
spa_t *spa = zio->io_spa; spa_t *spa = zio->io_spa;
@ -3364,18 +3370,18 @@ zio_dva_allocate(zio_t *zio)
zio->io_error = error; zio->io_error = error;
} }
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static int static zio_t *
zio_dva_free(zio_t *zio) zio_dva_free(zio_t *zio)
{ {
metaslab_free(zio->io_spa, zio->io_bp, zio->io_txg, B_FALSE); metaslab_free(zio->io_spa, zio->io_bp, zio->io_txg, B_FALSE);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static int static zio_t *
zio_dva_claim(zio_t *zio) zio_dva_claim(zio_t *zio)
{ {
int error; int error;
@ -3384,7 +3390,7 @@ zio_dva_claim(zio_t *zio)
if (error) if (error)
zio->io_error = error; zio->io_error = error;
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -3497,7 +3503,7 @@ zio_alloc_zil(spa_t *spa, objset_t *os, uint64_t txg, blkptr_t *new_bp,
* force the underlying vdev layers to call either zio_execute() or * force the underlying vdev layers to call either zio_execute() or
* zio_interrupt() to ensure that the pipeline continues with the correct I/O. * zio_interrupt() to ensure that the pipeline continues with the correct I/O.
*/ */
static int static zio_t *
zio_vdev_io_start(zio_t *zio) zio_vdev_io_start(zio_t *zio)
{ {
vdev_t *vd = zio->io_vd; vdev_t *vd = zio->io_vd;
@ -3517,7 +3523,7 @@ zio_vdev_io_start(zio_t *zio)
* The mirror_ops handle multiple DVAs in a single BP. * The mirror_ops handle multiple DVAs in a single BP.
*/ */
vdev_mirror_ops.vdev_op_io_start(zio); vdev_mirror_ops.vdev_op_io_start(zio);
return (ZIO_PIPELINE_STOP); return (NULL);
} }
ASSERT3P(zio->io_logical, !=, zio); ASSERT3P(zio->io_logical, !=, zio);
@ -3606,31 +3612,31 @@ zio_vdev_io_start(zio_t *zio)
!vdev_dtl_contains(vd, DTL_PARTIAL, zio->io_txg, 1)) { !vdev_dtl_contains(vd, DTL_PARTIAL, zio->io_txg, 1)) {
ASSERT(zio->io_type == ZIO_TYPE_WRITE); ASSERT(zio->io_type == ZIO_TYPE_WRITE);
zio_vdev_io_bypass(zio); zio_vdev_io_bypass(zio);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
if (vd->vdev_ops->vdev_op_leaf && if (vd->vdev_ops->vdev_op_leaf &&
(zio->io_type == ZIO_TYPE_READ || zio->io_type == ZIO_TYPE_WRITE)) { (zio->io_type == ZIO_TYPE_READ || zio->io_type == ZIO_TYPE_WRITE)) {
if (zio->io_type == ZIO_TYPE_READ && vdev_cache_read(zio)) if (zio->io_type == ZIO_TYPE_READ && vdev_cache_read(zio))
return (ZIO_PIPELINE_CONTINUE); return (zio);
if ((zio = vdev_queue_io(zio)) == NULL) if ((zio = vdev_queue_io(zio)) == NULL)
return (ZIO_PIPELINE_STOP); return (NULL);
if (!vdev_accessible(vd, zio)) { if (!vdev_accessible(vd, zio)) {
zio->io_error = SET_ERROR(ENXIO); zio->io_error = SET_ERROR(ENXIO);
zio_interrupt(zio); zio_interrupt(zio);
return (ZIO_PIPELINE_STOP); return (NULL);
} }
zio->io_delay = gethrtime(); zio->io_delay = gethrtime();
} }
vd->vdev_ops->vdev_op_io_start(zio); vd->vdev_ops->vdev_op_io_start(zio);
return (ZIO_PIPELINE_STOP); return (NULL);
} }
static int static zio_t *
zio_vdev_io_done(zio_t *zio) zio_vdev_io_done(zio_t *zio)
{ {
vdev_t *vd = zio->io_vd; vdev_t *vd = zio->io_vd;
@ -3638,7 +3644,7 @@ zio_vdev_io_done(zio_t *zio)
boolean_t unexpected_error = B_FALSE; boolean_t unexpected_error = B_FALSE;
if (zio_wait_for_children(zio, ZIO_CHILD_VDEV_BIT, ZIO_WAIT_DONE)) { if (zio_wait_for_children(zio, ZIO_CHILD_VDEV_BIT, ZIO_WAIT_DONE)) {
return (ZIO_PIPELINE_STOP); return (NULL);
} }
ASSERT(zio->io_type == ZIO_TYPE_READ || zio->io_type == ZIO_TYPE_WRITE); ASSERT(zio->io_type == ZIO_TYPE_READ || zio->io_type == ZIO_TYPE_WRITE);
@ -3674,7 +3680,7 @@ zio_vdev_io_done(zio_t *zio)
if (unexpected_error) if (unexpected_error)
VERIFY(vdev_probe(vd, zio) == NULL); VERIFY(vdev_probe(vd, zio) == NULL);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -3732,13 +3738,13 @@ zio_vsd_default_cksum_report(zio_t *zio, zio_cksum_report_t *zcr, void *ignored)
zcr->zcr_free = zio_abd_free; zcr->zcr_free = zio_abd_free;
} }
static int static zio_t *
zio_vdev_io_assess(zio_t *zio) zio_vdev_io_assess(zio_t *zio)
{ {
vdev_t *vd = zio->io_vd; vdev_t *vd = zio->io_vd;
if (zio_wait_for_children(zio, ZIO_CHILD_VDEV_BIT, ZIO_WAIT_DONE)) { if (zio_wait_for_children(zio, ZIO_CHILD_VDEV_BIT, ZIO_WAIT_DONE)) {
return (ZIO_PIPELINE_STOP); return (NULL);
} }
if (vd == NULL && !(zio->io_flags & ZIO_FLAG_CONFIG_WRITER)) if (vd == NULL && !(zio->io_flags & ZIO_FLAG_CONFIG_WRITER))
@ -3768,7 +3774,7 @@ zio_vdev_io_assess(zio_t *zio)
zio->io_stage = ZIO_STAGE_VDEV_IO_START >> 1; zio->io_stage = ZIO_STAGE_VDEV_IO_START >> 1;
zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE, zio_taskq_dispatch(zio, ZIO_TASKQ_ISSUE,
zio_requeue_io_start_cut_in_line); zio_requeue_io_start_cut_in_line);
return (ZIO_PIPELINE_STOP); return (NULL);
} }
/* /*
@ -3808,7 +3814,7 @@ zio_vdev_io_assess(zio_t *zio)
zio->io_physdone(zio->io_logical); zio->io_physdone(zio->io_logical);
} }
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
void void
@ -3850,7 +3856,7 @@ zio_vdev_io_bypass(zio_t *zio)
* managing the storage of encryption parameters and passing them to the * managing the storage of encryption parameters and passing them to the
* lower-level encryption functions. * lower-level encryption functions.
*/ */
static int static zio_t *
zio_encrypt(zio_t *zio) zio_encrypt(zio_t *zio)
{ {
zio_prop_t *zp = &zio->io_prop; zio_prop_t *zp = &zio->io_prop;
@ -3868,15 +3874,15 @@ zio_encrypt(zio_t *zio)
/* the root zio already encrypted the data */ /* the root zio already encrypted the data */
if (zio->io_child_type == ZIO_CHILD_GANG) if (zio->io_child_type == ZIO_CHILD_GANG)
return (ZIO_PIPELINE_CONTINUE); return (zio);
/* only ZIL blocks are re-encrypted on rewrite */ /* only ZIL blocks are re-encrypted on rewrite */
if (!IO_IS_ALLOCATING(zio) && ot != DMU_OT_INTENT_LOG) if (!IO_IS_ALLOCATING(zio) && ot != DMU_OT_INTENT_LOG)
return (ZIO_PIPELINE_CONTINUE); return (zio);
if (!(zp->zp_encrypt || BP_IS_ENCRYPTED(bp))) { if (!(zp->zp_encrypt || BP_IS_ENCRYPTED(bp))) {
BP_SET_CRYPT(bp, B_FALSE); BP_SET_CRYPT(bp, B_FALSE);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* if we are doing raw encryption set the provided encryption params */ /* if we are doing raw encryption set the provided encryption params */
@ -3904,7 +3910,7 @@ zio_encrypt(zio_t *zio)
if (DMU_OT_IS_ENCRYPTED(ot)) if (DMU_OT_IS_ENCRYPTED(ot))
zio_crypt_encode_params_bp(bp, zp->zp_salt, zp->zp_iv); zio_crypt_encode_params_bp(bp, zp->zp_salt, zp->zp_iv);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* indirect blocks only maintain a cksum of the lower level MACs */ /* indirect blocks only maintain a cksum of the lower level MACs */
@ -3914,7 +3920,7 @@ zio_encrypt(zio_t *zio)
zio->io_orig_abd, BP_GET_LSIZE(bp), BP_SHOULD_BYTESWAP(bp), zio->io_orig_abd, BP_GET_LSIZE(bp), BP_SHOULD_BYTESWAP(bp),
mac)); mac));
zio_crypt_encode_mac_bp(bp, mac); zio_crypt_encode_mac_bp(bp, mac);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -3927,7 +3933,7 @@ zio_encrypt(zio_t *zio)
BP_SET_CRYPT(bp, B_TRUE); BP_SET_CRYPT(bp, B_TRUE);
VERIFY0(spa_do_crypt_objset_mac_abd(B_TRUE, spa, dsobj, VERIFY0(spa_do_crypt_objset_mac_abd(B_TRUE, spa, dsobj,
zio->io_abd, psize, BP_SHOULD_BYTESWAP(bp))); zio->io_abd, psize, BP_SHOULD_BYTESWAP(bp)));
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* unencrypted object types are only authenticated with a MAC */ /* unencrypted object types are only authenticated with a MAC */
@ -3936,7 +3942,7 @@ zio_encrypt(zio_t *zio)
VERIFY0(spa_do_crypt_mac_abd(B_TRUE, spa, dsobj, VERIFY0(spa_do_crypt_mac_abd(B_TRUE, spa, dsobj,
zio->io_abd, psize, mac)); zio->io_abd, psize, mac));
zio_crypt_encode_mac_bp(bp, mac); zio_crypt_encode_mac_bp(bp, mac);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -3993,7 +3999,7 @@ zio_encrypt(zio_t *zio)
} }
} }
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -4001,7 +4007,7 @@ zio_encrypt(zio_t *zio)
* Generate and verify checksums * Generate and verify checksums
* ========================================================================== * ==========================================================================
*/ */
static int static zio_t *
zio_checksum_generate(zio_t *zio) zio_checksum_generate(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
@ -4015,7 +4021,7 @@ zio_checksum_generate(zio_t *zio)
checksum = zio->io_prop.zp_checksum; checksum = zio->io_prop.zp_checksum;
if (checksum == ZIO_CHECKSUM_OFF) if (checksum == ZIO_CHECKSUM_OFF)
return (ZIO_PIPELINE_CONTINUE); return (zio);
ASSERT(checksum == ZIO_CHECKSUM_LABEL); ASSERT(checksum == ZIO_CHECKSUM_LABEL);
} else { } else {
@ -4029,10 +4035,10 @@ zio_checksum_generate(zio_t *zio)
zio_checksum_compute(zio, checksum, zio->io_abd, zio->io_size); zio_checksum_compute(zio, checksum, zio->io_abd, zio->io_size);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
static int static zio_t *
zio_checksum_verify(zio_t *zio) zio_checksum_verify(zio_t *zio)
{ {
zio_bad_cksum_t info; zio_bad_cksum_t info;
@ -4047,7 +4053,7 @@ zio_checksum_verify(zio_t *zio)
* We're either verifying a label checksum, or nothing at all. * We're either verifying a label checksum, or nothing at all.
*/ */
if (zio->io_prop.zp_checksum == ZIO_CHECKSUM_OFF) if (zio->io_prop.zp_checksum == ZIO_CHECKSUM_OFF)
return (ZIO_PIPELINE_CONTINUE); return (zio);
ASSERT(zio->io_prop.zp_checksum == ZIO_CHECKSUM_LABEL); ASSERT(zio->io_prop.zp_checksum == ZIO_CHECKSUM_LABEL);
} }
@ -4062,7 +4068,7 @@ zio_checksum_verify(zio_t *zio)
} }
} }
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -4105,7 +4111,7 @@ zio_worst_error(int e1, int e2)
* I/O completion * I/O completion
* ========================================================================== * ==========================================================================
*/ */
static int static zio_t *
zio_ready(zio_t *zio) zio_ready(zio_t *zio)
{ {
blkptr_t *bp = zio->io_bp; blkptr_t *bp = zio->io_bp;
@ -4114,7 +4120,7 @@ zio_ready(zio_t *zio)
if (zio_wait_for_children(zio, ZIO_CHILD_GANG_BIT | ZIO_CHILD_DDT_BIT, if (zio_wait_for_children(zio, ZIO_CHILD_GANG_BIT | ZIO_CHILD_DDT_BIT,
ZIO_WAIT_READY)) { ZIO_WAIT_READY)) {
return (ZIO_PIPELINE_STOP); return (NULL);
} }
if (zio->io_ready) { if (zio->io_ready) {
@ -4160,7 +4166,7 @@ zio_ready(zio_t *zio)
*/ */
for (; pio != NULL; pio = pio_next) { for (; pio != NULL; pio = pio_next) {
pio_next = zio_walk_parents(zio, &zl); pio_next = zio_walk_parents(zio, &zl);
zio_notify_parent(pio, zio, ZIO_WAIT_READY); zio_notify_parent(pio, zio, ZIO_WAIT_READY, NULL);
} }
if (zio->io_flags & ZIO_FLAG_NODATA) { if (zio->io_flags & ZIO_FLAG_NODATA) {
@ -4176,7 +4182,7 @@ zio_ready(zio_t *zio)
zio->io_spa->spa_syncing_txg == zio->io_txg) zio->io_spa->spa_syncing_txg == zio->io_txg)
zio_handle_ignored_writes(zio); zio_handle_ignored_writes(zio);
return (ZIO_PIPELINE_CONTINUE); return (zio);
} }
/* /*
@ -4241,7 +4247,7 @@ zio_dva_throttle_done(zio_t *zio)
zio_allocate_dispatch(zio->io_spa, pio->io_allocator); zio_allocate_dispatch(zio->io_spa, pio->io_allocator);
} }
static int static zio_t *
zio_done(zio_t *zio) zio_done(zio_t *zio)
{ {
/* /*
@ -4258,7 +4264,7 @@ zio_done(zio_t *zio)
* wait for them and then repeat this pipeline stage. * wait for them and then repeat this pipeline stage.
*/ */
if (zio_wait_for_children(zio, ZIO_CHILD_ALL_BITS, ZIO_WAIT_DONE)) { if (zio_wait_for_children(zio, ZIO_CHILD_ALL_BITS, ZIO_WAIT_DONE)) {
return (ZIO_PIPELINE_STOP); return (NULL);
} }
/* /*
@ -4481,7 +4487,12 @@ zio_done(zio_t *zio)
if ((pio->io_flags & ZIO_FLAG_GODFATHER) && if ((pio->io_flags & ZIO_FLAG_GODFATHER) &&
(zio->io_reexecute & ZIO_REEXECUTE_SUSPEND)) { (zio->io_reexecute & ZIO_REEXECUTE_SUSPEND)) {
zio_remove_child(pio, zio, remove_zl); zio_remove_child(pio, zio, remove_zl);
zio_notify_parent(pio, zio, ZIO_WAIT_DONE); /*
* This is a rare code path, so we don't
* bother with "next_to_execute".
*/
zio_notify_parent(pio, zio, ZIO_WAIT_DONE,
NULL);
} }
} }
@ -4493,7 +4504,11 @@ zio_done(zio_t *zio)
*/ */
ASSERT(!(zio->io_flags & ZIO_FLAG_GODFATHER)); ASSERT(!(zio->io_flags & ZIO_FLAG_GODFATHER));
zio->io_flags |= ZIO_FLAG_DONT_PROPAGATE; zio->io_flags |= ZIO_FLAG_DONT_PROPAGATE;
zio_notify_parent(pio, zio, ZIO_WAIT_DONE); /*
* This is a rare code path, so we don't bother with
* "next_to_execute".
*/
zio_notify_parent(pio, zio, ZIO_WAIT_DONE, NULL);
} else if (zio->io_reexecute & ZIO_REEXECUTE_SUSPEND) { } else if (zio->io_reexecute & ZIO_REEXECUTE_SUSPEND) {
/* /*
* We'd fail again if we reexecuted now, so suspend * We'd fail again if we reexecuted now, so suspend
@ -4511,7 +4526,7 @@ zio_done(zio_t *zio)
(task_func_t *)zio_reexecute, zio, 0, (task_func_t *)zio_reexecute, zio, 0,
&zio->io_tqent); &zio->io_tqent);
} }
return (ZIO_PIPELINE_STOP); return (NULL);
} }
ASSERT(zio->io_child_count == 0); ASSERT(zio->io_child_count == 0);
@ -4547,12 +4562,17 @@ zio_done(zio_t *zio)
zio->io_state[ZIO_WAIT_DONE] = 1; zio->io_state[ZIO_WAIT_DONE] = 1;
mutex_exit(&zio->io_lock); mutex_exit(&zio->io_lock);
/*
* We are done executing this zio. We may want to execute a parent
* next. See the comment in zio_notify_parent().
*/
zio_t *next_to_execute = NULL;
zl = NULL; zl = NULL;
for (pio = zio_walk_parents(zio, &zl); pio != NULL; pio = pio_next) { for (pio = zio_walk_parents(zio, &zl); pio != NULL; pio = pio_next) {
zio_link_t *remove_zl = zl; zio_link_t *remove_zl = zl;
pio_next = zio_walk_parents(zio, &zl); pio_next = zio_walk_parents(zio, &zl);
zio_remove_child(pio, zio, remove_zl); zio_remove_child(pio, zio, remove_zl);
zio_notify_parent(pio, zio, ZIO_WAIT_DONE); zio_notify_parent(pio, zio, ZIO_WAIT_DONE, &next_to_execute);
} }
if (zio->io_waiter != NULL) { if (zio->io_waiter != NULL) {
@ -4564,7 +4584,7 @@ zio_done(zio_t *zio)
zio_destroy(zio); zio_destroy(zio);
} }
return (ZIO_PIPELINE_STOP); return (next_to_execute);
} }
/* /*