sample 8025

original	layer	head	query	key	value	queries matched	keys matched	avg. attention	CLS attention
layer 0	head 0
layer 0	head 1
layer 0	head 2
layer 0	head 3
layer 0	head 4
layer 0	head 5
layer 1	head 0
layer 1	head 1
layer 1	head 2
layer 1	head 3
layer 1	head 4
layer 1	head 5
layer 2	head 0
layer 2	head 1
layer 2	head 2
layer 2	head 3
layer 2	head 4
layer 2	head 5
layer 3	head 0
layer 3	head 1
layer 3	head 2
layer 3	head 3
layer 3	head 4
layer 3	head 5
layer 4	head 0
layer 4	head 1
layer 4	head 2
layer 4	head 3
layer 4	head 4
layer 4	head 5
layer 5	head 0
layer 5	head 1
layer 5	head 2
layer 5	head 3
layer 5	head 4
layer 5	head 5
layer 6	head 0
layer 6	head 1
layer 6	head 2
layer 6	head 3
layer 6	head 4
layer 6	head 5
layer 7	head 0
layer 7	head 1
layer 7	head 2
layer 7	head 3
layer 7	head 4
layer 7	head 5
layer 8	head 0
layer 8	head 1
layer 8	head 2
layer 8	head 3
layer 8	head 4
layer 8	head 5
layer 9	head 0
layer 9	head 1
layer 9	head 2
layer 9	head 3
layer 9	head 4
layer 9	head 5
layer 10	head 0
layer 10	head 1
layer 10	head 2
layer 10	head 3
layer 10	head 4
layer 10	head 5
layer 11	head 0
layer 11	head 1
layer 11	head 2
layer 11	head 3
layer 11	head 4
layer 11	head 5

sample 33628

original	layer	head	query	key	value	queries matched	keys matched	avg. attention	CLS attention
layer 0	head 0
layer 0	head 1
layer 0	head 2
layer 0	head 3
layer 0	head 4
layer 0	head 5
layer 1	head 0
layer 1	head 1
layer 1	head 2
layer 1	head 3
layer 1	head 4
layer 1	head 5
layer 2	head 0
layer 2	head 1
layer 2	head 2
layer 2	head 3
layer 2	head 4
layer 2	head 5
layer 3	head 0
layer 3	head 1
layer 3	head 2
layer 3	head 3
layer 3	head 4
layer 3	head 5
layer 4	head 0
layer 4	head 1
layer 4	head 2
layer 4	head 3
layer 4	head 4
layer 4	head 5
layer 5	head 0
layer 5	head 1
layer 5	head 2
layer 5	head 3
layer 5	head 4
layer 5	head 5
layer 6	head 0
layer 6	head 1
layer 6	head 2
layer 6	head 3
layer 6	head 4
layer 6	head 5
layer 7	head 0
layer 7	head 1
layer 7	head 2
layer 7	head 3
layer 7	head 4
layer 7	head 5
layer 8	head 0
layer 8	head 1
layer 8	head 2
layer 8	head 3
layer 8	head 4
layer 8	head 5
layer 9	head 0
layer 9	head 1
layer 9	head 2
layer 9	head 3
layer 9	head 4
layer 9	head 5
layer 10	head 0
layer 10	head 1
layer 10	head 2
layer 10	head 3
layer 10	head 4
layer 10	head 5
layer 11	head 0
layer 11	head 1
layer 11	head 2
layer 11	head 3
layer 11	head 4
layer 11	head 5

sample 21225

original	layer	head	query	key	value	queries matched	keys matched	avg. attention	CLS attention
layer 0	head 0
layer 0	head 1
layer 0	head 2
layer 0	head 3
layer 0	head 4
layer 0	head 5
layer 1	head 0
layer 1	head 1
layer 1	head 2
layer 1	head 3
layer 1	head 4
layer 1	head 5
layer 2	head 0
layer 2	head 1
layer 2	head 2
layer 2	head 3
layer 2	head 4
layer 2	head 5
layer 3	head 0
layer 3	head 1
layer 3	head 2
layer 3	head 3
layer 3	head 4
layer 3	head 5
layer 4	head 0
layer 4	head 1
layer 4	head 2
layer 4	head 3
layer 4	head 4
layer 4	head 5
layer 5	head 0
layer 5	head 1
layer 5	head 2
layer 5	head 3
layer 5	head 4
layer 5	head 5
layer 6	head 0
layer 6	head 1
layer 6	head 2
layer 6	head 3
layer 6	head 4
layer 6	head 5
layer 7	head 0
layer 7	head 1
layer 7	head 2
layer 7	head 3
layer 7	head 4
layer 7	head 5
layer 8	head 0
layer 8	head 1
layer 8	head 2
layer 8	head 3
layer 8	head 4
layer 8	head 5
layer 9	head 0
layer 9	head 1
layer 9	head 2
layer 9	head 3
layer 9	head 4
layer 9	head 5
layer 10	head 0
layer 10	head 1
layer 10	head 2
layer 10	head 3
layer 10	head 4
layer 10	head 5
layer 11	head 0
layer 11	head 1
layer 11	head 2
layer 11	head 3
layer 11	head 4
layer 11	head 5

sample 21242

original	layer	head	query	key	value	queries matched	keys matched	avg. attention	CLS attention
layer 0	head 0
layer 0	head 1
layer 0	head 2
layer 0	head 3
layer 0	head 4
layer 0	head 5
layer 1	head 0
layer 1	head 1
layer 1	head 2
layer 1	head 3
layer 1	head 4
layer 1	head 5
layer 2	head 0
layer 2	head 1
layer 2	head 2
layer 2	head 3
layer 2	head 4
layer 2	head 5
layer 3	head 0
layer 3	head 1
layer 3	head 2
layer 3	head 3
layer 3	head 4
layer 3	head 5
layer 4	head 0
layer 4	head 1
layer 4	head 2
layer 4	head 3
layer 4	head 4
layer 4	head 5
layer 5	head 0
layer 5	head 1
layer 5	head 2
layer 5	head 3
layer 5	head 4
layer 5	head 5
layer 6	head 0
layer 6	head 1
layer 6	head 2
layer 6	head 3
layer 6	head 4
layer 6	head 5
layer 7	head 0
layer 7	head 1
layer 7	head 2
layer 7	head 3
layer 7	head 4
layer 7	head 5
layer 8	head 0
layer 8	head 1
layer 8	head 2
layer 8	head 3
layer 8	head 4
layer 8	head 5
layer 9	head 0
layer 9	head 1
layer 9	head 2
layer 9	head 3
layer 9	head 4
layer 9	head 5
layer 10	head 0
layer 10	head 1
layer 10	head 2
layer 10	head 3
layer 10	head 4
layer 10	head 5
layer 11	head 0
layer 11	head 1
layer 11	head 2
layer 11	head 3
layer 11	head 4
layer 11	head 5

sample 9351

original	layer	head	query	key	value	queries matched	keys matched	avg. attention	CLS attention
layer 0	head 0
layer 0	head 1
layer 0	head 2
layer 0	head 3
layer 0	head 4
layer 0	head 5
layer 1	head 0
layer 1	head 1
layer 1	head 2
layer 1	head 3
layer 1	head 4
layer 1	head 5
layer 2	head 0
layer 2	head 1
layer 2	head 2
layer 2	head 3
layer 2	head 4
layer 2	head 5
layer 3	head 0
layer 3	head 1
layer 3	head 2
layer 3	head 3
layer 3	head 4
layer 3	head 5
layer 4	head 0
layer 4	head 1
layer 4	head 2
layer 4	head 3
layer 4	head 4
layer 4	head 5
layer 5	head 0
layer 5	head 1
layer 5	head 2
layer 5	head 3
layer 5	head 4
layer 5	head 5
layer 6	head 0
layer 6	head 1
layer 6	head 2
layer 6	head 3
layer 6	head 4
layer 6	head 5
layer 7	head 0
layer 7	head 1
layer 7	head 2
layer 7	head 3
layer 7	head 4
layer 7	head 5
layer 8	head 0
layer 8	head 1
layer 8	head 2
layer 8	head 3
layer 8	head 4
layer 8	head 5
layer 9	head 0
layer 9	head 1
layer 9	head 2
layer 9	head 3
layer 9	head 4
layer 9	head 5
layer 10	head 0
layer 10	head 1
layer 10	head 2
layer 10	head 3
layer 10	head 4
layer 10	head 5
layer 11	head 0
layer 11	head 1
layer 11	head 2
layer 11	head 3
layer 11	head 4
layer 11	head 5

sample 26049

original	layer	head	query	key	value	queries matched	keys matched	avg. attention	CLS attention
layer 0	head 0
layer 0	head 1
layer 0	head 2
layer 0	head 3
layer 0	head 4
layer 0	head 5
layer 1	head 0
layer 1	head 1
layer 1	head 2
layer 1	head 3
layer 1	head 4
layer 1	head 5
layer 2	head 0
layer 2	head 1
layer 2	head 2
layer 2	head 3
layer 2	head 4
layer 2	head 5
layer 3	head 0
layer 3	head 1
layer 3	head 2
layer 3	head 3
layer 3	head 4
layer 3	head 5
layer 4	head 0
layer 4	head 1
layer 4	head 2
layer 4	head 3
layer 4	head 4
layer 4	head 5
layer 5	head 0
layer 5	head 1
layer 5	head 2
layer 5	head 3
layer 5	head 4
layer 5	head 5
layer 6	head 0
layer 6	head 1
layer 6	head 2
layer 6	head 3
layer 6	head 4
layer 6	head 5
layer 7	head 0
layer 7	head 1
layer 7	head 2
layer 7	head 3
layer 7	head 4
layer 7	head 5
layer 8	head 0
layer 8	head 1
layer 8	head 2
layer 8	head 3
layer 8	head 4
layer 8	head 5
layer 9	head 0
layer 9	head 1
layer 9	head 2
layer 9	head 3
layer 9	head 4
layer 9	head 5
layer 10	head 0
layer 10	head 1
layer 10	head 2
layer 10	head 3
layer 10	head 4
layer 10	head 5
layer 11	head 0
layer 11	head 1
layer 11	head 2
layer 11	head 3
layer 11	head 4
layer 11	head 5