avcodec: Fix fate-checkasm-hevc_pel failed on LA.

Some loop counters were initialized incorrectly. This patch enhances the handling of loop iterations and residual parts.

Shiyou Yin committed 1 year ago

Commit ab8e1601 parent d9bd8e95 files · +276 −583Browse files

Unified · Split

5 files

libavcodec/loongarch/hevc_mc_bi_lsx.c +97 −202
libavcodec/loongarch/hevc_mc_uni_lsx.c +87 −238
libavcodec/loongarch/hevcdsp_init_loongarch.c +0 −1
libavcodec/loongarch/hevcdsp_lsx.c +92 −141
libavcodec/loongarch/hevcdsp_lsx.h +0 −1

libavcodec/loongarch/hevc_mc_bi_lsx.c+97−202

@@ -227,7 +227,7 @@ void hevc_bi_copy_8w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 226 unmodified lines
227	227	const int16_t *src1_ptr, int32_t src2_stride,
228	228	uint8_t *dst, int32_t dst_stride, int32_t height)
229	229	{
230		− int32_t loop_cnt = height >> 3;
	230	+ uint32_t loop_cnt;
231	231	int32_t res = (height & 7) >> 1;
232	232	int32_t src_stride_2x = (src_stride << 1);
233	233	int32_t dst_stride_2x = (dst_stride << 1);
@@ -312,7 +312,8 @@ void hevc_bi_copy_12w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 78 unmodified lines
312	312	const int16_t *src1_ptr, int32_t src2_stride,
313	313	uint8_t *dst, int32_t dst_stride, int32_t height)
314	314	{
315		− uint32_t loop_cnt;
	315	+ uint32_t loop_cnt = height >> 2;
	316	+ uint32_t res = (height & 3) >> 1;
316	317	int32_t src_stride_2x = (src_stride << 1);
317	318	int32_t dst_stride_2x = (dst_stride << 1);
318	319	int32_t src_stride_4x = (src_stride << 2);
@@ -328,10 +329,9 @@ void hevc_bi_copy_12w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 9 unmodified lines
328	329	__m128i in0, in1, in2, in3, in4, in5, in6, in7;
329	330	__m128i dst0, dst1, dst2, dst3, dst4, dst5;
330	331
331		− for (loop_cnt = 4; loop_cnt--;) {
	332	+ for (; loop_cnt--;) {
332	333	src0 = __lsx_vld(src0_ptr, 0);
333		− DUP2_ARG2(__lsx_vldx, src0_ptr, src_stride, src0_ptr, src_stride_2x,
334		− src1, src2);
	334	+ DUP2_ARG2(__lsx_vldx, src0_ptr, src_stride, src0_ptr, src_stride_2x, src1, src2);
335	335	src3 = __lsx_vldx(src0_ptr, src_stride_3x);
336	336	src0_ptr += src_stride_4x;
337	337	in0 = __lsx_vld(src1_ptr, 0);
@@ -340,8 +340,7 @@ void hevc_bi_copy_12w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 2 unmodified lines
340	340	in3 = __lsx_vldx(src1_ptr, src2_stride_3x);
341	341	src1_ptr += src2_stride_2x;
342	342	in4 = __lsx_vld(_src1, 0);
343		− DUP2_ARG2(__lsx_vldx, _src1, src2_stride_x, _src1, src2_stride_2x,
344		− in5, in6);
	343	+ DUP2_ARG2(__lsx_vldx, _src1, src2_stride_x, _src1, src2_stride_2x, in5, in6);
345	344	in7 = __lsx_vldx(_src1, src2_stride_3x);
346	345	_src1 += src2_stride_2x;
347	346
@@ -363,6 +362,31 @@ void hevc_bi_copy_12w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 15 unmodified lines
363	362	__lsx_vstelm_w(out2, dst + dst_stride_3x, 8, 3);
364	363	dst += dst_stride_4x;
365	364	}
	365	+ for (;res--;) {
	366	+ src0 = __lsx_vld(src0_ptr, 0);
	367	+ src1 = __lsx_vld(src0_ptr + src_stride, 0);
	368	+ in0 = __lsx_vld(src1_ptr, 0);
	369	+ in1 = __lsx_vldx(src1_ptr, src2_stride_x);
	370	+ dst0 = __lsx_vsllwil_hu_bu(src0, 6);
	371	+ dst1 = __lsx_vsllwil_hu_bu(src1, 6);
	372	+ out0 = hevc_bi_rnd_clip(in0, dst0, in1, dst1);
	373	+ __lsx_vstelm_d(out0, dst, 0, 0);
	374	+ __lsx_vstelm_d(out0, dst + dst_stride, 0, 1);
	375	+
	376	+ in0 = __lsx_vldrepl_d(_src1, 0);
	377	+ in1 = __lsx_vldrepl_d(_src1 + src2_stride, 0);
	378	+ src0 = __lsx_vilvh_w(src1, src0);
	379	+ in0 = __lsx_vilvl_d(in1, in0);
	380	+ dst0 = __lsx_vsllwil_hu_bu(src0, 6);
	381	+ dst0 = __lsx_vsadd_h(dst0, in0);
	382	+ dst0 = __lsx_vssrarni_bu_h(dst0, dst0, 7);
	383	+ __lsx_vstelm_w(dst0, dst, 8, 0);
	384	+ __lsx_vstelm_w(dst0, dst + dst_stride, 8, 1);
	385	+ src0_ptr += src_stride_2x;
	386	+ _src1 += src2_stride_x;
	387	+ src1_ptr += src2_stride_x;
	388	+ dst += dst_stride_2x;
	389	+ }
366	390	}
367	391
368	392	static
@@ -370,7 +394,8 @@ void hevc_bi_copy_16w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 1 unmodified line
370	394	const int16_t *src1_ptr, int32_t src2_stride,
371	395	uint8_t *dst, int32_t dst_stride, int32_t height)
372	396	{
373		− uint32_t loop_cnt;
	397	+ uint32_t loop_cnt = height >> 2;
	398	+ uint32_t res = (height & 3) >> 1;
374	399	int32_t src_stride_2x = (src_stride << 1);
375	400	int32_t dst_stride_2x = (dst_stride << 1);
376	401	int32_t src_stride_4x = (src_stride << 2);
@@ -387,7 +412,7 @@ void hevc_bi_copy_16w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 10 unmodified lines
387	412	__m128i dst0_r, dst1_r, dst2_r, dst3_r, dst0_l, dst1_l, dst2_l, dst3_l;
388	413	__m128i zero = {0};
389	414
390		− for (loop_cnt = (height >> 2); loop_cnt--;) {
	415	+ for (; loop_cnt--;) {
391	416	src0 = __lsx_vld(src0_ptr, 0);
392	417	DUP2_ARG2(__lsx_vldx, src0_ptr, src_stride, src0_ptr, src_stride_2x,
393	418	src1, src2);
@@ -420,6 +445,27 @@ void hevc_bi_copy_16w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 26 unmodified lines
420	445	__lsx_vstx(out3, dst, dst_stride_3x);
421	446	dst += dst_stride_4x;
422	447	}
	448	+ for (;res--;) {
	449	+ src0 = __lsx_vld(src0_ptr, 0);
	450	+ src1 = __lsx_vldx(src0_ptr, src_stride);
	451	+ in0 = __lsx_vld(src1_ptr, 0);
	452	+ in1 = __lsx_vldx(src1_ptr, src2_stride_x);
	453	+ in4 = __lsx_vld(_src1, 0);
	454	+ in5 = __lsx_vldx(_src1, src2_stride_x);
	455	+
	456	+ DUP2_ARG2(__lsx_vsllwil_hu_bu, src0, 6, src1, 6, dst0_r, dst1_r);
	457	+ DUP2_ARG2(__lsx_vilvh_b, zero, src0, zero, src1, dst0_l, dst1_l);
	458	+ DUP2_ARG2(__lsx_vslli_h, dst0_l, 6, dst1_l, 6, dst0_l, dst1_l);
	459	+ out0 = hevc_bi_rnd_clip(in0, dst0_r, in4, dst0_l);
	460	+ out1 = hevc_bi_rnd_clip(in1, dst1_r, in5, dst1_l);
	461	+ __lsx_vst(out0, dst, 0);
	462	+ __lsx_vstx(out1, dst, dst_stride);
	463	+
	464	+ src0_ptr += src_stride_2x;
	465	+ _src1 += src2_stride_x;
	466	+ src1_ptr += src2_stride_x;
	467	+ dst += dst_stride_2x;
	468	+ }
423	469	}
424	470
425	471	static
@@ -1061,7 +1107,8 @@ static void hevc_hz_4t_24w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 635 unmodified lines
1061	1107	{
1062	1108	const int16_t *src1_ptr_tmp;
1063	1109	uint8_t *dst_tmp;
1064		− uint32_t loop_cnt;
	1110	+ uint32_t loop_cnt = height >> 2;
	1111	+ uint32_t res = (height & 3) >> 1;
1065	1112	int32_t dst_stride_2x = (dst_stride << 1);
1066	1113	int32_t dst_stride_4x = (dst_stride << 2);
1067	1114	int32_t dst_stride_3x = dst_stride_2x + dst_stride;
@@ -1086,7 +1133,7 @@ static void hevc_hz_4t_24w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 18 unmodified lines
1086	1133	dst_tmp = dst + 16;
1087	1134	src1_ptr_tmp = src1_ptr + 16;
1088	1135
1089		− for (loop_cnt = (height >> 2); loop_cnt--;) {
	1136	+ for (; loop_cnt--;) {
1090	1137	DUP2_ARG2(__lsx_vld, src0_ptr, 0, src0_ptr, 16, src0, src1);
1091	1138	src0_ptr += src_stride;
1092	1139	DUP2_ARG2(__lsx_vld, src0_ptr, 0, src0_ptr, 16, src2, src3);
@@ -1155,6 +1202,42 @@ static void hevc_hz_4t_24w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 62 unmodified lines
1155	1202	__lsx_vstelm_d(dst1, dst_tmp + dst_stride_3x, 0, 1);
1156	1203	dst_tmp += dst_stride_4x;
1157	1204	}
	1205	+ for (; res--;) {
	1206	+ DUP2_ARG2(__lsx_vld, src0_ptr, 0, src0_ptr, 16, src0, src1);
	1207	+ src0_ptr += src_stride;
	1208	+ DUP2_ARG2(__lsx_vld, src0_ptr, 0, src0_ptr, 16, src2, src3);
	1209	+ src0_ptr += src_stride;
	1210	+ DUP2_ARG2(__lsx_vld, src1_ptr, 0, src1_ptr, 16, in0, in1);
	1211	+ src1_ptr += src2_stride;
	1212	+ DUP2_ARG2(__lsx_vld, src1_ptr, 0, src1_ptr, 16, in2, in3);
	1213	+ src1_ptr += src2_stride;
	1214	+
	1215	+ DUP4_ARG3(__lsx_vshuf_b, src0, src0, mask0, src1, src0, mask2, src2,
	1216	+ src2, mask0, src3, src2, mask2, vec0, vec1, vec2, vec3);
	1217	+ DUP4_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec1, filt0, vec2, filt0,
	1218	+ vec3, filt0, dst0, dst1, dst2, dst3);
	1219	+ DUP4_ARG3(__lsx_vshuf_b, src0, src0, mask1, src1, src0, mask3, src2,
	1220	+ src2, mask1, src3, src2, mask3, vec0, vec1, vec2, vec3);
	1221	+ DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec0, filt1, dst1, vec1, filt1,
	1222	+ dst2, vec2, filt1, dst3, vec3, filt1, dst0, dst1, dst2, dst3);
	1223	+ dst0 = hevc_bi_rnd_clip(in0, dst0, in1, dst1);
	1224	+ dst1 = hevc_bi_rnd_clip(in2, dst2, in3, dst3);
	1225	+ __lsx_vst(dst0, dst, 0);
	1226	+ __lsx_vstx(dst1, dst, dst_stride);
	1227	+ dst += dst_stride_2x;
	1228	+
	1229	+ in0 = __lsx_vld(src1_ptr_tmp, 0);
	1230	+ in1 = __lsx_vldx(src1_ptr_tmp, src2_stride_x);
	1231	+ src1_ptr_tmp += src2_stride_x;
	1232	+ DUP2_ARG3(__lsx_vshuf_b, src1, src1, mask0, src3, src3, mask0, vec0, vec1);
	1233	+ DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec1, filt0, dst0, dst1);
	1234	+ DUP2_ARG3(__lsx_vshuf_b, src1, src1, mask1, src3, src3, mask1, vec0, vec1);
	1235	+ DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec0, filt1, dst1, vec1, filt1, dst0, dst1);
	1236	+ dst0 = hevc_bi_rnd_clip(in0, dst0, in1, dst1);
	1237	+ __lsx_vstelm_d(dst0, dst_tmp, 0, 0);
	1238	+ __lsx_vstelm_d(dst0, dst_tmp + dst_stride, 0, 1);
	1239	+ dst_tmp += dst_stride_2x;
	1240	+ }
1158	1241	}
1159	1242
1160	1243	static void hevc_hz_4t_32w_lsx(const uint8_t *src0_ptr, int32_t src_stride,
@@ -1206,7 +1289,7 @@ static void hevc_vt_4t_12w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 45 unmodified lines
1206	1289	uint8_t *dst, int32_t dst_stride,
1207	1290	const int8_t *filter, int32_t height)
1208	1291	{
1209		− int32_t loop_cnt;
	1292	+ uint32_t loop_cnt;
1210	1293	int32_t src_stride_2x = (src_stride << 1);
1211	1294	int32_t dst_stride_2x = (dst_stride << 1);
1212	1295	int32_t dst_stride_4x = (dst_stride << 2);
@@ -1295,7 +1378,7 @@ static void hevc_vt_4t_16w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 82 unmodified lines
1295	1378	uint8_t *dst, int32_t dst_stride,
1296	1379	const int8_t *filter, int32_t height)
1297	1380	{
1298		− int32_t loop_cnt;
	1381	+ uint32_t loop_cnt = height >> 2;
1299	1382	const int32_t src_stride_2x = (src_stride << 1);
1300	1383	const int32_t dst_stride_2x = (dst_stride << 1);
1301	1384	const int32_t src_stride_3x = src_stride_2x + src_stride;
@@ -1316,7 +1399,7 @@ static void hevc_vt_4t_16w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 14 unmodified lines
1316	1399	DUP2_ARG2(__lsx_vilvl_b, src1, src0, src2, src1, src10_r, src21_r);
1317	1400	DUP2_ARG2(__lsx_vilvh_b, src1, src0, src2, src1, src10_l, src21_l);
1318	1401
1319		− for (loop_cnt = (height >> 2); loop_cnt--;) {
	1402	+ for (; loop_cnt--;) {
1320	1403	src3 = __lsx_vld(src0_ptr, 0);
1321	1404	src4 = __lsx_vldx(src0_ptr, src_stride);
1322	1405	src0_ptr += src_stride_2x;
@@ -1480,193 +1563,6 @@ static void hevc_vt_4t_32w_lsx(const uint8_t *src0_ptr, int32_t src_stride, · 157 unmodified lines
1480	1563	dst + 16, dst_stride, filter, height);
1481	1564	}
1482	1565
1483		−static void hevc_hv_4t_6w_lsx(const uint8_t *src0_ptr, int32_t src_stride,
1484		− const int16_t *src1_ptr, int32_t src2_stride,
1485		− uint8_t *dst, int32_t dst_stride,
1486		− const int8_t filter_x, const int8_t filter_y,
1487		− int32_t height)
1488		−{
1489		− int32_t src_stride_2x = (src_stride << 1);
1490		− int32_t dst_stride_2x = (dst_stride << 1);
1491		− int32_t src_stride_4x = (src_stride << 2);
1492		− int32_t dst_stride_4x = (dst_stride << 2);
1493		− int32_t src2_stride_2x = (src2_stride << 1);
1494		− int32_t src2_stride_4x = (src2_stride << 2);
1495		− int32_t src_stride_3x = src_stride_2x + src_stride;
1496		− int32_t dst_stride_3x = dst_stride_2x + dst_stride;
1497		− int32_t src2_stride_3x = src2_stride_2x + src2_stride;
1498		− __m128i out0, out1;
1499		− __m128i src0, src1, src2, src3, src4, src5, src6;
1500		− __m128i vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7, mask1;
1501		− __m128i filt0, filt1, filt_h0, filt_h1;
1502		− __m128i dsth0, dsth1, dsth2, dsth3, dsth4, dsth5;
1503		− __m128i dsth6, dsth7, dsth8, dsth9, dsth10;
1504		− __m128i dst0_r, dst0_l, dst1_r, dst1_l, dst2_r, dst2_l, dst3_r, dst3_l;
1505		− __m128i dst4_r, dst5_r, dst6_r, dst7_r;
1506		− __m128i tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7, tmp8;
1507		− __m128i reg0, reg1, reg2, reg3;
1508		− __m128i mask0 = __lsx_vld(ff_hevc_mask_arr, 0);
1509		−
1510		− src0_ptr -= (src_stride + 1);
1511		− DUP2_ARG2(__lsx_vldrepl_h, filter_x, 0, filter_x, 2, filt0, filt1);
1512		−
1513		− filt_h1 = __lsx_vld(filter_y, 0);
1514		− filt_h1 = __lsx_vsllwil_h_b(filt_h1, 0);
1515		− DUP2_ARG2(__lsx_vreplvei_w, filt_h1, 0, filt_h1, 1, filt_h0, filt_h1);
1516		−
1517		− mask1 = __lsx_vaddi_bu(mask0, 2);
1518		−
1519		− src0 = __lsx_vld(src0_ptr, 0);
1520		− DUP2_ARG2(__lsx_vldx, src0_ptr, src_stride, src0_ptr, src_stride_2x,
1521		− src1, src2);
1522		− src0_ptr += src_stride_3x;
1523		−
1524		− DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask0, src0, src0, mask1, vec0, vec1);
1525		− DUP2_ARG3(__lsx_vshuf_b, src1, src1, mask0, src1, src1, mask1, vec2, vec3);
1526		− DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask0, src2, src2, mask1, vec4, vec5);
1527		−
1528		− DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, dsth0, dsth1);
1529		− dsth2 = __lsx_vdp2_h_bu_b(vec4, filt0);
1530		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dsth0, vec1, filt1, dsth1, vec3, filt1,
1531		− dsth0, dsth1);
1532		− dsth2 = __lsx_vdp2add_h_bu_b(dsth2, vec5, filt1);
1533		−
1534		− DUP2_ARG2(__lsx_vilvl_h, dsth1, dsth0, dsth2, dsth1, tmp0, tmp2);
1535		− DUP2_ARG2(__lsx_vilvh_h, dsth1, dsth0, dsth2, dsth1, tmp1, tmp3);
1536		−
1537		− src3 = __lsx_vld(src0_ptr, 0);
1538		− DUP2_ARG2(__lsx_vldx, src0_ptr, src_stride, src0_ptr, src_stride_2x,
1539		− src4, src5);
1540		− src6 = __lsx_vldx(src0_ptr, src_stride_3x);
1541		− src0_ptr += src_stride_4x;
1542		− DUP2_ARG3(__lsx_vshuf_b, src3, src3, mask0, src3, src3, mask1, vec0, vec1);
1543		− DUP2_ARG3(__lsx_vshuf_b, src4, src4, mask0, src4, src4, mask1, vec2, vec3);
1544		− DUP2_ARG3(__lsx_vshuf_b, src5, src5, mask0, src5, src5, mask1, vec4, vec5);
1545		− DUP2_ARG3(__lsx_vshuf_b, src6, src6, mask0, src6, src6, mask1, vec6, vec7);
1546		−
1547		− DUP4_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, vec4, filt0, vec6,
1548		− filt0, dsth3, dsth4, dsth5, dsth6);
1549		− DUP4_ARG3(__lsx_vdp2add_h_bu_b, dsth3, vec1, filt1, dsth4, vec3, filt1, dsth5,
1550		− vec5, filt1, dsth6, vec7, filt1, dsth3, dsth4, dsth5, dsth6);
1551		−
1552		− src3 = __lsx_vld(src0_ptr, 0);
1553		− DUP2_ARG2(__lsx_vldx, src0_ptr, src_stride, src0_ptr, src_stride_2x,
1554		− src4, src5);
1555		− src6 = __lsx_vldx(src0_ptr, src_stride_3x);
1556		−
1557		− DUP2_ARG3(__lsx_vshuf_b, src3, src3, mask0, src3, src3, mask1, vec0, vec1);
1558		− DUP2_ARG3(__lsx_vshuf_b, src4, src4, mask0, src4, src4, mask1, vec2, vec3);
1559		− DUP2_ARG3(__lsx_vshuf_b, src5, src5, mask0, src5, src5, mask1, vec4, vec5);
1560		− DUP2_ARG3(__lsx_vshuf_b, src6, src6, mask0, src6, src6, mask1, vec6, vec7);
1561		−
1562		− DUP4_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, vec4, filt0, vec6,
1563		− filt0, dsth7, dsth8, dsth9, dsth10);
1564		− DUP4_ARG3(__lsx_vdp2add_h_bu_b, dsth7, vec1, filt1, dsth8, vec3, filt1, dsth9,
1565		− vec5, filt1, dsth10, vec7, filt1, dsth7, dsth8, dsth9, dsth10);
1566		−
1567		− DUP2_ARG2(__lsx_vilvl_h, dsth3, dsth2, dsth4, dsth3, tmp4, tmp6);
1568		− DUP2_ARG2(__lsx_vilvh_h, dsth3, dsth2, dsth4, dsth3, tmp5, tmp7);
1569		− DUP2_ARG2(__lsx_vilvl_h, dsth5, dsth4, dsth6, dsth5, dsth0, dsth2);
1570		− DUP2_ARG2(__lsx_vilvh_h, dsth5, dsth4, dsth6, dsth5, dsth1, dsth3);
1571		− DUP4_ARG2(__lsx_vdp2_w_h, tmp0, filt_h0, tmp2, filt_h0, tmp4, filt_h0,
1572		− tmp6, filt_h0, dst0_r, dst1_r, dst2_r, dst3_r);
1573		− DUP4_ARG3(__lsx_vdp2add_w_h, dst0_r, tmp4, filt_h1, dst1_r, tmp6,
1574		− filt_h1, dst2_r, dsth0, filt_h1, dst3_r, dsth2, filt_h1,
1575		− dst0_r, dst1_r, dst2_r, dst3_r);
1576		− DUP2_ARG2(__lsx_vpickev_d, tmp3, tmp1, tmp7, tmp5, tmp0, tmp8);
1577		− dst0_l = __lsx_vdp2_w_h(tmp0, filt_h0);
1578		− dst0_l = __lsx_vdp2add_w_h(dst0_l, tmp8, filt_h1);
1579		−
1580		− DUP2_ARG2(__lsx_vilvl_h, dsth7, dsth6, dsth8, dsth7, tmp0, tmp2);
1581		− DUP2_ARG2(__lsx_vilvh_h, dsth7, dsth6, dsth8, dsth7, tmp1, tmp3);
1582		− DUP2_ARG2(__lsx_vilvl_h, dsth9, dsth8, dsth10, dsth9, tmp4, tmp6);
1583		− DUP2_ARG2(__lsx_vilvh_h, dsth9, dsth8, dsth10, dsth9, tmp5, tmp7);
1584		− DUP4_ARG2(__lsx_vdp2_w_h, dsth0, filt_h0, dsth2, filt_h0, tmp0, filt_h0,
1585		− tmp2, filt_h0, dst4_r, dst5_r, dst6_r, dst7_r);
1586		− DUP4_ARG3(__lsx_vdp2add_w_h, dst4_r, tmp0, filt_h1, dst5_r, tmp2,
1587		− filt_h1, dst6_r, tmp4, filt_h1, dst7_r, tmp6, filt_h1,
1588		− dst4_r, dst5_r, dst6_r, dst7_r);
1589		− DUP2_ARG2(__lsx_vpickev_d, dsth3, dsth1, tmp3, tmp1, tmp0, tmp1);
1590		− tmp2 = __lsx_vpickev_d(tmp7, tmp5);
1591		−
1592		− DUP2_ARG2(__lsx_vdp2_w_h, tmp8, filt_h0, tmp0, filt_h0, dst1_l, dst2_l);
1593		− dst3_l = __lsx_vdp2_w_h(tmp1, filt_h0);
1594		− DUP2_ARG3(__lsx_vdp2add_w_h, dst1_l, tmp0, filt_h1, dst2_l, tmp1, filt_h1,
1595		− dst1_l, dst2_l);
1596		− dst3_l = __lsx_vdp2add_w_h(dst3_l, tmp2, filt_h1);
1597		−
1598		− DUP4_ARG2(__lsx_vsrai_d, dst0_r, 6, dst1_r, 6, dst2_r, 6, dst3_r, 6,
1599		− dst0_r, dst1_r, dst2_r, dst3_r);
1600		− DUP4_ARG2(__lsx_vsrai_d, dst4_r, 6, dst5_r, 6, dst6_r, 6, dst7_r, 6,
1601		− dst4_r, dst5_r, dst6_r, dst7_r);
1602		− DUP4_ARG2(__lsx_vsrai_d, dst0_l, 6, dst1_l, 6, dst2_l, 6, dst3_l, 6,
1603		− dst0_l, dst1_l, dst2_l, dst3_l);
1604		− DUP2_ARG2(__lsx_vpickev_h, dst1_r, dst0_r, dst3_r, dst2_r, tmp0, tmp1);
1605		− DUP2_ARG2(__lsx_vpickev_h, dst5_r, dst4_r, dst7_r, dst6_r, tmp2, tmp3);
1606		− DUP2_ARG2(__lsx_vpickev_h, dst1_l, dst0_l, dst3_l, dst2_l, tmp4, tmp5);
1607		−
1608		− reg0 = __lsx_vldrepl_d(src1_ptr, 0);
1609		− reg1 = __lsx_vldrepl_d(src1_ptr + src2_stride, 0);
1610		− dsth0 = __lsx_vilvl_d(reg1, reg0);
1611		− reg0 = __lsx_vldrepl_d(src1_ptr + src2_stride_2x, 0);
1612		− reg1 = __lsx_vldrepl_d(src1_ptr + src2_stride_3x, 0);
1613		− dsth1 = __lsx_vilvl_d(reg1, reg0);
1614		− src1_ptr += src2_stride_4x;
1615		− reg0 = __lsx_vldrepl_d(src1_ptr, 0);
1616		− reg1 = __lsx_vldrepl_d(src1_ptr + src2_stride, 0);
1617		− dsth2 = __lsx_vilvl_d(reg1, reg0);
1618		− reg0 = __lsx_vldrepl_d(src1_ptr + src2_stride_2x, 0);
1619		− reg1 = __lsx_vldrepl_d(src1_ptr + src2_stride_3x, 0);
1620		− dsth3 = __lsx_vilvl_d(reg1, reg0);
1621		−
1622		− DUP4_ARG2(__lsx_vsadd_h, dsth0, tmp0, dsth1, tmp1, dsth2, tmp2, dsth3,
1623		− tmp3, tmp0, tmp1, tmp2, tmp3);
1624		− DUP4_ARG2(__lsx_vmaxi_h, tmp0, 0, tmp1, 0, tmp2, 0, tmp3, 0,
1625		− tmp0, tmp1, tmp2, tmp3);
1626		− DUP2_ARG3(__lsx_vssrlrni_bu_h, tmp1, tmp0, 7, tmp3, tmp2, 7, out0, out1);
1627		−
1628		− __lsx_vstelm_w(out0, dst, 0, 0);
1629		− __lsx_vstelm_w(out0, dst + dst_stride, 0, 1);
1630		− __lsx_vstelm_w(out0, dst + dst_stride_2x, 0, 2);
1631		− __lsx_vstelm_w(out0, dst + dst_stride_3x, 0, 3);
1632		− dst += dst_stride_4x;
1633		− __lsx_vstelm_w(out1, dst, 0, 0);
1634		− __lsx_vstelm_w(out1, dst + dst_stride, 0, 1);
1635		− __lsx_vstelm_w(out1, dst + dst_stride_2x, 0, 2);
1636		− __lsx_vstelm_w(out1, dst + dst_stride_3x, 0, 3);
1637		− dst -= dst_stride_4x;
1638		−
1639		− src1_ptr -= src2_stride_4x;
1640		−
1641		− reg0 = __lsx_vldrepl_w(src1_ptr, 8);
1642		− reg1 = __lsx_vldrepl_w(src1_ptr + src2_stride, 8);
1643		− reg2 = __lsx_vldrepl_w(src1_ptr + src2_stride_2x, 8);
1644		− reg3 = __lsx_vldrepl_w(src1_ptr + src2_stride_3x, 8);
1645		− DUP2_ARG2(__lsx_vilvl_w, reg1, reg0, reg3, reg2, tmp0, tmp1);
1646		− dsth4 = __lsx_vilvl_d(tmp1, tmp0);
1647		− src1_ptr += src2_stride_4x;
1648		−
1649		− reg0 = __lsx_vldrepl_w(src1_ptr, 8);
1650		− reg1 = __lsx_vldrepl_w(src1_ptr + src2_stride, 8);
1651		− reg2 = __lsx_vldrepl_w(src1_ptr + src2_stride_2x, 8);
1652		− reg3 = __lsx_vldrepl_w(src1_ptr + src2_stride_3x, 8);
1653		− DUP2_ARG2(__lsx_vilvl_w, reg1, reg0, reg3, reg2, tmp0, tmp1);
1654		− dsth5 = __lsx_vilvl_d(tmp1, tmp0);
1655		− DUP2_ARG2(__lsx_vsadd_h, dsth4, tmp4, dsth5, tmp5, tmp4, tmp5);
1656		− DUP2_ARG2(__lsx_vmaxi_h, tmp4, 0, tmp5, 7, tmp4, tmp5);
1657		− out0 = __lsx_vssrlrni_bu_h(tmp5, tmp4, 7);
1658		−
1659		− __lsx_vstelm_h(out0, dst, 4, 0);
1660		− __lsx_vstelm_h(out0, dst + dst_stride, 4, 1);
1661		− __lsx_vstelm_h(out0, dst + dst_stride_2x, 4, 2);
1662		− __lsx_vstelm_h(out0, dst + dst_stride_3x, 4, 3);
1663		− dst += dst_stride_4x;
1664		− __lsx_vstelm_h(out0, dst, 4, 4);
1665		− __lsx_vstelm_h(out0, dst + dst_stride, 4, 5);
1666		− __lsx_vstelm_h(out0, dst + dst_stride_2x, 4, 6);
1667		− __lsx_vstelm_h(out0, dst + dst_stride_3x, 4, 7);
1668		−}
1669		−
1670	1566	static av_always_inline
1671	1567	void hevc_hv_4t_8x2_lsx(const uint8_t src0_ptr, int32_t src_stride, const int16_t src1_ptr,
1672	1568	int32_t src2_stride, uint8_t *dst, int32_t dst_stride,
@@ -2281,7 +2177,6 @@ BI_MC_HV(qpel, 48, 8); · 608 unmodified lines
2281	2177	BI_MC_HV(qpel, 64, 8);
2282	2178
2283	2179	BI_MC_HV(epel, 8, 4);
2284		−BI_MC_HV(epel, 6, 4);
2285	2180	BI_MC_HV(epel, 16, 4);
2286	2181	BI_MC_HV(epel, 24, 4);
2287	2182	BI_MC_HV(epel, 32, 4);

libavcodec/loongarch/hevc_mc_uni_lsx.c+87−238

@@ -545,7 +545,7 @@ static void hevc_hv_8t_64w_lsx(const uint8_t src, int32_t src_stride, uint8_t · 544 unmodified lines
545	545	}
546	546
547	547	static av_always_inline
548		−void common_vt_4t_24w_lsx(const uint8_t *src, int32_t src_stride,
	548	+void common_vt_2t_24w_lsx(const uint8_t *src, int32_t src_stride,
549	549	uint8_t *dst, int32_t dst_stride,
550	550	const int8_t *filter, int32_t height)
551	551	{
@@ -554,8 +554,8 @@ void common_vt_4t_24w_lsx(const uint8_t *src, int32_t src_stride, · 2 unmodified lines
554	554	int32_t src_stride_3x = src_stride_2x + src_stride;
555	555	const uint8_t *_src;
556	556
557		− __m128i src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
558		− __m128i src11, filt0, filt1;
	557	+ __m128i src0, src1, src2, src3, src4, src6, src7, src8, src9, src10;
	558	+ __m128i filt0, filt1;
559	559	__m128i src10_r, src32_r, src76_r, src98_r, src21_r, src43_r, src87_r;
560	560	__m128i src109_r, src10_l, src32_l, src21_l, src43_l;
561	561	__m128i out0_r, out1_r, out2_r, out3_r, out0_l, out1_l;
@@ -578,7 +578,7 @@ void common_vt_4t_24w_lsx(const uint8_t *src, int32_t src_stride, · 16 unmodified lines
578	578	_src += src_stride_3x;
579	579	DUP2_ARG2(__lsx_vilvl_b, src7, src6, src8, src7, src76_r, src87_r);
580	580
581		− for (loop_cnt = 8; loop_cnt--;) {
	581	+ for (loop_cnt = height >> 1; loop_cnt--;) {
582	582	/* 16 width */
583	583	DUP2_ARG2(__lsx_vld, src, 0, _src, 0, src3, src9);
584	584	DUP2_ARG2(__lsx_vldx, src, src_stride, _src, src_stride, src4, src10);
@@ -605,53 +605,27 @@ void common_vt_4t_24w_lsx(const uint8_t *src, int32_t src_stride, · 20 unmodified lines
605	605
606	606	/* 16 + 8 width */
607	607	DUP4_ARG3(__lsx_vssrarni_bu_h, out0_l, out0_r, 6, out2_r, out2_r, 6,
608		− out3_r, out3_r, 6, out1_l, out1_r, 6, out1, out2, out3, out4);
609		− __lsx_vst(out1, dst, 0);
610		− __lsx_vstelm_d(out2, dst, 16, 0);
611		− dst += dst_stride;
612		− __lsx_vst(out4, dst, 0);
613		− __lsx_vstelm_d(out3, dst, 16, 0);
614		− dst += dst_stride;
615		−
616		− /* 16 width */
617		− DUP2_ARG2(__lsx_vld, src, 0, _src, 0, src5, src11);
618		− DUP2_ARG2(__lsx_vldx, src, src_stride, _src, src_stride, src2, src8);
619		− DUP2_ARG2(__lsx_vilvl_b, src5, src4, src2, src5, src10_r, src21_r);
620		− DUP2_ARG2(__lsx_vilvh_b, src5, src4, src2, src5, src10_l, src21_l);
621		−
622		− /* 8 width */
623		− src += src_stride_2x;
624		− _src += src_stride_2x;
625		− DUP2_ARG2(__lsx_vilvl_b, src11, src10, src8, src11, src76_r, src87_r);
626		−
627		− /* 16 width */
628		− DUP4_ARG2(__lsx_vdp2_h_bu_b, src32_r, filt0, src32_l, filt0, src43_r,
629		− filt0, src43_l, filt0, out0_r, out0_l, out1_r, out1_l);
630		− DUP4_ARG3(__lsx_vdp2add_h_bu_b, out0_r, src10_r, filt1, out0_l, src10_l,
631		− filt1, out1_r, src21_r, filt1, out1_l, src21_l, filt1,
632		− out0_r, out0_l, out1_r, out1_l);
633		−
634		− /* 8 width */
635		− DUP2_ARG2(__lsx_vdp2_h_bu_b, src98_r, filt0, src109_r, filt0,
636		− out2_r, out3_r);
637		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, out2_r, src76_r, filt1, out3_r,
638		− src87_r, filt1, out2_r, out3_r);
639		−
640		− /* 16 + 8 width */
641		− DUP4_ARG3(__lsx_vssrarni_bu_h, out0_l, out0_r, 6, out2_r, out2_r, 6,
642		− out1_l, out1_r, 6, out3_r, out3_r, 6, out1, out2, out3, out4);
643		−
	608	+ out1_l, out1_r, 6, out3_r, out3_r, 6, out1, out2, out3, out4);
644	609	__lsx_vst(out1, dst, 0);
645	610	__lsx_vstelm_d(out2, dst, 16, 0);
646	611	dst += dst_stride;
647	612	__lsx_vst(out3, dst, 0);
648	613	__lsx_vstelm_d(out4, dst, 16, 0);
649	614	dst += dst_stride;
	615	+
	616	+ src10_r = src32_r;
	617	+ src21_r = src43_r;
	618	+ src10_l = src32_l;
	619	+ src21_l = src43_l;
	620	+ src2 = src4;
	621	+ src76_r = src98_r;
	622	+ src87_r = src109_r;
	623	+ src8 = src10;
650	624	}
651	625	}
652	626
653	627	static av_always_inline
654		−void common_vt_4t_32w_lsx(const uint8_t *src, int32_t src_stride,
	628	+void common_vt_2t_32w_lsx(const uint8_t *src, int32_t src_stride,
655	629	uint8_t *dst, int32_t dst_stride,
656	630	const int8_t *filter, int32_t height)
657	631	{
@@ -805,102 +779,6 @@ void hevc_hv_4t_8x2_lsx(const uint8_t src, int32_t src_stride, uint8_t dst, · 147 unmodified lines
805	779	__lsx_vstelm_d(out, dst + dst_stride, 0, 1);
806	780	}
807	781
808		−static av_always_inline
809		−void hevc_hv_4t_8multx4_lsx(const uint8_t src, int32_t src_stride, uint8_t dst,
810		− int32_t dst_stride, const int8_t *filter_x,
811		− const int8_t *filter_y, int32_t width8mult)
812		−{
813		− uint32_t cnt;
814		− const int32_t src_stride_2x = (src_stride << 1);
815		− const int32_t dst_stride_2x = (dst_stride << 1);
816		− const int32_t src_stride_4x = (src_stride << 2);
817		− const int32_t src_stride_3x = src_stride_2x + src_stride;
818		− const int32_t dst_stride_3x = dst_stride_2x + dst_stride;
819		−
820		− __m128i out0, out1;
821		− __m128i src0, src1, src2, src3, src4, src5, src6, mask0, mask1;
822		− __m128i vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
823		− __m128i filt0, filt1, filt_h0, filt_h1, filter_vec;
824		− __m128i dst0, dst1, dst2, dst3, dst4, dst5, dst6, tmp0, tmp1, tmp2, tmp3;
825		− __m128i dst0_r, dst0_l, dst1_r, dst1_l, dst2_r, dst2_l, dst3_r, dst3_l;
826		− __m128i dst10_r, dst32_r, dst54_r, dst21_r, dst43_r, dst65_r;
827		− __m128i dst10_l, dst32_l, dst54_l, dst21_l, dst43_l, dst65_l;
828		−
829		− src -= (src_stride + 1);
830		− DUP2_ARG2(__lsx_vldrepl_h, filter_x, 0, filter_x, 2, filt0, filt1);
831		−
832		− filter_vec = __lsx_vld(filter_y, 0);
833		− filter_vec = __lsx_vsllwil_h_b(filter_vec, 0);
834		− DUP2_ARG2(__lsx_vreplvei_w, filter_vec, 0, filter_vec, 1, filt_h0, filt_h1);
835		−
836		− mask0 = __lsx_vld(ff_hevc_mask_arr, 0);
837		− mask1 = __lsx_vaddi_bu(mask0, 2);
838		−
839		− for (cnt = width8mult; cnt--;) {
840		− src0 = __lsx_vld(src, 0);
841		− DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src1, src2);
842		− src3 = __lsx_vldx(src, src_stride_3x);
843		− src += src_stride_4x;
844		− src4 = __lsx_vld(src, 0);
845		− DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src5, src6);
846		− src += (8 - src_stride_4x);
847		− DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask0, src0, src0, mask1,
848		− vec0, vec1);
849		− DUP2_ARG3(__lsx_vshuf_b, src1, src1, mask0, src1, src1, mask1,
850		− vec2, vec3);
851		− DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask0, src2, src2, mask1,
852		− vec4, vec5);
853		−
854		− DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, dst0, dst1);
855		− dst2 = __lsx_vdp2_h_bu_b(vec4, filt0);
856		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec1, filt1, dst1, vec3, filt1,
857		− dst0, dst1);
858		− dst2 = __lsx_vdp2add_h_bu_b(dst2, vec5, filt1);
859		−
860		− DUP2_ARG2(__lsx_vilvl_h, dst1, dst0, dst2, dst1, dst10_r, dst21_r);
861		− DUP2_ARG2(__lsx_vilvh_h, dst1, dst0, dst2, dst1, dst10_l, dst21_l);
862		−
863		− DUP2_ARG3(__lsx_vshuf_b, src3, src3, mask0, src3, src3, mask1,
864		− vec0, vec1);
865		− DUP2_ARG3(__lsx_vshuf_b, src4, src4, mask0, src4, src4, mask1,
866		− vec2, vec3);
867		− DUP2_ARG3(__lsx_vshuf_b, src5, src5, mask0, src5, src5, mask1,
868		− vec4, vec5);
869		− DUP2_ARG3(__lsx_vshuf_b, src6, src6, mask0, src6, src6, mask1,
870		− vec6, vec7);
871		−
872		− DUP4_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, vec4, filt0,
873		− vec6, filt0, dst3, dst4, dst5, dst6);
874		− DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst3, vec1, filt1, dst4, vec3, filt1,
875		− dst5, vec5, filt1, dst6, vec7, filt1, dst3, dst4, dst5, dst6);
876		−
877		− DUP4_ARG2(__lsx_vilvl_h, dst3, dst2, dst4, dst3, dst5, dst4, dst6,
878		− dst5, dst32_r, dst43_r, dst54_r, dst65_r);
879		− DUP4_ARG2(__lsx_vilvh_h, dst3, dst2, dst4, dst3, dst5, dst4, dst6,
880		− dst5, dst32_l, dst43_l, dst54_l, dst65_l);
881		−
882		− DUP4_ARG2(__lsx_vdp2_w_h, dst10_r, filt_h0, dst10_l, filt_h0, dst21_r,
883		− filt_h0, dst21_l, filt_h0, dst0_r, dst0_l, dst1_r, dst1_l);
884		− DUP4_ARG2(__lsx_vdp2_w_h, dst32_r, filt_h0, dst32_l, filt_h0, dst43_r,
885		− filt_h0, dst43_l, filt_h0, dst2_r, dst2_l, dst3_r, dst3_l);
886		− DUP4_ARG3(__lsx_vdp2add_w_h, dst0_r, dst32_r, filt_h1, dst0_l, dst32_l,
887		− filt_h1, dst1_r, dst43_r, filt_h1, dst1_l, dst43_l, filt_h1,
888		− dst0_r, dst0_l, dst1_r, dst1_l);
889		− DUP4_ARG3(__lsx_vdp2add_w_h, dst2_r, dst54_r, filt_h1, dst2_l, dst54_l,
890		− filt_h1, dst3_r, dst65_r, filt_h1, dst3_l, dst65_l, filt_h1,
891		− dst2_r, dst2_l, dst3_r, dst3_l);
892		−
893		− DUP4_ARG3(__lsx_vsrani_h_w, dst0_l, dst0_r, 6, dst1_l, dst1_r, 6,
894		− dst2_l, dst2_r, 6, dst3_l, dst3_r, 6, tmp0, tmp1, tmp2, tmp3);
895		− DUP2_ARG3(__lsx_vssrarni_bu_h, tmp1, tmp0, 6, tmp3, tmp2, 6, out0, out1);
896		− __lsx_vstelm_d(out0, dst, 0, 0);
897		− __lsx_vstelm_d(out0, dst + dst_stride, 0, 1);
898		− __lsx_vstelm_d(out1, dst + dst_stride_2x, 0, 0);
899		− __lsx_vstelm_d(out1, dst + dst_stride_3x, 0, 1);
900		− dst += 8;
901		− }
902		−}
903		−
904	782	static av_always_inline
905	783	void hevc_hv_4t_8x6_lsx(const uint8_t src, int32_t src_stride, uint8_t dst,
906	784	int32_t dst_stride, const int8_t *filter_x,
@@ -1009,10 +887,9 @@ void hevc_hv_4t_8x6_lsx(const uint8_t src, int32_t src_stride, uint8_t dst, · 102 unmodified lines
1009	887	}
1010	888
1011	889	static av_always_inline
1012		−void hevc_hv_4t_8multx4mult_lsx(const uint8_t src, int32_t src_stride, uint8_t dst,
1013		− int32_t dst_stride, const int8_t *filter_x,
1014		− const int8_t *filter_y, int32_t height,
1015		− int32_t width8mult)
	890	+void hevc_hv_4t_8mult_lsx(const uint8_t src, int32_t src_stride, uint8_t dst,
	891	+ int32_t dst_stride, const int8_t *filter_x,
	892	+ const int8_t *filter_y, int32_t height, int32_t width8mult)
1016	893	{
1017	894	uint32_t loop_cnt, cnt;
1018	895	const uint8_t *src_tmp;
@@ -1134,14 +1011,10 @@ void hevc_hv_4t_8w_lsx(const uint8_t src, int32_t src_stride, uint8_t dst, · 115 unmodified lines
1134	1011	{
1135	1012	if (2 == height) {
1136	1013	hevc_hv_4t_8x2_lsx(src, src_stride, dst, dst_stride, filter_x, filter_y);
1137		− } else if (4 == height) {
1138		− hevc_hv_4t_8multx4_lsx(src, src_stride, dst, dst_stride,
1139		− filter_x, filter_y, 1);
1140	1014	} else if (6 == height) {
1141	1015	hevc_hv_4t_8x6_lsx(src, src_stride, dst, dst_stride, filter_x, filter_y);
1142	1016	} else if (0 == (height & 0x03)) {
1143		− hevc_hv_4t_8multx4mult_lsx(src, src_stride, dst, dst_stride,
1144		− filter_x, filter_y, height, 1);
	1017	+ hevc_hv_4t_8mult_lsx(src, src_stride, dst, dst_stride, filter_x, filter_y, height, 1);
1145	1018	}
1146	1019	}
1147	1020
@@ -1160,17 +1033,14 @@ void hevc_hv_4t_12w_lsx(const uint8_t src, int32_t src_stride, uint8_t dst, · 12 unmodified lines
1160	1033	const int32_t src_stride_3x = src_stride_2x + src_stride;
1161	1034	const int32_t dst_stride_3x = dst_stride_2x + dst_stride;
1162	1035	__m128i out0, out1;
1163		− __m128i src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
	1036	+ __m128i src0, src1, src2, src3, src4, src5, src6;
1164	1037	__m128i vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
1165		− __m128i mask0, mask1, mask2, mask3;
	1038	+ __m128i mask0, mask1;
1166	1039	__m128i filt0, filt1, filt_h0, filt_h1, filter_vec, tmp0, tmp1, tmp2, tmp3;
1167	1040	__m128i dsth0, dsth1, dsth2, dsth3, dsth4, dsth5, dsth6;
1168		− __m128i dst10, dst21, dst22, dst73, dst84, dst95, dst106;
1169		− __m128i dst76_r, dst98_r, dst87_r, dst109_r;
1170	1041	__m128i dst10_r, dst32_r, dst54_r, dst21_r, dst43_r, dst65_r;
1171	1042	__m128i dst10_l, dst32_l, dst54_l, dst21_l, dst43_l, dst65_l;
1172	1043	__m128i dst0_r, dst0_l, dst1_r, dst1_l, dst2_r, dst2_l, dst3_r, dst3_l;
1173		− __m128i dst0, dst1, dst2, dst3, dst4, dst5, dst6, dst7;
1174	1044
1175	1045	src -= (src_stride + 1);
1176	1046	DUP2_ARG2(__lsx_vldrepl_h, filter_x, 0, filter_x, 2, filt0, filt1);
@@ -1186,8 +1056,7 @@ void hevc_hv_4t_12w_lsx(const uint8_t src, int32_t src_stride, uint8_t dst, · 9 unmodified lines
1186	1056	dst_tmp = dst;
1187	1057
1188	1058	src0 = __lsx_vld(src_tmp, 0);
1189		− DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x,
1190		− src1, src2);
	1059	+ DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x, src1, src2);
1191	1060	src_tmp += src_stride_3x;
1192	1061
1193	1062	DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask0, src0, src0, mask1, vec0, vec1);
@@ -1196,17 +1065,15 @@ void hevc_hv_4t_12w_lsx(const uint8_t src, int32_t src_stride, uint8_t dst, · 2 unmodified lines
1196	1065
1197	1066	DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, dsth0, dsth1);
1198	1067	dsth2 = __lsx_vdp2_h_bu_b(vec4, filt0);
1199		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dsth0, vec1, filt1, dsth1, vec3, filt1,
1200		− dsth0, dsth1);
	1068	+ DUP2_ARG3(__lsx_vdp2add_h_bu_b, dsth0, vec1, filt1, dsth1, vec3, filt1, dsth0, dsth1);
1201	1069	dsth2 = __lsx_vdp2add_h_bu_b(dsth2, vec5, filt1);
1202	1070
1203	1071	DUP2_ARG2(__lsx_vilvl_h, dsth1, dsth0, dsth2, dsth1, dst10_r, dst21_r);
1204	1072	DUP2_ARG2(__lsx_vilvh_h, dsth1, dsth0, dsth2, dsth1, dst10_l, dst21_l);
1205	1073
1206		− for (loop_cnt = 4; loop_cnt--;) {
	1074	+ for (loop_cnt = height >> 2; loop_cnt--;) {
1207	1075	src3 = __lsx_vld(src_tmp, 0);
1208		− DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x,
1209		− src4, src5);
	1076	+ DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x, src4, src5);
1210	1077	src6 = __lsx_vldx(src_tmp, src_stride_3x);
1211	1078	src_tmp += src_stride_4x;
1212	1079
@@ -1254,83 +1121,73 @@ void hevc_hv_4t_12w_lsx(const uint8_t src, int32_t src_stride, uint8_t dst, · 41 unmodified lines
1254	1121	dsth2 = dsth6;
1255	1122	}
1256	1123
1257		− src += 8;
1258		− dst += 8;
	1124	+ src_tmp = src + 8;
	1125	+ dst_tmp = dst + 8;
1259	1126
1260		− mask2 = __lsx_vld(ff_hevc_mask_arr, 16);
1261		− mask3 = __lsx_vaddi_bu(mask2, 2);
	1127	+ src0 = __lsx_vld(src_tmp, 0);
	1128	+ DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x, src1, src2);
	1129	+ src_tmp += src_stride_3x;
1262	1130
1263		− src0 = __lsx_vld(src, 0);
1264		− DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src1, src2);
1265		− src += src_stride_3x;
1266		− DUP2_ARG3(__lsx_vshuf_b, src1, src0, mask2, src1, src0, mask3, vec0, vec1);
1267		− DUP2_ARG3(__lsx_vshuf_b, src2, src1, mask2, src2, src1, mask3, vec2, vec3);
	1131	+ DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask0, src0, src0, mask1, vec0, vec1);
	1132	+ DUP2_ARG3(__lsx_vshuf_b, src1, src1, mask0, src1, src1, mask1, vec2, vec3);
	1133	+ DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask0, src2, src2, mask1, vec4, vec5);
1268	1134
1269		− DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, dst10, dst21);
1270		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst10, vec1, filt1, dst21, vec3, filt1,
1271		− dst10, dst21);
	1135	+ DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, dsth0, dsth1);
	1136	+ dsth2 = __lsx_vdp2_h_bu_b(vec4, filt0);
	1137	+ DUP2_ARG3(__lsx_vdp2add_h_bu_b, dsth0, vec1, filt1, dsth1, vec3, filt1, dsth0, dsth1);
	1138	+ dsth2 = __lsx_vdp2add_h_bu_b(dsth2, vec5, filt1);
1272	1139
1273		− dst10_r = __lsx_vilvl_h(dst21, dst10);
1274		− dst21_r = __lsx_vilvh_h(dst21, dst10);
1275		− dst22 = __lsx_vreplvei_d(dst21, 1);
	1140	+ DUP2_ARG2(__lsx_vilvl_h, dsth1, dsth0, dsth2, dsth1, dst10_r, dst21_r);
	1141	+ DUP2_ARG2(__lsx_vilvh_h, dsth1, dsth0, dsth2, dsth1, dst10_l, dst21_l);
1276	1142
1277		− for (loop_cnt = 2; loop_cnt--;) {
1278		− src3 = __lsx_vld(src, 0);
1279		− DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src4, src5);
1280		− src6 = __lsx_vldx(src, src_stride_3x);
1281		− src += src_stride_4x;
1282		− src7 = __lsx_vld(src, 0);
1283		− DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src8, src9);
1284		− src10 = __lsx_vldx(src, src_stride_3x);
1285		− src += src_stride_4x;
1286		− DUP4_ARG3(__lsx_vshuf_b, src7, src3, mask2, src7, src3, mask3, src8,
1287		− src4, mask2, src8, src4, mask3, vec0, vec1, vec2, vec3);
1288		− DUP4_ARG3(__lsx_vshuf_b, src9, src5, mask2, src9, src5, mask3, src10,
1289		− src6, mask2, src10, src6, mask3, vec4, vec5, vec6, vec7);
	1143	+ for (loop_cnt = height >> 2; loop_cnt--;) {
	1144	+ src3 = __lsx_vld(src_tmp, 0);
	1145	+ DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x, src4, src5);
	1146	+ src6 = __lsx_vldx(src_tmp, src_stride_3x);
	1147	+ src_tmp += src_stride_4x;
	1148	+
	1149	+ DUP4_ARG3(__lsx_vshuf_b, src3, src3, mask0, src3, src3, mask1, src4,
	1150	+ src4, mask0, src4, src4, mask1, vec0, vec1, vec2, vec3);
	1151	+ DUP4_ARG3(__lsx_vshuf_b, src5, src5, mask0, src5, src5, mask1, src6,
	1152	+ src6, mask0, src6, src6, mask1, vec4, vec5, vec6, vec7);
1290	1153
1291	1154	DUP4_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, vec4, filt0,
1292		− vec6, filt0, dst73, dst84, dst95, dst106);
1293		− DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst73, vec1, filt1, dst84, vec3,
1294		− filt1, dst95, vec5, filt1, dst106, vec7, filt1,
1295		− dst73, dst84, dst95, dst106);
1296		−
1297		− dst32_r = __lsx_vilvl_h(dst73, dst22);
1298		− DUP2_ARG2(__lsx_vilvl_h, dst84, dst73, dst95, dst84, dst43_r, dst54_r);
1299		− DUP2_ARG2(__lsx_vilvh_h, dst84, dst73, dst95, dst84, dst87_r, dst98_r);
1300		− dst65_r = __lsx_vilvl_h(dst106, dst95);
1301		− dst109_r = __lsx_vilvh_h(dst106, dst95);
1302		− dst22 = __lsx_vreplvei_d(dst73, 1);
1303		− dst76_r = __lsx_vilvl_h(dst22, dst106);
1304		−
1305		− DUP4_ARG2(__lsx_vdp2_w_h, dst10_r, filt_h0, dst21_r, filt_h0, dst32_r,
1306		− filt_h0, dst43_r, filt_h0, dst0, dst1, dst2, dst3);
1307		− DUP4_ARG2(__lsx_vdp2_w_h, dst54_r, filt_h0, dst65_r, filt_h0, dst76_r,
1308		− filt_h0, dst87_r, filt_h0, dst4, dst5, dst6, dst7);
1309		− DUP4_ARG3(__lsx_vdp2add_w_h, dst0, dst32_r, filt_h1, dst1, dst43_r,
1310		− filt_h1, dst2, dst54_r, filt_h1, dst3, dst65_r, filt_h1,
1311		− dst0, dst1, dst2, dst3);
1312		− DUP4_ARG3(__lsx_vdp2add_w_h, dst4, dst76_r, filt_h1, dst5, dst87_r,
1313		− filt_h1, dst6, dst98_r, filt_h1, dst7, dst109_r, filt_h1,
1314		− dst4, dst5, dst6, dst7);
1315		−
1316		− DUP4_ARG3(__lsx_vsrani_h_w, dst1, dst0, 6, dst3, dst2, 6, dst5, dst4,
1317		− 6, dst7, dst6, 6, tmp0, tmp1, tmp2, tmp3);
	1155	+ vec6, filt0, dsth3, dsth4, dsth5, dsth6);
	1156	+ DUP4_ARG3(__lsx_vdp2add_h_bu_b, dsth3, vec1, filt1, dsth4,
	1157	+ vec3, filt1, dsth5, vec5, filt1, dsth6, vec7, filt1,
	1158	+ dsth3, dsth4, dsth5, dsth6);
	1159	+
	1160	+ DUP4_ARG2(__lsx_vilvl_h, dsth3, dsth2, dsth4, dsth3, dsth5, dsth4,
	1161	+ dsth6, dsth5, dst32_r, dst43_r, dst54_r, dst65_r);
	1162	+ DUP4_ARG2(__lsx_vilvh_h, dsth3, dsth2, dsth4, dsth3, dsth5, dsth4,
	1163	+ dsth6, dsth5, dst32_l, dst43_l, dst54_l, dst65_l);
	1164	+
	1165	+ DUP4_ARG2(__lsx_vdp2_w_h, dst10_r, filt_h0, dst10_l, filt_h0, dst21_r,
	1166	+ filt_h0, dst21_l, filt_h0, dst0_r, dst0_l, dst1_r, dst1_l);
	1167	+ DUP4_ARG2(__lsx_vdp2_w_h, dst32_r, filt_h0, dst32_l, filt_h0, dst43_r,
	1168	+ filt_h0, dst43_l, filt_h0, dst2_r, dst2_l, dst3_r, dst3_l);
	1169	+ DUP4_ARG3(__lsx_vdp2add_w_h, dst0_r, dst32_r, filt_h1, dst0_l, dst32_l,
	1170	+ filt_h1, dst1_r, dst43_r, filt_h1, dst1_l, dst43_l, filt_h1,
	1171	+ dst0_r, dst0_l, dst1_r, dst1_l);
	1172	+ DUP4_ARG3(__lsx_vdp2add_w_h, dst2_r, dst54_r, filt_h1, dst2_l, dst54_l,
	1173	+ filt_h1, dst3_r, dst65_r, filt_h1, dst3_l, dst65_l, filt_h1,
	1174	+ dst2_r, dst2_l, dst3_r, dst3_l);
	1175	+
	1176	+ DUP4_ARG3(__lsx_vsrani_h_w, dst0_l, dst0_r, 6, dst1_l, dst1_r, 6, dst2_l,
	1177	+ dst2_r, 6, dst3_l, dst3_r, 6, tmp0, tmp1, tmp2, tmp3);
1318	1178	DUP2_ARG3(__lsx_vssrarni_bu_h, tmp1, tmp0, 6, tmp3, tmp2, 6, out0, out1);
1319	1179
1320		− __lsx_vstelm_w(out0, dst, 0, 0);
1321		− __lsx_vstelm_w(out0, dst + dst_stride, 0, 1);
1322		− __lsx_vstelm_w(out0, dst + dst_stride_2x, 0, 2);
1323		− __lsx_vstelm_w(out0, dst + dst_stride_3x, 0, 3);
1324		− dst += dst_stride_4x;
1325		− __lsx_vstelm_w(out1, dst, 0, 0);
1326		− __lsx_vstelm_w(out1, dst + dst_stride, 0, 1);
1327		− __lsx_vstelm_w(out1, dst + dst_stride_2x, 0, 2);
1328		− __lsx_vstelm_w(out1, dst + dst_stride_3x, 0, 3);
1329		− dst += dst_stride_4x;
	1180	+ __lsx_vstelm_w(out0, dst_tmp, 0, 0);
	1181	+ __lsx_vstelm_w(out0, dst_tmp + dst_stride, 0, 2);
	1182	+ __lsx_vstelm_w(out1, dst_tmp + dst_stride_2x, 0, 0);
	1183	+ __lsx_vstelm_w(out1, dst_tmp + dst_stride_3x, 0, 2);
	1184	+ dst_tmp += dst_stride_4x;
1330	1185
1331		− dst10_r = dst98_r;
1332		− dst21_r = dst109_r;
1333		− dst22 = __lsx_vreplvei_d(dst106, 1);
	1186	+ dst10_r = dst54_r;
	1187	+ dst10_l = dst54_l;
	1188	+ dst21_r = dst65_r;
	1189	+ dst21_l = dst65_l;
	1190	+ dsth2 = dsth6;
1334	1191	}
1335	1192	}
1336	1193
@@ -1338,29 +1195,21 @@ static void hevc_hv_4t_16w_lsx(const uint8_t src, int32_t src_stride, uint8_t · 1 unmodified line
1338	1195	int32_t dst_stride, const int8_t *filter_x,
1339	1196	const int8_t *filter_y, int32_t height)
1340	1197	{
1341		− if (4 == height) {
1342		− hevc_hv_4t_8multx4_lsx(src, src_stride, dst, dst_stride, filter_x,
1343		− filter_y, 2);
1344		− } else {
1345		− hevc_hv_4t_8multx4mult_lsx(src, src_stride, dst, dst_stride,
1346		− filter_x, filter_y, height, 2);
1347		− }
	1198	+ hevc_hv_4t_8mult_lsx(src, src_stride, dst, dst_stride, filter_x, filter_y, height, 2);
1348	1199	}
1349	1200
1350	1201	static void hevc_hv_4t_24w_lsx(const uint8_t src, int32_t src_stride, uint8_t dst,
1351	1202	int32_t dst_stride, const int8_t *filter_x,
1352	1203	const int8_t *filter_y, int32_t height)
1353	1204	{
1354		− hevc_hv_4t_8multx4mult_lsx(src, src_stride, dst, dst_stride,
1355		− filter_x, filter_y, height, 3);
	1205	+ hevc_hv_4t_8mult_lsx(src, src_stride, dst, dst_stride, filter_x, filter_y, height, 3);
1356	1206	}
1357	1207
1358	1208	static void hevc_hv_4t_32w_lsx(const uint8_t src, int32_t src_stride, uint8_t dst,
1359	1209	int32_t dst_stride, const int8_t *filter_x,
1360	1210	const int8_t *filter_y, int32_t height)
1361	1211	{
1362		− hevc_hv_4t_8multx4mult_lsx(src, src_stride, dst, dst_stride,
1363		− filter_x, filter_y, height, 4);
	1212	+ hevc_hv_4t_8mult_lsx(src, src_stride, dst, dst_stride, filter_x, filter_y, height, 4);
1364	1213	}
1365	1214
1366	1215	#define UNI_MC(PEL, DIR, WIDTH, TAP, DIR1, FILT_DIR) \
@@ -1386,8 +1235,8 @@ UNI_MC(qpel, v, 32, 8, vt, my); · 19 unmodified lines
1386	1235	UNI_MC(qpel, v, 48, 8, vt, my);
1387	1236	UNI_MC(qpel, v, 64, 8, vt, my);
1388	1237
1389		−UNI_MC(epel, v, 24, 4, vt, my);
1390		−UNI_MC(epel, v, 32, 4, vt, my);
	1238	+UNI_MC(epel, v, 24, 2, vt, my);
	1239	+UNI_MC(epel, v, 32, 2, vt, my);
1391	1240
1392	1241	#undef UNI_MC
1393	1242

libavcodec/loongarch/hevcdsp_init_loongarch.c+0−1

@@ -139,7 +139,6 @@ void ff_hevc_dsp_init_loongarch(HEVCDSPContext *c, const int bit_depth) · 138 unmodified lines
139	139	c->put_hevc_epel_bi[6][1][0] = ff_hevc_put_hevc_bi_epel_v24_8_lsx;
140	140	c->put_hevc_epel_bi[7][1][0] = ff_hevc_put_hevc_bi_epel_v32_8_lsx;
141	141
142		− c->put_hevc_epel_bi[2][1][1] = ff_hevc_put_hevc_bi_epel_hv6_8_lsx;
143	142	c->put_hevc_epel_bi[3][1][1] = ff_hevc_put_hevc_bi_epel_hv8_8_lsx;
144	143	c->put_hevc_epel_bi[5][1][1] = ff_hevc_put_hevc_bi_epel_hv16_8_lsx;
145	144	c->put_hevc_epel_bi[6][1][1] = ff_hevc_put_hevc_bi_epel_hv24_8_lsx;

libavcodec/loongarch/hevcdsp_lsx.c+92−141

@@ -772,56 +772,40 @@ static void hevc_hz_8t_12w_lsx(const uint8_t *src, int32_t src_stride, · 771 unmodified lines
772	772	DUP2_ARG2(__lsx_vaddi_bu, mask4, 2, mask4, 4, mask5, mask6);
773	773	mask7 = __lsx_vaddi_bu(mask4, 6);
774	774
775		− for (loop_cnt = 4; loop_cnt--;) {
	775	+ for (loop_cnt = height >> 2; loop_cnt--;) {
776	776	src0 = __lsx_vld(src, 0);
777	777	DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src1, src2);
778	778	src3 = __lsx_vldx(src, src_stride_3x);
779	779	src4 = __lsx_vld(_src, 0);
780		− DUP2_ARG2(__lsx_vldx, _src, src_stride, _src, src_stride_2x,
781		− src5, src6);
	780	+ DUP2_ARG2(__lsx_vldx, _src, src_stride, _src, src_stride_2x, src5, src6);
782	781	src7 = __lsx_vldx(_src, src_stride_3x);
783	782	src += src_stride_4x;
784	783	_src += src_stride_4x;
785	784
786		− DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask0, src1, src1, mask0,
787		− vec0, vec1);
788		− DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask0, src3, src3, mask0,
789		− vec2, vec3);
790		− DUP2_ARG3(__lsx_vshuf_b, src5, src4, mask4, src7, src6, mask4,
791		− vec4, vec5);
	785	+ DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask0, src1, src1, mask0, vec0, vec1);
	786	+ DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask0, src3, src3, mask0, vec2, vec3);
	787	+ DUP2_ARG3(__lsx_vshuf_b, src5, src4, mask4, src7, src6, mask4, vec4, vec5);
792	788	DUP4_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec1, filt0, vec2, filt0,
793	789	vec3, filt0, dst0, dst1, dst2, dst3);
794	790	DUP2_ARG2(__lsx_vdp2_h_bu_b, vec4, filt0, vec5, filt0, dst4, dst5);
795		− DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask1, src1, src1, mask1,
796		− vec0, vec1);
797		− DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask1, src3, src3, mask1,
798		− vec2, vec3);
799		− DUP2_ARG3(__lsx_vshuf_b, src5, src4, mask5, src7, src6, mask5,
800		− vec4, vec5);
	791	+ DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask1, src1, src1, mask1, vec0, vec1);
	792	+ DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask1, src3, src3, mask1, vec2, vec3);
	793	+ DUP2_ARG3(__lsx_vshuf_b, src5, src4, mask5, src7, src6, mask5, vec4, vec5);
801	794	DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec0, filt1, dst1, vec1, filt1,
802	795	dst2, vec2, filt1, dst3, vec3, filt1, dst0, dst1, dst2, dst3);
803		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst4, vec4, filt1, dst5, vec5, filt1,
804		− dst4, dst5);
805		− DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask2, src1, src1, mask2,
806		− vec0, vec1);
807		− DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask2, src3, src3, mask2,
808		− vec2, vec3);
809		− DUP2_ARG3(__lsx_vshuf_b, src5, src4, mask6, src7, src6, mask6,
810		− vec4, vec5);
	796	+ DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst4, vec4, filt1, dst5, vec5, filt1, dst4, dst5);
	797	+ DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask2, src1, src1, mask2, vec0, vec1);
	798	+ DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask2, src3, src3, mask2, vec2, vec3);
	799	+ DUP2_ARG3(__lsx_vshuf_b, src5, src4, mask6, src7, src6, mask6, vec4, vec5);
811	800	DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec0, filt2, dst1, vec1, filt2,
812	801	dst2, vec2, filt2, dst3, vec3, filt2, dst0, dst1, dst2, dst3);
813		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst4, vec4, filt2, dst5, vec5, filt2,
814		− dst4, dst5);
815		− DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask3, src1, src1, mask3,
816		− vec0, vec1);
817		− DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask3, src3, src3, mask3,
818		− vec2, vec3);
819		− DUP2_ARG3(__lsx_vshuf_b, src5, src4, mask7, src7, src6, mask7,
820		− vec4, vec5);
	802	+ DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst4, vec4, filt2, dst5, vec5, filt2, dst4, dst5);
	803	+ DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask3, src1, src1, mask3, vec0, vec1);
	804	+ DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask3, src3, src3, mask3, vec2, vec3);
	805	+ DUP2_ARG3(__lsx_vshuf_b, src5, src4, mask7, src7, src6, mask7, vec4, vec5);
821	806	DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec0, filt3, dst1, vec1, filt3,
822	807	dst2, vec2, filt3, dst3, vec3, filt3, dst0, dst1, dst2, dst3);
823		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst4, vec4, filt3, dst5, vec5, filt3,
824		− dst4, dst5);
	808	+ DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst4, vec4, filt3, dst5, vec5, filt3, dst4, dst5);
825	809
826	810	__lsx_vst(dst0, dst, 0);
827	811	__lsx_vstelm_d(dst4, dst, 16, 0);
@@ -2972,16 +2956,14 @@ static void hevc_hv_4t_12w_lsx(const uint8_t *src, · 2144 unmodified lines
2972	2956	int32_t src_stride_3x = src_stride_2x + src_stride;
2973	2957	int32_t dst_stride_3x = dst_stride_2x + dst_stride_x;
2974	2958
2975		− __m128i src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
	2959	+ __m128i src0, src1, src2, src3, src4, src5, src6;
2976	2960	__m128i vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
2977		− __m128i mask0, mask1, mask2, mask3;
	2961	+ __m128i mask0, mask1;
2978	2962	__m128i filt0, filt1, filt_h0, filt_h1, filter_vec, dst0;
2979		− __m128i dst1, dst2, dst3, dst4, dst5, dst6, dst10, dst21, dst22, dst73;
2980		− __m128i dst84, dst95, dst106, dst76_r, dst98_r, dst87_r, dst109_r;
	2963	+ __m128i dst1, dst2, dst3, dst4, dst5, dst6;
2981	2964	__m128i dst10_r, dst32_r, dst54_r, dst21_r, dst43_r, dst65_r;
2982	2965	__m128i dst10_l, dst32_l, dst54_l, dst21_l, dst43_l, dst65_l;
2983	2966	__m128i dst0_r, dst0_l, dst1_r, dst1_l, dst2_r, dst2_l, dst3_r, dst3_l;
2984		− __m128i tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
2985	2967
2986	2968	src -= (src_stride + 1);
2987	2969	DUP2_ARG2(__lsx_vldrepl_h, filter_x, 0, filter_x, 2, filt0, filt1);
@@ -2997,8 +2979,7 @@ static void hevc_hv_4t_12w_lsx(const uint8_t *src, · 9 unmodified lines
2997	2979	dst_tmp = dst;
2998	2980
2999	2981	src0 = __lsx_vld(src_tmp, 0);
3000		− DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x,
3001		− src1, src2);
	2982	+ DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x, src1, src2);
3002	2983	src_tmp += src_stride_3x;
3003	2984
3004	2985	DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask0, src0, src0, mask1, vec0, vec1);
@@ -3007,34 +2988,27 @@ static void hevc_hv_4t_12w_lsx(const uint8_t *src, · 2 unmodified lines
3007	2988
3008	2989	DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, dst0, dst1);
3009	2990	dst2 = __lsx_vdp2_h_bu_b(vec4, filt0);
3010		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec1, filt1, dst1, vec3, filt1,
3011		− dst0, dst1);
	2991	+ DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec1, filt1, dst1, vec3, filt1, dst0, dst1);
3012	2992	dst2 = __lsx_vdp2add_h_bu_b(dst2, vec5, filt1);
3013	2993
3014	2994	DUP2_ARG2(__lsx_vilvl_h, dst1, dst0, dst2, dst1, dst10_r, dst21_r);
3015	2995	DUP2_ARG2(__lsx_vilvh_h, dst1, dst0, dst2, dst1, dst10_l, dst21_l);
3016	2996
3017		− for (loop_cnt = 4; loop_cnt--;) {
	2997	+ for (loop_cnt = height >> 2; loop_cnt--;) {
3018	2998	src3 = __lsx_vld(src_tmp, 0);
3019		− DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x,
3020		− src4, src5);
	2999	+ DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x, src4, src5);
3021	3000	src6 = __lsx_vldx(src_tmp, src_stride_3x);
3022	3001	src_tmp += src_stride_4x;
3023	3002
3024		− DUP2_ARG3(__lsx_vshuf_b, src3, src3, mask0, src3, src3, mask1,
3025		− vec0, vec1);
3026		− DUP2_ARG3(__lsx_vshuf_b, src4, src4, mask0, src4, src4, mask1,
3027		− vec2, vec3);
3028		− DUP2_ARG3(__lsx_vshuf_b, src5, src5, mask0, src5, src5, mask1,
3029		− vec4, vec5);
3030		− DUP2_ARG3(__lsx_vshuf_b, src6, src6, mask0, src6, src6, mask1,
3031		− vec6, vec7);
	3003	+ DUP2_ARG3(__lsx_vshuf_b, src3, src3, mask0, src3, src3, mask1, vec0, vec1);
	3004	+ DUP2_ARG3(__lsx_vshuf_b, src4, src4, mask0, src4, src4, mask1, vec2, vec3);
	3005	+ DUP2_ARG3(__lsx_vshuf_b, src5, src5, mask0, src5, src5, mask1, vec4, vec5);
	3006	+ DUP2_ARG3(__lsx_vshuf_b, src6, src6, mask0, src6, src6, mask1, vec6, vec7);
3032	3007
3033	3008	DUP4_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, vec4, filt0,
3034	3009	vec6, filt0, dst3, dst4, dst5, dst6);
3035		− DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst3, vec1, filt1, dst4, vec3,
3036		− filt1, dst5, vec5, filt1, dst6, vec7, filt1, dst3,
3037		− dst4, dst5, dst6);
	3010	+ DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst3, vec1, filt1, dst4, vec3, filt1,
	3011	+ dst5, vec5, filt1, dst6, vec7, filt1, dst3, dst4, dst5, dst6);
3038	3012
3039	3013	DUP2_ARG2(__lsx_vilvl_h, dst3, dst2, dst4, dst3, dst32_r, dst43_r);
3040	3014	DUP2_ARG2(__lsx_vilvh_h, dst3, dst2, dst4, dst3, dst32_l, dst43_l);
@@ -3051,12 +3025,8 @@ static void hevc_hv_4t_12w_lsx(const uint8_t *src, · 10 unmodified lines
3051	3025	DUP4_ARG3(__lsx_vdp2add_w_h, dst2_r, dst54_r, filt_h1, dst2_l, dst54_l,
3052	3026	filt_h1, dst3_r, dst65_r, filt_h1, dst3_l, dst65_l, filt_h1,
3053	3027	dst2_r, dst2_l, dst3_r, dst3_l);
3054		− DUP4_ARG2(__lsx_vsrai_w, dst0_r, 6, dst0_l, 6, dst1_r, 6, dst1_l, 6,
3055		− dst0_r, dst0_l, dst1_r, dst1_l);
3056		− DUP4_ARG2(__lsx_vsrai_w, dst2_r, 6, dst2_l, 6, dst3_r, 6, dst3_l, 6,
3057		− dst2_r, dst2_l, dst3_r, dst3_l);
3058		− DUP4_ARG2(__lsx_vpickev_h, dst0_l, dst0_r, dst1_l, dst1_r, dst2_l, dst2_r,
3059		− dst3_l, dst3_r, dst0_r, dst1_r, dst2_r, dst3_r);
	3028	+ DUP2_ARG3(__lsx_vsrani_h_w, dst0_l, dst0_r, 6, dst1_l, dst1_r, 6, dst0_r, dst1_r);
	3029	+ DUP2_ARG3(__lsx_vsrani_h_w, dst2_l, dst2_r, 6, dst3_l, dst3_r, 6, dst2_r, dst3_r);
3060	3030	__lsx_vst(dst0_r, dst_tmp, 0);
3061	3031	__lsx_vstx(dst1_r, dst_tmp, dst_stride_x);
3062	3032	__lsx_vstx(dst2_r, dst_tmp, dst_stride_2x);
@@ -3070,93 +3040,74 @@ static void hevc_hv_4t_12w_lsx(const uint8_t *src, · 7 unmodified lines
3070	3040	dst2 = dst6;
3071	3041	}
3072	3042
3073		− src += 8;
3074		− dst += 8;
	3043	+ src_tmp = src + 8;
	3044	+ dst_tmp = dst + 8;
3075	3045
3076		− mask2 = __lsx_vld(ff_hevc_mask_arr, 16);
3077		− mask3 = __lsx_vaddi_bu(mask2, 2);
	3046	+ src0 = __lsx_vld(src_tmp, 0);
	3047	+ DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x, src1, src2);
	3048	+ src_tmp += src_stride_3x;
3078	3049
3079		− src0 = __lsx_vld(src, 0);
3080		− DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src1, src2);
3081		− src += src_stride_3x;
3082		− DUP2_ARG3(__lsx_vshuf_b, src1, src0, mask2, src1, src0, mask3, vec0, vec1);
3083		− DUP2_ARG3(__lsx_vshuf_b, src2, src1, mask2, src2, src1, mask3, vec2, vec3);
3084		− DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, dst10, dst21);
3085		− DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst10, vec1, filt1, dst21, vec3, filt1,
3086		− dst10, dst21);
3087		− dst10_r = __lsx_vilvl_h(dst21, dst10);
3088		− dst21_r = __lsx_vilvh_h(dst21, dst10);
3089		− dst22 = __lsx_vreplvei_d(dst21, 1);
3090		−
3091		− for (loop_cnt = 2; loop_cnt--;) {
3092		− src3 = __lsx_vld(src, 0);
3093		− DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src4, src5);
3094		− src6 = __lsx_vldx(src, src_stride_3x);
3095		− src += src_stride_4x;
3096		− src7 = __lsx_vld(src, 0);
3097		− DUP2_ARG2(__lsx_vldx, src, src_stride, src, src_stride_2x, src8, src9);
3098		− src10 = __lsx_vldx(src, src_stride_3x);
3099		− src += src_stride_4x;
3100		− DUP2_ARG3(__lsx_vshuf_b, src7, src3, mask2, src7, src3, mask3,
3101		− vec0, vec1);
3102		− DUP2_ARG3(__lsx_vshuf_b, src8, src4, mask2, src8, src4, mask3,
3103		− vec2, vec3);
3104		− DUP2_ARG3(__lsx_vshuf_b, src9, src5, mask2, src9, src5, mask3,
3105		− vec4, vec5);
3106		− DUP2_ARG3(__lsx_vshuf_b, src10, src6, mask2, src10, src6, mask3,
3107		− vec6, vec7);
	3050	+ DUP2_ARG3(__lsx_vshuf_b, src0, src0, mask0, src0, src0, mask1, vec0, vec1);
	3051	+ DUP2_ARG3(__lsx_vshuf_b, src1, src1, mask0, src1, src1, mask1, vec2, vec3);
	3052	+ DUP2_ARG3(__lsx_vshuf_b, src2, src2, mask0, src2, src2, mask1, vec4, vec5);
	3053	+
	3054	+ DUP2_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, dst0, dst1);
	3055	+ dst2 = __lsx_vdp2_h_bu_b(vec4, filt0);
	3056	+ DUP2_ARG3(__lsx_vdp2add_h_bu_b, dst0, vec1, filt1, dst1, vec3, filt1, dst0, dst1);
	3057	+ dst2 = __lsx_vdp2add_h_bu_b(dst2, vec5, filt1);
	3058	+
	3059	+ DUP2_ARG2(__lsx_vilvl_h, dst1, dst0, dst2, dst1, dst10_r, dst21_r);
	3060	+ DUP2_ARG2(__lsx_vilvh_h, dst1, dst0, dst2, dst1, dst10_l, dst21_l);
	3061	+
	3062	+ for (loop_cnt = height >> 2; loop_cnt--;) {
	3063	+ src3 = __lsx_vld(src_tmp, 0);
	3064	+ DUP2_ARG2(__lsx_vldx, src_tmp, src_stride, src_tmp, src_stride_2x, src4, src5);
	3065	+ src6 = __lsx_vldx(src_tmp, src_stride_3x);
	3066	+ src_tmp += src_stride_4x;
	3067	+
	3068	+ DUP2_ARG3(__lsx_vshuf_b, src3, src3, mask0, src3, src3, mask1, vec0, vec1);
	3069	+ DUP2_ARG3(__lsx_vshuf_b, src4, src4, mask0, src4, src4, mask1, vec2, vec3);
	3070	+ DUP2_ARG3(__lsx_vshuf_b, src5, src5, mask0, src5, src5, mask1, vec4, vec5);
	3071	+ DUP2_ARG3(__lsx_vshuf_b, src6, src6, mask0, src6, src6, mask1, vec6, vec7);
3108	3072
3109	3073	DUP4_ARG2(__lsx_vdp2_h_bu_b, vec0, filt0, vec2, filt0, vec4, filt0,
3110		− vec6, filt0, dst73, dst84, dst95, dst106);
3111		− DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst73, vec1, filt1, dst84, vec3,
3112		− filt1, dst95, vec5, filt1, dst106, vec7, filt1, dst73,
3113		− dst84, dst95, dst106);
3114		−
3115		− DUP2_ARG2(__lsx_vilvl_h, dst73, dst22, dst84, dst73, dst32_r, dst43_r);
3116		− DUP2_ARG2(__lsx_vilvh_h, dst84, dst73, dst95, dst84, dst87_r, dst98_r);
3117		− DUP2_ARG2(__lsx_vilvl_h, dst95, dst84, dst106, dst95, dst54_r, dst65_r);
3118		− dst109_r = __lsx_vilvh_h(dst106, dst95);
3119		− dst22 = __lsx_vreplvei_d(dst73, 1);
3120		− dst76_r = __lsx_vilvl_h(dst22, dst106);
	3074	+ vec6, filt0, dst3, dst4, dst5, dst6);
	3075	+ DUP4_ARG3(__lsx_vdp2add_h_bu_b, dst3, vec1, filt1, dst4, vec3, filt1,
	3076	+ dst5, vec5, filt1, dst6, vec7, filt1, dst3, dst4, dst5, dst6);
3121	3077
3122		− DUP4_ARG2(__lsx_vdp2_w_h, dst10_r, filt_h0, dst21_r, filt_h0, dst32_r,
3123		− filt_h0, dst43_r, filt_h0, tmp0, tmp1, tmp2, tmp3);
3124		− DUP4_ARG2(__lsx_vdp2_w_h, dst54_r, filt_h0, dst65_r, filt_h0, dst76_r,
3125		− filt_h0, dst87_r, filt_h0, tmp4, tmp5, tmp6, tmp7);
3126		− DUP4_ARG3(__lsx_vdp2add_w_h, tmp0, dst32_r, filt_h1, tmp1, dst43_r,
3127		− filt_h1, tmp2, dst54_r, filt_h1, tmp3, dst65_r, filt_h1,
3128		− tmp0, tmp1, tmp2, tmp3);
3129		− DUP4_ARG3(__lsx_vdp2add_w_h, tmp4, dst76_r, filt_h1, tmp5, dst87_r,
3130		− filt_h1, tmp6, dst98_r, filt_h1, tmp7, dst109_r, filt_h1,
3131		− tmp4, tmp5, tmp6, tmp7);
3132		− DUP4_ARG2(__lsx_vsrai_w, tmp0, 6, tmp1, 6, tmp2, 6, tmp3, 6,
3133		− tmp0, tmp1, tmp2, tmp3);
3134		− DUP4_ARG2(__lsx_vsrai_w, tmp4, 6, tmp5, 6, tmp6, 6, tmp7, 6,
3135		− tmp4, tmp5, tmp6, tmp7);
3136		− DUP4_ARG2(__lsx_vpickev_h, tmp1, tmp0, tmp3, tmp2, tmp5, tmp4,
3137		− tmp7, tmp6, tmp0, tmp1, tmp2, tmp3);
	3078	+ DUP2_ARG2(__lsx_vilvl_h, dst3, dst2, dst4, dst3, dst32_r, dst43_r);
	3079	+ DUP2_ARG2(__lsx_vilvh_h, dst3, dst2, dst4, dst3, dst32_l, dst43_l);
	3080	+ DUP2_ARG2(__lsx_vilvl_h, dst5, dst4, dst6, dst5, dst54_r, dst65_r);
	3081	+ DUP2_ARG2(__lsx_vilvh_h, dst5, dst4, dst6, dst5, dst54_l, dst65_l);
3138	3082
3139		− __lsx_vstelm_d(tmp0, dst, 0, 0);
3140		− dst += dst_stride;
3141		− __lsx_vstelm_d(tmp0, dst, 0, 1);
3142		− dst += dst_stride;
3143		− __lsx_vstelm_d(tmp1, dst, 0, 0);
3144		− dst += dst_stride;
3145		− __lsx_vstelm_d(tmp1, dst, 0, 1);
3146		− dst += dst_stride;
3147		− __lsx_vstelm_d(tmp2, dst, 0, 0);
3148		− dst += dst_stride;
3149		− __lsx_vstelm_d(tmp2, dst, 0, 1);
3150		− dst += dst_stride;
3151		− __lsx_vstelm_d(tmp3, dst, 0, 0);
3152		− dst += dst_stride;
3153		− __lsx_vstelm_d(tmp3, dst, 0, 1);
3154		− dst += dst_stride;
	3083	+ DUP4_ARG2(__lsx_vdp2_w_h, dst10_r, filt_h0, dst10_l, filt_h0, dst21_r,
	3084	+ filt_h0, dst21_l, filt_h0, dst0_r, dst0_l, dst1_r, dst1_l);
	3085	+ DUP4_ARG2(__lsx_vdp2_w_h, dst32_r, filt_h0, dst32_l, filt_h0, dst43_r,
	3086	+ filt_h0, dst43_l, filt_h0, dst2_r, dst2_l, dst3_r, dst3_l);
	3087	+ DUP4_ARG3(__lsx_vdp2add_w_h, dst0_r, dst32_r, filt_h1, dst0_l, dst32_l,
	3088	+ filt_h1, dst1_r, dst43_r, filt_h1, dst1_l, dst43_l, filt_h1,
	3089	+ dst0_r, dst0_l, dst1_r, dst1_l);
	3090	+ DUP4_ARG3(__lsx_vdp2add_w_h, dst2_r, dst54_r, filt_h1, dst2_l, dst54_l,
	3091	+ filt_h1, dst3_r, dst65_r, filt_h1, dst3_l, dst65_l, filt_h1,
	3092	+ dst2_r, dst2_l, dst3_r, dst3_l);
	3093	+ DUP2_ARG3(__lsx_vsrani_h_w, dst0_l, dst0_r, 6, dst1_l, dst1_r, 6, dst0_r, dst1_r);
	3094	+ DUP2_ARG3(__lsx_vsrani_h_w, dst2_l, dst2_r, 6, dst3_l, dst3_r, 6, dst2_r, dst3_r);
	3095	+ __lsx_vstelm_d(dst0_r, dst_tmp, 0, 0);
	3096	+ dst_tmp += dst_stride;
	3097	+ __lsx_vstelm_d(dst1_r, dst_tmp, 0, 0);
	3098	+ dst_tmp += dst_stride;
	3099	+ __lsx_vstelm_d(dst2_r, dst_tmp, 0, 0);
	3100	+ dst_tmp += dst_stride;
	3101	+ __lsx_vstelm_d(dst3_r, dst_tmp, 0, 0);
	3102	+ dst_tmp += dst_stride;
3155	3103
3156		− dst10_r = dst98_r;
3157		− dst21_r = dst109_r;
3158		− dst22 = __lsx_vreplvei_d(dst106, 1);
	3104	+ dst10_r = dst54_r;
	3105	+ dst10_l = dst54_l;
	3106	+ dst21_r = dst65_r;
	3107	+ dst21_l = dst65_l;
	3108	+ dst2 = dst6;
3159	3109	}
	3110	+
3160	3111	}
3161	3112
3162	3113	static void hevc_hv_4t_16w_lsx(const uint8_t *src,

libavcodec/loongarch/hevcdsp_lsx.h+0−1

@@ -141,7 +141,6 @@ BI_MC(epel, v, 16); · 140 unmodified lines
141	141	BI_MC(epel, v, 24);
142	142	BI_MC(epel, v, 32);
143	143
144		−BI_MC(epel, hv, 6);
145	144	BI_MC(epel, hv, 8);
146	145	BI_MC(epel, hv, 16);
147	146	BI_MC(epel, hv, 24);

avcodec: Fix fate-checkasm-hevc_pel failed on LA.

Keyboard shortcuts

General

Issues and pull requests

Issues, pull requests and Inbox

Repository code